Workshop

Secure AI

Was passiert, wenn ein Modell Werkzeuge bedienen darf, und wie man den Schaden begrenzt.

Sobald ein KI-Assistent Werkzeuge bedienen darf, also Dateien liest, Tickets anlegt oder Code ändert, wird aus einem Textrisiko ein Handlungsrisiko. Das Modell unterscheidet nämlich nicht zwischen dem, was sein Betreiber will, und dem, was in einem gelesenen Text steht: Beides ist für das Modell Text.

Wer einem neuen Mitarbeiter am ersten Tag alle Schlüssel gibt, kennt das Problem: Gefährlich ist selten die Absicht, sondern die Reichweite. Dieser Workshop behandelt, wie man die Reichweite eines Modells begrenzt, bevor über Anwendungsfälle gesprochen wird. Was ein KI-Agent im Unternehmen ist, steht in Was ist ein KI-Agent im Unternehmen?

Dauer
1 Tag
Format
Inhouse oder Remote
Gruppengröße
Bis 15 Personen
Sprache
Deutsch oder Englisch
Das Wichtigste vorab

Führen Sie eine Werkzeugliste: jedes Werkzeug, das ein Modell aufrufen darf, mit drei Antworten daneben. Liest es oder schreibt es? Wessen Rechte benutzt es? Was passiert bei einem Fehlaufruf? Ein Werkzeug ohne diese drei Antworten bekommt keinen Zugriff. Diese Liste können Sie heute anlegen, ohne uns. Der Workshop füllt sie für Ihre Anbindungen aus und legt fest, an welchen Stellen eine menschliche Freigabe dazwischen gehört.

Ablauf

Agenda

Vortrag plus Demonstrationen: Angriffe werden vorgeführt, nicht nur beschrieben. Lukas Hügle leitet eine interne AI-Security-Taskforce und tritt als Referent zu AI Security auf.

Prompt Injection

Direkt und indirekt: warum Eingabefilter das Problem nicht lösen und welche Architekturentscheidungen es tatsächlich eingrenzen.

Werkzeugsicherheit

Welche Werkzeuge ein Agent bekommen darf, wie man Berechtigungen zuschneidet und was ein Werkzeug nie zurückgeben sollte.

MCP-Sicherheit

Confused Deputy, Token Passthrough, SSRF, Session Hijacking und die Risiken lokaler Server, jeweils mit Demonstration.

Agentensicherheit

Excessive Agency: was passiert, wenn ein Agent zu viel darf, und an welchen Stellen der Mensch in der Schleife bleiben muss.

Modellisolierung und Datentrennung

Welche Daten ein Modell sehen darf und wie man Mandanten und Vertraulichkeitsstufen sauber trennt.

Protokollierung und Nachvollziehbarkeit

Was protokolliert werden muss, damit sich nach einem Vorfall rekonstruieren lässt, was ein Agent getan hat.

AI Governance

Freigabeprozess, Richtlinie und Wiederholungsprüfung: wie KI-Funktionen kontrolliert in Betrieb gehen und bleiben.

Rahmen

Für wen, was Sie mitbringen, was Sie mitnehmen.

Zielgruppe Teams, die KI-Funktionen ausliefern oder Agenten intern einsetzen: Security Engineering, Application Security, KI-Entwicklung.
Voraussetzungen Grundverständnis von LLM-Anwendungen, etwa aus einem eigenen Projekt. Security-Vorkenntnisse sind hilfreich, aber nicht nötig.
Ergebnis Eine Bedrohungsmodellierung für Ihren konkreten KI-Anwendungsfall.
Nicht enthalten Die Umsetzung der Maßnahmen und die Prüfung des Systems. Beides lässt sich als Projekt anschließen, siehe Cybersecurity.

Termine und Konditionen stimmen wir individuell ab.

Kontakt

Diesen Workshop anfragen.

Schreiben Sie uns, welche Gruppe geschult werden soll und was danach anders sein soll. Sie bekommen einen Vorschlag für Zuschnitt und Ablauf.

Termin anfragen