KI- & LLM-Penetrationstest
Sicherheitsprüfung von KI-Anwendungen, Sprachmodellen und autonomen Agenten — nach OWASP Top 10 for LLM Applications.
Ein KI- oder LLM-Penetrationstest prüft Anwendungen, die ein Sprachmodell einsetzen, auf Schwachstellen, die klassische Penetrationstests nicht erfassen. Dazu zählen Prompt Injection, der Missbrauch angebundener Werkzeuge und APIs, Datenabfluss aus RAG-Systemen sowie unsichere Verarbeitung von Modellausgaben. Ich teste Chatbots, Copilot-Funktionen, RAG-Systeme, MCP-Anbindungen und autonome Agenten — sowohl bei Cloud-Modellen (OpenAI, Anthropic, Google) als auch bei lokal betriebenen Modellen (Llama, Qwen, Mistral).
Das Problem
Klassische Sicherheitstests setzen voraus, dass eine Anwendung deterministisch auf Eingaben reagiert. Sprachmodelle tun das nicht. Sie unterscheiden nicht zuverlässig zwischen Anweisung und Daten — genau darauf beruht Prompt Injection. Sobald ein Modell zusätzlich Werkzeuge bedienen darf, Datenbanken abfragt, E-Mails liest oder APIs aufruft, wird aus einem Textproblem ein vollwertiger Angriffsweg in Ihre Infrastruktur.
Die gefährlichste Variante ist die indirekte Prompt Injection: Die Anweisung des Angreifers steht nicht im Chat, sondern in einem Dokument, einer Webseite oder einer E-Mail, die das Modell später verarbeitet. Der Angriff benötigt keinen Zugang zu Ihrem System — er wartet darauf, gelesen zu werden. Ein Schwachstellenscanner findet so etwas grundsätzlich nicht, weil es keine Schwachstelle im Code ist, sondern im Zusammenspiel von Modell, Daten und Berechtigungen.
Methodik & Vorgehensweise
1. Inventar & Architektur-Review
Erfassung aller KI-Komponenten: eingesetzte Modelle, System-Prompts, angebundene Werkzeuge und Funktionen, RAG-Quellen, Vektordatenbanken, Berechtigungen und Datenflüsse. Ergebnis ist eine Karte davon, was das Modell lesen, schreiben und auslösen darf.
2. Prompt Injection (direkt & indirekt)
Test auf Umgehung des System-Prompts, Jailbreaks und Guardrail-Bypass. Indirekte Injection wird über präparierte Dokumente, Webinhalte, Dateinamen, E-Mails und Kalendereinträge geprüft, die das Modell im Normalbetrieb verarbeitet.
3. Werkzeug- & Agenten-Missbrauch
Prüfung auf Excessive Agency: Kann ein Angreifer über das Modell Funktionen auslösen, die ihm nicht zustehen? Getestet werden Function Calling, MCP-Server, Plugins, Dateizugriffe und die Frage, ob Berechtigungen des Nutzers oder des Dienstkontos gelten.
4. RAG-Sicherheit & Datenabfluss
Test der Mandanten- und Rechtetrennung in Vektordatenbanken, Extraktion fremder Dokumente über gezielte Anfragen, Offenlegung von System-Prompts und Geschäftsgeheimnissen sowie Vergiftung der Wissensbasis (RAG Poisoning).
5. Ausgabe-Handling & Folgesysteme
Modellausgaben werden wie nicht vertrauenswürdige Eingaben behandelt. Geprüft wird, ob generierte Inhalte zu XSS, SSRF, SQL-Injection oder Codeausführung führen, wenn sie ungefiltert in Browser, Datenbanken, Shells oder nachgelagerte APIs gelangen.
6. Verfügbarkeit, Kosten & Lieferkette
Prüfung auf Model Denial of Service und gezielte Kostenausschöpfung über teure Anfragen, fehlende Quotas und Rate-Limits. Dazu Bewertung der Lieferkette: Herkunft von Modellen, Adaptern, Plugins und Einbettungsdiensten.
Meine Leistungen im Detail
- Prompt Injection — direkt, indirekt und mehrstufig über verkettete Agenten
- Jailbreak- und Guardrail-Bypass, Umgehung von Moderations- und Filterschichten
- Excessive Agency: Missbrauch von Function Calling, MCP-Servern und Plugins
- RAG-Sicherheit: Mandantentrennung, Dokumentenextraktion, Wissensbasis-Vergiftung
- Insecure Output Handling: XSS, SSRF, SQLi und Codeausführung über Modellausgaben
- Offenlegung von System-Prompts, Zugangsdaten und personenbezogenen Daten
- Model Denial of Service und Kostenausschöpfung (Token-Flooding, Quota-Bypass)
- Absicherung der LLM-Endpunkte: Authentifizierung, Autorisierung, Rate-Limiting
- Lieferkette: Herkunft und Integrität von Modellen, Adaptern und Einbettungsdiensten
Rechtliche Grundlagen & Compliance
KI-Systeme unterliegen zunehmend eigenen regulatorischen Anforderungen. Meine Tests liefern technische Nachweise für Audits, Zertifizierungen und Aufsichtsbehörden im DACH-Raum.
- OWASP Top 10 for LLM Applications — die massgebliche Referenz für LLM-Schwachstellenklassen
- EU AI Act (Verordnung (EU) 2024/1689) — Anforderungen an Robustheit und Cybersicherheit von Hochrisiko-KI
- NIST AI Risk Management Framework — Risikomanagement für KI-Systeme
- MITRE ATLAS — Taxonomie realer Angriffstechniken gegen KI-Systeme
- ISO/IEC 42001 — Managementsystem für künstliche Intelligenz
- ISO 27001, nDSG und DSGVO bei Verarbeitung personenbezogener Daten durch KI
Branchen & Anwendungsfälle
Referenzen
Sicherheitsprojekte für Unternehmen, Verwaltungen und Institutionen im DACH-Raum.
Branchen
Alle Projekte NDA-basiert. Kundennamen werden nicht veröffentlicht.
Häufig gestellte Fragen (FAQ)
Was ist ein LLM-Penetrationstest?
Ein LLM-Penetrationstest ist eine manuelle Sicherheitsprüfung von Anwendungen, die ein Sprachmodell einsetzen. Geprüft wird, ob sich das Modell durch manipulierte Eingaben zu unerwünschten Handlungen bewegen lässt, ob es vertrauliche Daten preisgibt und ob angebundene Werkzeuge missbraucht werden können.
Was ist Prompt Injection?
Prompt Injection bezeichnet das Einschleusen von Anweisungen in die Eingabe eines Sprachmodells, um dessen ursprüngliche Vorgaben zu überschreiben. Da Modelle nicht zuverlässig zwischen Anweisung und Daten trennen, kann so das Verhalten der Anwendung verändert werden — bis hin zur Ausführung fremder Befehle.
Was ist der Unterschied zwischen direkter und indirekter Prompt Injection?
Bei der direkten Prompt Injection gibt der Angreifer die Anweisung selbst in den Chat ein. Bei der indirekten Variante versteckt er sie in Inhalten, die das Modell später verarbeitet — etwa in einem Dokument, einer Webseite oder einer E-Mail. Die indirekte Form ist gefährlicher, weil sie keinen direkten Systemzugang erfordert.
Reicht ein klassischer Penetrationstest für KI-Anwendungen aus?
Nein. Ein klassischer Pentest prüft Code, Konfiguration und Infrastruktur. Die typischen KI-Schwachstellen entstehen jedoch im Zusammenspiel von Modell, Daten und Berechtigungen und sind nicht deterministisch reproduzierbar. Beides ergänzt sich: Der klassische Test sichert die Anwendung, der KI-Test das Modellverhalten.
Was bedeutet Excessive Agency bei KI-Agenten?
Excessive Agency beschreibt einen Agenten mit mehr Berechtigungen, Werkzeugen oder Autonomie als für seine Aufgabe nötig. Kann ein Angreifer das Modell über Prompt Injection steuern, erbt er genau diese Rechte. Die Gegenmassnahme ist die konsequente Beschränkung der Werkzeuge und Berechtigungen des Agenten.
Wie werden RAG-Systeme auf Datenabfluss geprüft?
Ich prüfe, ob sich über gezielte Anfragen Dokumente aus der Vektordatenbank extrahieren lassen, für die der Nutzer keine Berechtigung hat. Getestet werden Mandantentrennung, Rechteprüfung zum Abfragezeitpunkt, Offenlegung von System-Prompts sowie das Einschleusen manipulierter Inhalte in die Wissensbasis.
Können lokal betriebene Modelle ebenfalls getestet werden?
Ja. Lokal betriebene Modelle wie Llama, Qwen oder Mistral werden genauso geprüft wie Cloud-Modelle. Bei lokalem Betrieb kommen Aspekte der Infrastruktur hinzu: Absicherung der Inferenz-Endpunkte, Isolation der GPU-Hosts sowie Herkunft und Integrität der Modellgewichte.
Kann ein KI-Pentest in der Produktion durchgeführt werden?
Ja, in Absprache. Tests auf Prompt Injection und Datenabfluss sind in der Regel unkritisch. Lasttests auf Model Denial of Service und Kostenausschöpfung führe ich bevorzugt in einer Testumgebung durch, da sie reale Kosten verursachen und Dienste beeinträchtigen können.
Was kostet ein KI-Penetrationstest?
Wie alle meine Penetrationstests zum Festpreis zwischen CHF 2’200 und maximal CHF 3’600. Beratung, Planung und Abschlussbericht sind vollständig enthalten, es gibt keinen Tagessatz und keine Nachberechnung. Der genaue Preis richtet sich nach Umfang und Testtiefe.
Wie lange dauert ein KI-Penetrationstest?
Je nach Umfang und Testtiefe zwischen zwei und acht Arbeitstagen. Ein einzelner Chatbot ohne Werkzeuganbindung ist deutlich schneller geprüft als ein autonomer Agent mit Zugriff auf mehrere interne Systeme und eine umfangreiche Wissensbasis.
Sie stehen vor dieser Herausforderung?
Ich bewerte gerne in einem kurzen, kostenfreien 30-Minuten-Assessment, ob meine Expertise zu Ihrem KI-Setup passt.
Lieber direkt? guido@guido-marsch.com
Zielgruppen-Fit
Unternehmen, die Sprachmodelle produktiv einsetzen: SaaS-Anbieter mit KI-Funktionen, Betreiber von Kundenservice-Chatbots, interne RAG- und Wissenssysteme sowie Teams, die autonome Agenten mit Zugriff auf Geschäftssysteme betreiben.
Zusammenarbeit
Ausschliesslich NDA-basiert. Vendor-neutral und unabhängig vom eingesetzten Modellanbieter. Dokumentiert nach PTES-Standard, Schwachstellen klassifiziert nach OWASP Top 10 for LLM Applications. Flexible Terminierung auch kurzfristig.
DACH-Region
Ich bin spezialisiert auf Unternehmen in der Schweiz (Zürich, Zug, Bern, St. Gallen, Basel, Genf), Deutschland (München, Frankfurt, Berlin, Hamburg) und Österreich (Wien, Graz). Alle Reports werden auf Deutsch oder Englisch erstellt – konform zu FINMA, BSI, NIS2 und EU AI Act.