Prompt Injection: Beispiele, Jailbreaks und Schutzmaßnahmen

Prompt Injection & Jailbreaks in a Nutshell

Prompt Injection ist ein Angriff, bei dem eingeschleuste Anweisungen ein KI-Sprachmodell von seiner vorgesehenen Aufgabe abbringen sollen. Die Anweisungen stehen direkt in einer Eingabe oder in Dokumenten, Webseiten und E-Mails, die das Modell verarbeitet. Mögliche Folgen sind verfälschte Antworten, unbeabsichtigte Aktionen und Datenabflüsse.

Eine Sonderform ist der KI-Jailbreak: Er zielt darauf, die Sicherheitsvorgaben des Modells zu umgehen. Wer KI im Unternehmen einsetzt, sollte beide Angriffsformen kennen. Schutz erfordert mehrere aufeinander abgestimmte Maßnahmen. Eine zentrale Sicherheitsschicht zwischen Nutzenden und KI-Modellen, wie sie Myra AI Workspace bietet, kann einen Teil davon übernehmen.

Was ist Prompt Injection? Definition und Ursache

Sprachmodelle können vertrauenswürdige Anweisungen und nicht vertrauenswürdige Inhalte nicht zuverlässig auseinanderhalten. Das BSI stufte diese Eigenschaft bereits 2023 als intrinsische Schwachstelle anwendungsintegrierter KI-Sprachmodelle ein. Auch OWASP hält 2026 fest, dass Sprachmodelle architektonisch nicht zwischen Anweisungen und Daten unterscheiden. Eine Prompt Injection nutzt diese Schwäche aus: Das Modell behandelt eingeschleusten Text als Handlungsanweisung, obwohl es ihn lediglich als Inhalt verarbeiten sollte.

In den „OWASP Top 10 for LLM Applications 2026“ steht Prompt Injection unter LLM01 weiterhin an erster Stelle der Risiken für Anwendungen mit großen Sprachmodellen (Large Language Models, LLMs). Die aktuelle Definition fasst den Begriff weiter als die Vorgängerversion: Eine solche Schwachstelle liegt vor, wenn Eingaben das Verhalten eines Modells auf eine Weise verändern, die die Entwickelnden der Anwendung nicht beabsichtigt haben. Als Eingaben zählen direkte Nutzereingaben, abgerufene Inhalte, Werkzeugausgaben, Bilder, Audio- und Videoinhalte, Zwischenschritte des Modells sowie gespeicherte Erinnerungen.

Im englischen Original heißt es, die Eingabe „alters the model’s behavior in ways the application developer did not intend“.

Klassifikatoren können Angriffsversuche übersehen und harmlose Texte fälschlich als Angriff einstufen. Anbieter sollten diese Grenzen benennen. Unternehmen sollten die Erkennung mit eigenen Beispielen testen. Das gilt auch für Filter, die Modellausgaben prüfen.

Die Erkennung bekannter Angriffsphrasen ist ein schneller erster Filter. Umformulierte oder aufwendig verschleierte Angriffe erfasst sie nicht zuverlässig, dafür ist der zusätzliche Klassifikator zuständig. Aber auch er kann Angriffe übersehen. Die Kennzeichnung externer Inhalte verringert das Risiko indirekter Angriffe, verhindert sie aber nicht.

Angriffsmethoden entwickeln sich weiter. Regeln, die heute greifen, können später umgangen werden. Planen Sie deshalb auch für den Fall, dass ein Angriff erfolgreich ist:

• Welche Daten kann das Modell erreichen?

• Welche Aktionen darf es ausführen?

• Wer erkennt den Vorfall?

Technische Schutzmaßnahmen ergänzen diese Planung, ersetzen sie aber nicht.