JFrog entdeckt CVE Level 10 für die Verwendung großer Sprachmodelle (LLM)

Das JFrog Security Research Team wird neue Erkenntnisse bekannt geben, die eine CVE-Bedrohung der Stufe 10 (entfernte, möglicherweise nicht authentifizierte, triviale Codeausführung) darstellen. Diese Ergebnisse beziehen sich auf die Verwendung großer Sprachmodelle (LLM), die insbesondere nach der Einführung von ChatGPT zunehmend in der KI-Landschaft eingesetzt werden. LLMs gehören mittlerweile zu den besten 14 % der aufstrebenden Technologien.

Bei diesen Erkenntnissen geht es konkret um eine Zero-Day-Schwachstelle, die das Sicherheitsforschungsteam von JFrog kürzlich in einer beliebten ML-Bibliothek, der Vanna.AI-Bibliothek, entdeckt und offengelegt hat. Es bietet Benutzern eine Text-zu-SQL-Schnittstelle, die über Prompt-Injection-Techniken eine Sicherheitslücke zur Remotecodeausführung mit der Bezeichnung CVE-2024-5565 darstellt. Dieser Angriff kann verwendet werden, um in LLMs eingebaute „Pre-Prompting“-Schutzmaßnahmen zu umgehen, die beispielsweise ein LLM dazu zwingen können, sensible oder schädliche Informationen zurückzugeben, die es nicht weitergeben sollte, was weitreichende negative Auswirkungen haben könnte .

Aufgrund des jüngsten Aufstiegs von KI und ML verwenden viele Entwickler LLM-Eingabeaufforderungen und verknüpfen sie mit verschiedenen Ressourcen (Datenbanken, APIs, Codegeneratoren usw.), was – wie die Studie von JFrog zeigt – äußerst gefährlich sein und Unternehmen gefährden kann hohes Risiko eines Remote-Codeausführungsangriffs, der vollständigen Zugriff auf den Computer ermöglicht, auf dem sich das LLM befindet. Dies kann zum Diebstahl geistigen Eigentums (Stehlen von ML-Modellen) oder zu einer weiteren Infektion der Systeme der Organisation führen.

Auf die Frage nach dieser Sicherheitslücke sagte Shachar Menasche, Senior Director of Security Research bei JFrog:

„Dieser Befund zeigt, dass die Risiken eines weit verbreiteten Einsatzes von Gen/LLM-KIs ohne angemessene Governance und Sicherheit dramatische Auswirkungen auf Unternehmen haben können. Die Gefahren einer sofortigen Injektion sind noch nicht gut bekannt, aber sie sind leicht umzusetzen. Unternehmen sollten dies nicht sehen.“ Injektion als narrensicherer Abwehrmechanismus und sollte robustere Mechanismen verwenden, wenn LLMs mit kritischen Ressourcen wie Datenbanken oder dynamischer Codegenerierung verbunden werden.