Künstliche Intelligenz übernimmt bei Black Hat Europe!

Künstliche Intelligenz und maschinelles Lernen,
Technologien der neuen Generation und sichere Entwicklung,
Sicherheitsoperationen

Offene Fragen: Was wird der nächste revolutionäre Anwendungsfall sein? Kann die Validierung der Ergebnisse verbessert werden?

Originalartikel geschrieben von: Mathew J. Schwartz: euroinfosec on X

13. Dezember 2024

Was sind die aktuellen Vorteile künstlicher Intelligenz und was könnten ihre wichtigsten zukünftigen Anwendungsfälle in der Cybersicherheit sein?

Die Realität der KI im Vergleich zum Hype, der sie umgibt, dominierte stark die jüngste Podiumsdiskussion auf der jährlichen Black Hat Europe-Konferenz in London. Dieses Gremium brachte den Gründer der Konferenz, Jeff Moss, und Mitglieder des Auswahlausschusses zusammen, der für die Bewertung der Hunderten von in diesem Jahr eingereichten Vorschlägen verantwortlich war, von denen etwa 50 ausgewählt wurden.

Die Mitglieder des Ausschusses gaben an, dass die Vorschläge rund um KI in diesem Jahr zwar von unterschiedlicher Qualität seien, aber in der großen Mehrheit seien. Einige wurden akzeptiert, andere, wie etwa „KI-schriftliche Präsentationen, mussten abgelehnt werden“, sagte Vandana Verma, ebenfalls Mitglied des OWASP-Vorstands. Aufgrund der schlechten Qualität einiger KI-generierter Einsendungen waren sie leicht zu identifizieren.

Die ausgewählten Artikel führten zu Sitzungen, die von der Erkennung von Schwachstellen und Netzwerksicherheit bis hin zu Datenschutz und Reaktion auf Vorfälle reichten. Die Konferenz umfasste auch einen Track zum Thema „KI, maschinelles Lernen und Datenwissenschaft“ mit acht Sitzungen zu verschiedenen Themen, wie z. B. der Verwendung eines generativen KI-Agenten im Vergleich zu der Anwendung, für die er gedacht war, und den Schwierigkeiten beim Entfernen von Informationen aus einem Trainingssatz sowie Datenschutzbedenken.

Cybersicherheit: Unterstützt von Schlagworten

Wäre es angesichts des großen Interesses an diesem Thema an der Zeit, eine „Black Hat: AI“-Konferenz zu starten? Moss erwähnte, dass er diese Frage kürzlich gehört hatte, und stellte fest, dass Themen von großem Interesse, wie Mobilität oder die Cloud, bereits einen Anstieg der Aufmerksamkeit erfahren haben, bevor sie „nur zum Mainstream“ geworden sind.

Er prognostiziert, dass das gleiche Phänomen auch bei der KI auftreten wird. „Jeder redet über KI in seinen Produkten, aber in vier Jahren wird es seltsam sein, zu hören: ‚Jetzt mit KI‘, oder?“ er beobachtete.

Vandana fügte hinzu, dass kürzlich beliebte Themen wie Zero Trust und Schwachstellen in der Lieferkette in Sitzungsvorschlägen nur noch selten vorkommen. Für jedes neue Schlagwort behaupten Anbieter, es zu nennen, obwohl nicht immer klar ist, was diese Behauptung bedeutet.

Aus wissenschaftlicher Sicht „bezog sich die überwiegende Mehrheit der Diskussionen, die wir ausgewählt haben, nicht auf die Anwendung eines LLM auf etwas, weil sie zu Werkzeugen werden, die wir haben, aber nicht alle unsere Werkzeuge ersetzen werden“, sagte Stefano Zanero, Professor für Cybersicherheit am Politecnico di Milano.

Thematisch ist „vieles Gerede über KI allgemeiner in dem Sinne, dass man ein Produkt nur ausnutzt, wenn man ein LLM angreift, um es prompt einzuschleusen“, erklärte James Forshaw, ein Sicherheitsforscher des Projekts .

Revolutionäre Anwendungsfälle: Was ist zu beachten?

Seit dem Start von ChatGPT im November 2022 scheint die Verwendung großer Sprachmodelle die öffentliche Fantasie erregt zu haben. Bisher favorisiert der Anwendungsfall dieses Modell als Vorhersage-Engine, die wie eine „Super-Autovervollständigung“ wirkt, verglichen mit einer Version 2.0 von Microsoft Clippy von Moss.

Auf kommerzieller Seite werden Fortschritte in der KI „diese Vorhersagen beschleunigen und sie schneller und kostengünstiger machen“, sagte er. Daher „würde ich, wenn ich im Sicherheitsgeschäft tätig wäre, versuchen, alle meine Probleme in Vorhersageprobleme umzuwandeln“, damit sie von diesen Vorhersage-Engines gelöst werden könnten.

Worin diese Vorhersageprobleme bestehen könnten, bleibt jedoch eine offene Frage. Zanero erörtert andere relevante Anwendungsfälle wie Code-Analyse und Informationsextraktion aus unstrukturiertem Text, beispielsweise Protokollanalyse für Cyber-Bedrohungsinformationen.

„Es beschleunigt Ihre Ermittlungen, aber Sie müssen es trotzdem überprüfen“, sagte Moss.

„Die Herausforderung der Verifizierung entzieht sich den meisten Studenten“, fügte Zanero aus Erfahrung hinzu.

Eine Herausforderung bei der Verifizierung besteht darin, dass KI oft als komplexe und undurchsichtige API fungiert, die Benutzer dazu veranlasst, ihre Abfragen anzupassen, um die gewünschten Ergebnisse zu erzielen. Diese Methode ist jedoch nur dann effektiv, wenn Sie bereits wissen, was die richtige Antwort ist, um zu validieren, was das Modell für maschinelles Lernen tut.

„Die eigentlichen Problembereiche beim maschinellen Lernen – nicht nur bei großen Sprachmodellen – liegen darin, was passiert, wenn man die Antwort nicht kennt und versucht, Erkenntnisse aus dem Modell zu gewinnen, die man vorher nicht hatte“, erklärte Zanero. „Dies ist ein Bereich weiterer Forschung.“

Eine weitere KI-Herausforderung kann das Alter der Trainingsdaten sein. Moss führte das Beispiel des Schreibens von Python-Code an und führte mehrere Fälle an, in denen Menschen generative KI nutzten, um schnell funktionierenden Python-Code zu erstellen, nur um dann festzustellen, dass der generierte Code aufgrund der Verwendung alter Daten nach aktuellen Praktiken sechs Jahre oder älter sein könnte. Daher könne der generierte Code zwar gut als Machbarkeitsnachweis funktionieren, „er ist jedoch nicht modern“ und seine Bereitstellung im Internet könnte Auswirkungen auf die Sicherheit haben, sagte er.

Vorerst: Erweiterungstool

Ein Zuschauer stellte dem Gremium folgende Frage: Wird KI Arbeitsplätze im Bereich Cybersicherheit ersetzen, beispielsweise als Frontline-Analysten in Sicherheitsbetriebszentren?

Zanero bezog sich auf ein apokryphes Meme, das Louis CK zugeschrieben wird: „Wenn Sie denken, dass ein Einwanderer ohne Sprachkenntnisse, ohne Kontakte, ohne Abschluss Ihnen den Job stehlen wird, dann sind Sie vielleicht das Problem.“

Es ist zu erwarten, dass KI nicht dazu dient, Arbeitsplätze zu ersetzen, sondern sie zu erweitern. „Es ist das Gleiche, was wir beim Fahren gesehen haben: Autonomes Fahren funktioniert nicht und wird auch in naher Zukunft nicht funktionieren, aber menschliche Fahrassistenz, bis es sicherer und einfacher wird, ist bereits da“, erklärte Zanero. „Das Gleiche wird zumindest in naher Zukunft mit KI passieren.“