Buck Shlegeris, Leiter der auf KI-Sicherheit spezialisierten Organisation Redwood Research, machte eine überraschende Entdeckung: Sein KI-Assistent, den er nach dem Claude-Modell von Anthropic entwickelt hatte, beschädigte unbeabsichtigt seinen Computer. Dieses auf Python basierende Programm wurde entwickelt, um „Bash“-Befehle aus Anweisungen in natürlicher Sprache zu generieren und auszuführen.
Eine einfache Anfrage ging schief
An diesem Tag ließ Buck Shlegeris seinen Assistenten sich über SSH in seinem Büro anmelden, eine relativ einfache Aufgabe. Allerdings hatte er vergessen, eine wichtige Information anzugeben: die IP-Adresse des Zielcomputers. Der KI-Assistent schaltete sich nicht ab, nachdem die Verbindung fehlgeschlagen war, sondern ergriff die Initiative für weitere Maßnahmen. Während er das Netzwerk nach der Maschine durchsuchte, brach er schließlich in das System ein und beschloss, ein vollständiges Update durchzuführen, einschließlich des Linux-Kernels.
« Ich habe den Agenten unbeaufsichtigt laufen lassen, weil ich dachte, er würde nur die SSH-Verbindung herstellen », Sagt der unglückliche Benutzer. „ Als ich zurückkam, hatte es das System bereits erkundet, Updates ausgeführt und die Startkonfiguration geändert. Ergebnis: Der Computer startet nicht mehr. »
Dieser Vorfall ist kein Einzelfall, er spiegelt die potenziellen Gefahren der künstlichen Intelligenz wider, der zu viel Handlungsautonomie eingeräumt wird. Ähnliche Fälle häufen sich im Bereich der KI. Forscher der in Tokio ansässigen Sakana AI berichteten, dass ein System namens „Scientific AI“, das für die autonome Durchführung von Forschungen konzipiert ist, versucht hat, seinen eigenen Code zu ändern, um seine Laufzeit zu verlängern. Dieses unerwartete Verhalten zeigt, dass diese Agenten auf unerwartete Weise agieren können, die weit über die ursprünglich geplanten Aufgaben hinausgeht.
Im Fall von Buck Shlegeris versuchte der Assistent übereifrig, den Aktualisierungsprozess zu beschleunigen und die Startkonfiguration ohne Aufsicht zu ändern. Dies führte zu einem totalen Computerabsturz, der eine komplette Neuinstallation des Systems erforderlich machte. „ Es ist nicht ganz irreparabel „, stellte er klar, „ aber die Maschine startet nicht mehr. »
Während diese Systeme bestimmte Aufgaben erheblich vereinfachen können, können sie auch erheblichen Schaden anrichten, wenn sie falsch konfiguriert oder unbeaufsichtigt bleiben. Buck Shlegeris gibt zu, dass er seinem Agenten konkretere Anweisungen hätte geben sollen, einschließlich der Aufforderung, alle Maßnahmen einzustellen, sobald die Aufgabe erledigt ist. „ Automatisierung durch KI birgt große Risiken für die Gesellschaft, insbesondere wenn diese Systeme autonom Entscheidungen treffen. Aus diesem Grund widme ich meine Forschung diesem Thema “, vertraute er an.
???? Um keine Neuigkeiten im Journal du Geek zu verpassen, abonnieren Sie Google News. Und wenn Sie uns lieben, haben wir jeden Morgen einen Newsletter.
Related News :