Befinden sich Modelle der generativen künstlichen Intelligenz (KI) in einer Sackgasse? Seit der Einführung von ChatGPT vor zwei Jahren gibt uns der exponentielle technologische Fortschritt Hoffnung auf die Einführung von Maschinen mit nahezu menschlicher Intelligenz. Doch die Zweifel häufen sich.
Branchenführer versprechen so bedeutende und schnelle Leistungssteigerungen, dass bald „künstliche allgemeine Intelligenz“, wie OpenAI (ChatGPT)-Chef Sam Altman es ausdrückt, entstehen dürfte.
Sie stützen diese Überzeugung auf Gesetze der Skalierung: Es würde ausreichen, die Modelle mit immer mehr Daten und Computerrechenleistung zu füttern, damit sie an Kapazität gewinnen.
Diese Strategie hat bisher so gut funktioniert, dass viele in der Branche befürchteten, sie würde zu schnell voranschreiten und die Menschheit überfordert sein.
Microsoft (der Hauptinvestor von OpenAI), Google, Amazon, Meta und andere haben Milliarden von Dollar ausgegeben und Tools auf den Markt gebracht, die problemlos Texte, Bilder und Videos in atemberaubender Qualität produzieren und mittlerweile auch in aller Munde sind.
xAI, Elon Musks KI-Unternehmen, sammelt laut CNBC 6 Milliarden US-Dollar, um 100.000 Nvidia-Chips zu kaufen, die hochmodernen elektronischen Komponenten, die große Modelle antreiben.
OpenAI schloss Anfang Oktober eine umfangreiche Mittelbeschaffung in Höhe von 6,6 Milliarden US-Dollar ab, was einem Wert von 157 Milliarden US-Dollar entspricht.
„Hohe Bewertungen basieren größtenteils auf der Idee, dass Sprachmodelle durch weitere Expansion zu allgemeinen KIs werden“, sagte Gary Marcus, ein oft kritischer Branchenexperte. „Wie ich immer sagte, es ist nur eine Fantasie.“
– Grenzen –
Die amerikanische Presse berichtete kürzlich, dass die neuen Modelle in der Entwicklung offenbar ein Plateau erreicht haben, insbesondere bei Google, Anthropic (Claude) und OpenAI.
„Wir steigern (die Rechenleistung) im gleichen Tempo, aber wir bekommen dadurch keine intelligenten Verbesserungen“, Ben Horowitz, Mitbegründer von a16z, einer Risikokapitalgesellschaft, die Anteilseigner von OpenAI und Investor in Unternehmen ist , sagten kürzlich Konkurrenten, darunter Mistral.
Orion, die neueste, noch nicht veröffentlichte Erweiterung von OpenAI, übertrifft seine Vorgänger. Aber „die Qualitätssteigerung war viel geringer im Vergleich zum Sprung zwischen GPT-3 und GPT-4“, den letzten beiden Flaggschiffmodellen des Unternehmens, laut von The Information zitierten Quellen.
Mehrere von AFP befragte Experten glauben, dass die Gesetze der Größenordnung an ihre Grenzen gestoßen sind.
„Einige Labore konzentrierten sich zu sehr auf das Hinzufügen von mehr Text, weil sie dachten, dass die Maschine immer intelligenter werden würde“, betont Scott Stevenson, Chef von Spellbook, einem auf generative legale KI spezialisierten Unternehmen.
Dank des Trainings, das auf Bergen von online gesammelten Daten basiert, gelingt es den Modellen, Wortfolgen oder Pixelanordnungen auf sehr überzeugende Weise vorherzusagen. Aber den Unternehmen gehen allmählich die neuen Materialien für den Antrieb aus.
Und es ist nicht nur eine Frage des Wissens: Um voranzukommen, wäre es vor allem notwendig, dass Maschinen es irgendwie schaffen, die Bedeutung ihrer Sätze oder Bilder zu verstehen.
– „Baby“-KI –
Die Chefs der Branche bestreiten die Idee einer Verlangsamung.
„Wenn wir uns die Geschwindigkeit ansehen, mit der die Kapazitäten wachsen, können wir davon ausgehen, dass wir bis 2026 oder 2027 (bei allgemeiner KI) ankommen werden“, versicherte Dario Amodei, der Chef von Anthropic, im Podcast des Informatikers Lex Friedman.
„Es gibt keine Sackgasse“, schrieb Sam Altman am Donnerstag auf X. OpenAI verzögerte dennoch die Veröffentlichung des Nachfolgers von GPT-4.
Und im September änderte das Star-Start-up aus dem Silicon Valley seine Strategie, indem es o1 vorstellte, ein Modell, das komplexere Fragen, insbesondere mathematische, dank eines Trainings beantworten soll, das weniger auf der Ansammlung von Daten als vielmehr auf der Stärkung beruht die Fähigkeit zur Vernunft.
Laut Scott Stevenson verbringt o1 „mehr Zeit mit Nachdenken als mit Reagieren“, was zu „radikalen Verbesserungen“ führt.
Er vergleicht die Entwicklung der Technologie mit der Entdeckung des Feuers: Anstatt Treibstoff in Form von Daten und Rechenleistung hinzuzufügen, ist es an der Zeit, das Äquivalent einer Laterne oder Dampfmaschine zu entwickeln. Wie KI-Agenten, an die Menschen online Aufgaben delegieren können.
„Das Baby der KI war ein Chatbot, der viel improvisierte“ und daher viele Fehler machte, fügt Walter De Brouwer, Professor an der Stanford University, hinzu. „Der Ansatz des Homo Sapiens, erst zu denken, bevor man springt, ist hier.“
