Übrigens, wie versteht und beantwortet ChatGPT meine Fragen?

Übrigens, wie versteht und beantwortet ChatGPT meine Fragen?
Übrigens, wie versteht und beantwortet ChatGPT meine Fragen?
-

Fangen wir am Anfang an: Künstliche Intelligenz galt als Nachbildung des menschlichen Gehirns. KI soll wie Menschen denken und lernen, und zwar autonom, also ohne explizit darauf programmiert zu werden. KI wird als „generativ“ bezeichnet, wenn sie in der Lage ist, aus diesem Lernen Inhalte (Text, Bild, Ton) zu erstellen.

Bis dahin folgen Sie uns. Moment mal, wir betreten das Versteck der Maschine.

Wie beantwortet ChatGPT meine Fragen?

Nehmen wir an, ich frage: „Wer bin ich?“ » bei ChatGPT. Die KI wandelt jedes Wort in eine Reihe von Zahlen um, die „Vektoren“ genannt werden. Diese Frage besteht daher aus mehreren Vektoren, die sowohl die Bedeutung jedes Wortes, seine Assoziation als auch den Kontext der Frage übersetzen (zum Beispiel die früheren Austausche, die ich mit ChatGPT hatte).

Diese Vektoren durchlaufen eine Vielzahl von „Neuronenschichten“ (die die Informationen verarbeiten) und „Aufmerksamkeitsschichten“ (die sie sortieren und priorisieren). Dann bietet die KI ihre Antwort an. Es beginnt immer mit einem ersten Wort (einem Vektor, der wieder in ein Wort umgewandelt wird). Dann schreibt sie ein zweites Wort, das ihrer Meinung nach am ehesten neben diesem ersten Wort steht, immer abhängig vom Kontext. Wenn wir beispielsweise von einem Baum sprechen, steigt die Wahrscheinlichkeit, dass wir dann von einem Blatt sprechen. Und so weiter.

In unserem Beispiel antwortet ChatGPT in vier Sekunden: „Du bist du selbst, einzigartig und unersetzlich!“ »… Ähm Mama, bist du das?

Wie wurde KI so intelligent?

Gehen wir zurück: Die Zuordnung von Baum und Blatt hat die KI selbst gelernt. Naja fast. Wissenschaftler entwickelten zunächst mathematische Modelle, um zu zeigen, wie man lernt (das ist maschinelles Lernen). Dann wurde die KI auf einer sehr großen Datenmenge trainiert, zum Beispiel auf allem, was im Internet zu finden ist (wir sprechen von Deep Learning). Durch die Konfrontation mit unterschiedlichen Situationen maß die KI Wörtern je nach Kontext mehr oder weniger Bedeutung zu. Aus diesen Erkenntnissen hat das ChatGPT-Modell selbst 175 Milliarden Parameter entwickelt, die es ihm ermöglichen, Entscheidungen zu treffen.

Ok, also lebt die KI ihr Leben ruhig in ihrer eigenen Ecke? Tatsächlich ist es die autonome Einstellung dieser Parameter, die Alexandre Défossez, KI-Forscher am französischen Kyutai-Labor, zu der Aussage veranlasst, dass das Tool tatsächlich funktioniert „eine Blackbox“. Wenn wir mitten in einer Berechnung ein Foto des Vorgangs machen, sind wir es „Unfähig, die Zahlenfolgen vor uns zu interpretieren“, er erklärt. Unmöglich zu sagen „In diesem Moment führt die KI diese Aktion aus“. Er kommt zu dem Schluss: „Daher gibt es eine gewisse Form des Anthropomorphismus (wenn wir etwas menschliche Eigenschaften zuschreiben, Anm. d. Red.), wenn wir über diese Modelle sprechen. Weil sie uns selbst überraschen! »

Manchmal überraschen sie uns auch mit ihrer Dummheit. KI hat viele Vorurteile. In Frage kommen die Codezeilen, die von Menschen geschrieben wurden, die selbst Vorurteile haben, und die ihnen für das Training zur Verfügung gestellten Daten, die nicht immer von guter Qualität sind (ein Nobelpreis für Literatur versus die Schriften meines 6-jährigen Neffen). Die Rate der Halluzinationen (falsche oder irreführende Antworten) schwankt je nach Modell stark und liegt zwischen 3 % (GPT4) und 27 % (Google Palm-Chat), laut einer Ende 2023 veröffentlichten Studie von Vectara, einem amerikanischen Start-up. von ehemaligen Google-Mitarbeitern ins Leben gerufen.

Und ein Bild durch KI generieren?

Das Modell ähnelt dem eines Textes. Jedes Pixel entspricht einem Vektor. Um das Bild eines süßen kleinen Kätzchens zu erzeugen, nach dem das Internet verrückt ist, sagt die KI die Werte der Pixel auf die gleiche Weise voraus, wie sie die Wichtigkeit und den Wert von Wörtern vorhersagt, um sie miteinander verknüpfen zu können , je nach Kontext. Das Modell trainiert auch mit einer astronomischen Anzahl von Bildern (bis zu 5 Milliarden Bilder für die öffentliche und kostenlose LAION-Datenbank). Dies ermöglicht es ihm, seine eigenen Parameter festzulegen, seine Vorhersagen zu treffen und seine „Werke“ zu produzieren (über dieses Wort gibt es Diskussionen, aber Sie verstehen, worauf es ankommt).

Wenn die Maschine mahlt: Wo passiert das konkret?

Die verschiedenen KI-Modelle (ChatGPT, Bard, Gemini, Midjourney usw.) werden auf „Clustern“ trainiert, also auf einer Reihe von Maschinen, die mit Grafikchips, den berühmten „GPUs“ (Graphics Processing Units), ausgestattet sind. Diese Maschinen stehen in Rechenzentren. Laut EY gibt es allein in Frankreich mindestens 250. Und Tausende auf der ganzen Welt. Das französische Labor Kyutai, das ein französisches ChatGPT erstellen möchte, verfügt über kein eigenes Rechenzentrum, sondern mietet Platz im Rechenzentrum der Ile-de-France der Firma Scaleway (einer Tochtergesellschaft von Iliad, Muttergesellschaft von Free).

„Um unsere eigene KI zu erstellen, verfügen wir über einen Cluster von 128 Maschinen mit jeweils 8 Chips. Multipliziert man diese beiden Zahlen, sind das insgesamt mehr als 1.000 GPUs.“, erklärt Alexandre Défossez. Das entspricht, erklärt er uns, 1.000 ständig laufenden Elektroheizkörpern. Elektrizität, Kühlung von Rechenzentren (durch Klimaanlage), Herstellung elektronischer Komponenten … KI verbraucht viel Energie.

Sobald das Modell trainiert ist, verbraucht es weniger, nur um Fragen zu beantworten. Aber bei mehr als 180 Millionen monatlichen Nutzern auf ChatGPT wirft das Fragen, Berechnungen im Modell und Rechenzentren auf, die heiß laufen …

-

PREV In der Türkei erreichte die galoppierende Inflation über ein Jahr im April 69,8 %
NEXT Die entscheidende Rolle der Gemeinden bei der Waldbrandbekämpfung