Bei der Meta Connect-Veranstaltung letzte Woche stellte Mark Zuckerberg neue Funktionen der Flaggschiff-Datenbrille Meta Ray-Ban des Unternehmens vor. Die Brille wird als „perfekter Formfaktor für KI“ bezeichnet und die Verbesserungen konzentrieren sich auf multimodale KI. Die Idee besteht darin, eine natürlichere Interaktion zu ermöglichen, ähnlich dem, was wir bereits bei Googles Gemini und ChatGPT 4o gesehen haben.
Aber über die Verbesserungen in der Kommunikation hinaus ermöglicht die multimodale KI der Brille interessante neue Interaktionen und gibt ihnen die Möglichkeit, zu „sehen“, was Sie sehen, und zu „hören“, was Sie hören, und zwar mit weniger notwendigem Kontext seitens des Benutzers.
Eine der nützlichsten Funktionen der Brille ist die Fähigkeit, sich Dinge für Sie zu „merken“. Wie ? Notieren Sie sich visuelle Indikatoren, um sie für später zu kategorisieren.
Hier ist ein Blick auf alles, was demnächst kommt.
1. Übersetzungen im Handumdrehen
Meta
Die Meta Ray-Ban-Brille verfügt über eine Übersetzungsfunktion, die in Echtzeit (oder zumindest nahezu in Echtzeit) mit Spanisch, Französisch und Italienisch funktioniert. Bei der Veranstaltung demonstrierte Zuckerberg ein Gespräch mit einem Spanisch sprechenden Menschen. Und die Brille übersetzte in nur wenigen Sekunden das, was jeder Sprecher sagte und hörte, vom Spanischen ins Englische.
Natürlich tragen nicht bei jedem Gespräch beide Nutzer die Datenbrille. Aus diesem Grund ermöglicht das Unternehmen Benutzern, ihre Produktion mit der Meta-Begleit-App zu synchronisieren und sich zum Anzeigen der Übersetzungen auf das Smartphone zu verlassen.
Ein neues KI-Übersetzungstool für Instagram Reels
Zusätzlich zu den neuen Funktionen der Brille stellte Meta auch sein neues KI-Übersetzungstool für Instagram Reels vor, das Audio automatisch ins Englische übersetzt und dann mithilfe von KI die Mundbewegungen des Sprechers mit der englischen Übersetzung synchronisiert. Das Ergebnis war – zumindest in der Demo – ein natürlich aussehendes englischsprachiges Video mit der Sprachprobe des Sprechers.
Derzeit befindet sich diese Funktion noch im Anfangsstadium. Derzeit ist es nur auf Spanisch auf Instagram und Facebook verfügbar.
2. Brillen können sich jetzt Dinge „merken“.
Meta
Die Demo demonstrierte auch das „fotografische Gedächtnis“ der Brille. Und das durch die Lösung eines Problems, auf das wir alle gestoßen sind. Es geht darum, sich daran zu erinnern, wo Sie geparkt haben. Der Benutzer schaute auf die Parkplatznummer und sagte einfach: „Merken Sie sich, wo ich geparkt habe.“
Als die Brille später fragte: „Hey Meta, wo habe ich geparkt?“, antwortete die KI mit der Parkplatznummer.
Diese Art der „Einstufung“ von Wissen im laufenden Betrieb ist ein Beispiel für die Nutzung dessen, was KI am besten kann. Das heißt, bestimmte Daten in einem vordefinierten Kontext abzurufen.
Weitere Beispiele, wie diese Funktion genutzt werden kann, sind leicht vorstellbar, von Einkaufslisten über Veranstaltungstermine bis hin zu Telefonnummern.
3. Multimodalität auf höherer Ebene
Bisher musste man „Hey Meta“ sagen, um die KI der Brille aufzurufen. Warten Sie dann auf die Aufforderung, mit der Abfrage zu beginnen. Jetzt können Sie der Brille einfach in Echtzeit Fragen stellen, auch wenn Sie unterwegs sind. Und das, indem Sie die multimodale KI der Brille nutzen, um zu analysieren, was Sie sehen oder hören.
- Eine Demo zeigte einen Benutzer, der eine Avocado schälte und fragte: „Was kann ich damit machen?“, ohne anzugeben, was „das“ meinte.
- Eine andere Demo zeigte einen Benutzer, der in einem Schrank wühlte und mehrere Kleidungsstücke auf einmal herausholte, wobei er die KI bat, ihm in Echtzeit beim Stylen eines Outfits zu helfen.
Wie bei anderen beliebten Sprachassistenten ist es auch bei Meta AI jederzeit möglich, ein Gespräch zu unterbrechen.
In diesem Sinne gehen die multimodalen Fähigkeiten von Brillen über die einfache statische Analyse des Gesehenen hinaus. Die Brille erkennt Dinge wie URLs, Telefonnummern, die Sie anrufen können, oder QR-Codes, die Sie sofort mit der Brille scannen können.
4. Partenariat Be My Eyes
Schließlich demonstrierte Zuckerberg eine raffinierte neue Barrierefreiheitsfunktion der Brille. Blinde und sehbehinderte Menschen können mithilfe der Brille das, was sie sehen, an eine Person am anderen Ende übermitteln, die ihr genau erklären kann, was sie gerade sehen.
Be My Eyes ist ein Programm, das bereits in Produktion ist. Die Demonstration zeigte eine Frau, die eine Partyeinladung mit Datum und Uhrzeit betrachtete. Diese Technologie könnte vom Lesen von Schildern bis zum Einkaufen von Lebensmitteln eingesetzt werden.
Schließlich stellte Zuck einige neue Modelle vor, darunter eine neue Ray-Bans in limitierter Auflage mit klaren und transparenten Rahmen, sowie die Einführung neuer Übergangsgläser, die eine doppelte Verwendung als Sonnenbrille und Brille ermöglichen. der Ansicht.
Die Meta Ray-Bans werden ab 300 Euro verkauft und sind in neun verschiedenen Rahmenmodellen sowie einer neuen transparenten Limited Edition erhältlich.
