Raspberry Pi AI Camera, das von Sony entwickelte intelligente Auge

Der Raspberry Pi verfügt jetzt über ein KI-gestütztes Auge. Während der berühmte Mikro-PC bereits von zahlreichen klassischen Kameramodulen profitiert, hat Sonys Halbleitersparte (SSS) gerade die Einführung eines Moduls angekündigt, das einen etwas anderen Sensor integriert.

Werbung, Ihr Inhalt wird unten fortgesetzt

Dieser 2020 auf den Markt gebrachte 12-Mpx-Sensor mit der Bezeichnung IMX500 stellte eine große Neuheit dar: Er integrierte nicht nur Speicher (gestapelter Sensor), sondern vor allem auch einen Prozessor, der Inferenzoperationen durchführen kann. Im Mainstream-Jargon wird es als KI-Prozessor, DSP oder Beschleuniger bezeichnet (ja, normalerweise ist es dasselbe).

Und das kommt für den Raspberry Pi zum richtigen Zeitpunkt, da er nicht damit ausgestattet ist. Und dass seine CPU und CPU (integriert in seinen SoC) bei KI-Anwendungen keine sehr gute Leistung bieten.

Hatte er ein erstes Leben als einzeln käufliche Komponente, ist dieser IMX500 daher in ein Komplettmodul integriert, das nicht nur eine Optik, sondern auch den hauseigenen Mikrocontroller der Raspberry Pi Foundation, den RP2040, umfasst. Aber ist es dann ein Sony- oder Raspberry-Produkt? Beide.

Wenn Sony an einem Produkt beteiligt ist, das unter der offiziellen Flagge „Raspberry Pi AI Camera“ verkauft wird, dann deshalb, weil das japanische Unternehmen jetzt Minderheitsanteile an Raspberry Pi Ltd hält, dem kommerziellen Zweig, der von der Stiftung unterstützt wird, die das Projekt trägt . Sony hat den Raspberry Pi bereits in seinen Fabriken – der walisischen für den europäischen Markt – hergestellt, und die Japaner liegen nun in puncto Entwicklung an zweiter Stelle.

Werbung, Ihr Inhalt wird unten fortgesetzt

Eine Komplettlösung

Konkret besteht die KI-Kamera des Raspberry Pi aus einer Optik, die ein Sichtfeld von 76° (ungefähr: 28 mm) abdeckt, dem IMX500-Sensor (12 Mpx) mit seinem Neuralbeschleuniger und seinem Speicher sowie einem RP2040, der dies ermöglicht Verwalten Sie das Laden/Ändern der Sensor-Firmware.

Aber Sony hat seinen Sensor nicht nur in ein fertiges Produkt integriert, sondern entwickelt seit vier Jahren auch KI-Chip-Entwicklungs- und Steuerungstools – eine Plattform namens AITRIOS. Nach der Einführung seines Sensors als Entwicklungsplattform verfügt Sony Semiconductor Solutions nun über ein Massenprodukt, das die Vorteile seiner Komponenten nutzen kann.

Die Frage ist natürlich, wofür kann ein solcher Sensor verwendet werden? Zu vielen Dingen. Aus technologischer Sicht kann der im Sensor integrierte Chip Bildklassifizierung, Objekt- oder Posenerkennung sowie semantische Segmentierung (Bildausschnitt in Himmel, Motiv, Haus etc. in Echtzeit) durchführen. Und das alles, ohne den dafür verantwortlichen Prozessor – hier den Raspberry Pi – zu überlasten.

Als Einsatzmöglichkeiten können wir Robotik, Überwachung, autonome Steuerung von Kleinfahrzeugen usw. nennen. In Rom wurde ein Pilotprojekt gestartet, bei dem Kameras in Echtzeit freie Parkplätze erkennen.

Dieser Sensortyp hat viele Vorteile sowohl hinsichtlich der Energie als auch der Netzentladung: Es ist nicht erforderlich, die Bitmap-Bilder des Sensors auszugeben, um sie zu analysieren. Es kommt nur eine kleine Menge bereits verarbeiteter Daten heraus, wodurch Bandbreite in einem Netzwerk frei wird. Neben einem potenziellen Latenzvorteil kann dieser Sensortyp auch einen Datenschutzvorteil bieten.

Wenn es so konfiguriert ist, dass es keine pixeligen Bilder überträgt, kann es Positionserkennungsalgorithmen ausführen (z. B. ein Körper, der fällt und bewegungslos bleibt) und eine Warnung senden, ohne jemals ein kompromittierendes, schockierendes Bild usw. zu teilen.

Die Raspberry Pi AI-Kamera ist bereits für 80,40 € inklusive Steuern bei offiziellen Händlern erhältlich.

Werbung, Ihr Inhalt wird unten fortgesetzt