Ein Forschungsteam aus China hat einen Sensor entwickelt, der für KI-Systeme Token generiert, sobald Licht erkannt wird, wodurch eine langwierige Kette von energieaufwendigen Schritten, auf die typische Kamerasysteme angewiesen sind, entfällt. Das Gerät, bekannt als LightTok, vereint die Funktionen eines Analog-Digital-Wandlers, eines Speicherpuffers und einer Recheneinheit auf einem Chip.
Das Team unter der Leitung von Miao Feng vom Institut für Brain-Inspired Intelligence der Nanjing University veröffentlichte die Arbeit am 19. August in der Fachzeitschrift Nature Sensors. LightTok wandelt das Rohlicht, das auf einen Pixel trifft, direkt in ein Format um, das von KI-Modellen gelesen werden kann, ohne die Zwischenschritte, die den Großteil der Energie eines Sensors verbrauchen.
Wie ein Sensor früher funktionierte
Ein Kamerasensor sammelt Licht, und ein Analog-Digital-Wandler wandelt es in Pixel um. Die Information ruht vorübergehend im Speicher, bevor sie in kleinere Teile auf einem separaten Chip aufgeteilt wird – ähnlich wie das Zuschneiden eines Fotos in ein Raster aus quadratischen Fächern –, sodass jedes Teil in einen Token für ein KI-Modell umgewandelt werden kann.
Laut einer Studie, auf die andere Wissenschaftler ebenfalls zurückgreifen, ist ein Analog-Digital-Wandler für etwa 66 % des Energieverbrauchs eines Bildsensors verantwortlich. Die Verlagerung der Datenverarbeitung von dem Chip in die Cloud verschärft das Energieproblem nur noch.
Der Chip, der die Warteschlange überspringt
LightTok kombiniert Sensorik, Speicher und Berechnung in einem Schritt und komprimiert, was andernfalls fünf unterschiedliche Phasen wären, in eine einzige Operation. Die Forscher konstruierten ihre Anordnung mit einem einschichtigen Molybdän-Disulfid-Floating-Gate-Phototransistor, einem Ansatz, der Licht erkennen, verfolgen und diese Information dann für eine Berechnung nutzen kann.
Molybdän-Disulfid ist ein 2D-Material, das gut auf Licht reagiert und in Schichten von einem Atom Dicke gezüchtet werden kann. Der Phototransistor wandelt einfallende Photonen in einen elektrischen Strom um, während das Floating Gate eine elektrische Ladung speichert, anstatt sie nach dem Verschwinden des Lichts wieder freizugeben.
Xinhua berichtete, dass Liang Shi-Jun, ein Physikprofessor an der Nanjing University, den Chip als einen beschrieb, der Datenbewegungen vollständig eliminiert, was die Hauptursache für Energieverluste darstellt. Das Gerät nimmt Licht auf und gibt Token aus – woher der Name „LightTok“ kommt.
Die Zahlen auf dem Blatt
Die Forscher berichteten in ihrer Studie, dass LightTok während der Tests eine Genauigkeit von 87,3 % bei der Bilderkennung erreichte und dies bei einer 10-fach höheren Energieeffizienz bei der Umwandlung von Licht in Token als im Vergleich zum herkömmlichen mehrstufigen Prozess.
Der Nachteil ist die aktuelle Auflösung der Kamera, die bei lediglich 32 x 32 lichtempfindlichen Pixeln liegt – weit unter der Qualität, die moderne Smartphone-Kameras bieten. Die Forscher argumentieren, dass die Technologie mithilfe des komplementären Metall-Oxid-Halbleiter-Fertigungsverfahrens skaliert werden kann, derselben Methode, die zur Herstellung von Chips in Smartphones, Laptops und Sensoren in Drohnen verwendet wird.
Was Kumar Sokka sagt
Kumar Sokka, der Acre Security leitet, ein Unternehmen, das reale Sensoren für kritische Infrastrukturen bereitstellt, bezeichnete die Arbeit als „Demonstration im kleinen Maßstab“. Er war nicht an der Forschung beteiligt.
Die Richtung der Signalverarbeitung am Erfassungspunkt ist für jeden relevant, der in der physischen Welt arbeitet, erklärte Sokka. Er sagte, es könne „ein Ermöglicher für allgegenwärtige physische KI sein, und zwar eine clevere, aber es ist keine Heilung für das ganze Problem“, was eine deutliche Änderung der Art und Weise darstellt, wie Daten behandelt werden.
Das Gesamtbild
Neben anderen aktuellen Forschungsarbeiten zur energieeffizienten KI-Sensorik reiht sich diese Arbeit ein. Eine Arbeit beschrieb, wie ein „Regenbogen auf einem Chip“ zufällig entstand. Eine andere Arbeit beschrieb einen KI-Chip, der die blitzschnelle motorische Kontrolle des menschlichen Gehirns imitiert und Probleme mit 10.000-fach weniger Berechnungen löst.
Die Schlagzeile ist LightToks 10-fache Energieeinsparung bei der Token-Produktion, obwohl die 32×32-Grenze das System derzeit auf einen Proof of Concept beschränkt. Die Forscher verweisen auf die Standard-Chip-Fertigung als Weg zur zukünftigen Skalierung, wobei eine drohnengestützte Katastrophenüberwachung als das versprochene Anwendungsgebiet dient.
„Licht kommt rein, Token kommen raus“ – daher der Name „LightTok“.
Das Konzept ist vielversprechend, ebenso wie sein Ansatz. Die eigentliche Frage ist, ob der Produktionsweg dies leisten kann, die Vision in Drohnen und autonome Hardware umsetzt.
Quelle: „Neuer LightTok-Chip wandelt Licht direkt in ‚Token‘ für KI um – und reduziert den Energieverbrauch von Drohnen und anderen autonomen Maschinen“, Live Science.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.