Fast Feature Field macht Eventkameras für Roboter universell und echtzeitfähig

Forscher der University of Pennsylvania haben eine gelernte Repräsentation entwickelt, die die asynchrone Ausgabe einer Eventkamera in eine dichte, mehrkanalige Feature-Map umwandelt. Wie das Team in Science Robotics berichtet, erreicht das System namens Fast Feature Field (F³) bei hochauflösender HD-Auflösung (High Definition) 120 Hertz und bei VGA-Auflösung (Video Graphics Array) 440 Hertz. Auf dieser Map laufen anschließend Aufgaben wie optischer Fluss, semantische Segmentierung und metrische Tiefenschätzung. Die Autoren geben für alle drei Aufgaben eine Genauigkeit auf dem Stand der Technik an, gemessen an Daten eines Autos, eines vierbeinigen Roboters und einer fliegenden Plattform.

Die Arbeit zielt auf eine seit Langem bestehende Lücke. Eventkameras melden pixelweise Helligkeitsänderungen mit einer zeitlichen Genauigkeit im Mikrosekundenbereich. Eine Übersichtsarbeit beziffert ihre zeitliche Auflösung auf mehr als 10.000 fps-Äquivalent und ihren Dynamikbereich auf über 120 dB. Die Wahrnehmungssoftware von Robotern ist dagegen auf Frames ausgelegt. F³ ist der Versuch, einen allgemeinen Adapter zwischen beiden Welten zu schaffen.

01Das Problem: ein Sensor ohne visuellen Cortex

Eine herkömmliche Kamera liefert in festen Abständen ein vollständiges Bild. Eine Eventkamera sendet stattdessen einen Strom von Tupeln, die jeweils Pixelposition, Zeitstempel und Polarität enthalten. Jedes Tupel kodiert Polarität, Ort und Zeitpunkt einer Änderung. Der Strom ist spärlich und zeitlich präzise, für Standardwerkzeuge aber sperrig. Laut Penn kann er zig Millionen Events pro Sekunde erreichen. Chaudhari, der Seniorautor, sagt, ohne Entfernen von Redundanz seien die Daten „viel zu verrauscht und umfangreich, um sie direkt zu nutzen“.

In der Praxis brauchte bisher jede Aufgabe ihre eigene Pipeline. Die Mitteilung von Penn nennt als Beispiel den Tischtennisroboter Ace von Sony AI. Er verfolgt Geschwindigkeit und Spin des Balls mit Eventkameras, sein Bildverarbeitungssystem wurde aber eigens für dieses Spiel entwickelt. Jede neue Anwendung bedeutete neue Speziallösungen statt der Wiederverwendung vorhandener Computer-Vision-Werkzeuge.

Das Penn-Team versuchte es zunächst auf einem handgefertigten Weg. Es suchte nach einer mathematischen Zusammenfassung von Eventdaten, gewissermaßen einer schnellen Fourier-Transformation für Events. Nach Monaten fand es keine, die die Datenrate bewältigte und zugleich Szenenaufbau und Bewegung erfasste. Stattdessen setzte es auf Lernen.

02Vorhersage als Trainingssignal

Die zentrale Designentscheidung betrifft das Trainingsziel. F³ wird darauf trainiert, künftige Events aus vergangenen vorherzusagen. Das Prinzip beschreibt Das, der Erstautor, so: Um vorherzusagen, was als Nächstes kommt, muss ein Netz sowohl die Struktur der Szene als auch deren Bewegung kodieren. Die Aufgabe braucht keine manuellen Labels und hängt von keiner bestimmten Anwendung ab.

Das Paper erhebt einen stärkeren Anspruch als die bloße Intuition. Die Autoren sehen F³ als eine Statistik vergangener Events, die ausreicht, um künftige Events vorherzusagen, und beweisen, dass eine solche Repräsentation Informationen über Szenenstruktur und Bewegung bewahrt. Die theoretische Garantie gilt für die idealisierte Suffizienzbedingung. Sie garantiert nicht, dass ein trainiertes Netz sie erreicht. Wie nah das Netz herankommt, belegen die Benchmark-Ergebnisse.

Der Output macht die Repräsentation erst nachgelagert nutzbar. F³ stellt Events in einem zusammenhängenden raumzeitlichen Volumen als mehrkanaliges Bild dar. Ein mehrkanaliges Bild ist das native Eingabeformat für einen Großteil bestehenden Vision-Codes. Darauf stützt sich Daniilidis' Vergleich mit JPEG und MPEG, die Bildern und Videos seiner Darstellung nach ein gemeinsames Format gaben. Ebenso gibt F³ Events eine gemeinsame Schnittstelle, die sich für Software aus der Welt konventioneller Kameras adaptieren lässt. „Adaptieren“ ist hier entscheidend: Aufgaben-Heads müssen weiterhin auf den Features trainiert werden.

03Sparsity: nur dort rechnen, wo Events auftreten

Die erste Implementierung war laut Chaudhari für den Echtzeiteinsatz zu langsam. Die Lösung lag in der Statistik der Daten. Das zufolge enthalten zu jedem Zeitpunkt rund 95 % der möglichen Positionen keine Events, sodass das Netz nur dort rechnet, wo tatsächlich Events auftreten.

Laut Code-Repository verdankt F³ seine geringe Latenz einem Multiresolution-Hash-Encoder und einer permutationsinvarianten Architektur, die die Spärlichkeit von Eventdaten ausnutzen. Das Abstract des Papers nennt als die beiden Bausteine Multiresolution-Hash-Encoding und Deep Sets. Jeder Baustein erfüllt eine spezifische Aufgabe:

• Hash-Encoding schlägt gelernte Features auf mehreren räumlichen Skalen über eine Hash-Tabelle nach. Der Aufwand hängt dadurch von der Zahl der Events ab, nicht von der Zahl der Pixel.
• Deep-Set-artige Verarbeitung ist permutationsinvariant. Sie behandelt die Events eines Zeitfensters als ungeordnete Menge und fasst sie per Pooling zusammen, braucht also weder ein festes Raster noch eine feste Reihenfolge.

Zusammen halten sie den Aufwand proportional zur Aktivität. Zudem passen sie zum Verhalten von Eventkameras, deren Eventrate mit Szenenbewegung und Beleuchtung stark schwankt. Die Autoren sagen, F³ sei robust gegenüber Rauschen und variierenden Eventraten. Das wird über verschiedene Sensoren mit unterschiedlichen Auflösungen und Eventraten geprüft.

04Was die Zahlen sagen

Die Schlagzeilenwerte betreffen zwei getrennte Stufen, die sich leicht verwechseln lassen:

Laut Repository sind diese HD-Inferenzraten etwa 2- bis 5-mal schneller als die derzeit besten eventbasierten Methoden. Die Mitteilung von Penn nennt denselben Faktor für auf F³ aufbauende Algorithmen. In den von mir gesichteten Quellen steht nicht, auf welcher Hardware diese Raten erzielt wurden. Leser sollten das ergänzende Material des Papers prüfen, bevor sie die Werte als Zahlen für einen eingebetteten Flugrechner behandeln.

Die Genauigkeitsangaben betreffen drei Aufgaben: Schätzung des optischen Flusses, semantische Segmentierung und monokulare metrische Tiefenschätzung. Die Testdaten umfassen Tag und Nacht, Innen- und Außenräume, urbane und Offroad-Umgebungen sowie mehrere Dynamic Vision Sensors. Pennś Darstellung nennt Details wie nächtliche Stadtstraßen und belebte Innenräume, und die Projektseite zeigt Tiefenschätzung anhand von Skatern in einem Skatepark. Das Abstract spricht von „State of the Art“ bei diesen Aufgaben. Margen pro Benchmark nennen die Quellen nicht; wie groß der Genauigkeitsgewinn gegenüber spezialisierten Modellen ausfällt, muss man daher den Tabellen des Papers entnehmen.

05Was unbewiesen bleibt und was als Nächstes kommt

Einige Grenzen sollten klar benannt werden.

• Die Generalisierung ist an drei Aufgaben gezeigt. Optischer Fluss, Segmentierung und Tiefe sind Wahrnehmungsprimitive. Ob F³-Features in gleicher Qualität auch für geschlossene Regelkreise, SLAM oder Mehrobjektverfolgung taugen, ist in den von mir gesichteten Quellen nicht belegt.
• Die Aufgabenraten liegen deutlich unter der Feature-Rate. 25–75 Hz bei HD sind für viele Roboter schnell. Dennoch bleiben sie weit hinter der Zeitgenauigkeit im Mikrosekundenbereich zurück, die der Sensor liefern kann; ein Teil des Latenzvorteils des Sensors wird also gegen eine regelmäßige, frameartige Ausgabe getauscht.
• Die „gemeinsame Sprache“ setzt Anpassung voraus. Vorhandene frame-basierte Modelle lassen sich umwidmen, brauchen aber jeweils Training oder Feintuning auf eventabgeleiteten Features.
• Hardwareintegration ist ein Ziel. Die Autoren stellen sich vor, F³ in die Kameraelektronik einzubauen, wo es wie ein Treiber Rohsignale in ein nutzbares Format übersetzen würde. Gezeigt wurde das noch nicht. Penn zufolge plant das Team außerdem, den Ansatz weiter zu verfeinern.

Der nähere Test ist die Drohnenarbeit des Teams. Gemeinsam mit den Doktoranden Dexter Ong und Ioannis Asmanis nutzen sie F³, um autonome Drohnen zu bauen, die in unübersichtlichen, schlecht beleuchteten Räumen navigieren. Daniilidis nennt es eine Schlüsselkomponente ihrer Pipeline. Der Code ist öffentlich, und laut den Autoren ist der gesamte Code auf der Projektseite verfügbar. Unabhängige Gruppen können daher prüfen, ob die berichtete Geschwindigkeit und Genauigkeit auch auf anderen Sensoren und bei anderen Aufgaben Bestand haben. Diese Tests werden zeigen, ob F³ zum Standard-Frontend für Eventkameras wird, wie es die Autoren hoffen.