Fast Feature Field : une sortie temps réel polyvalente pour les caméras événementielles

Des chercheurs de l'université de Pennsylvanie ont conçu une représentation apprise qui convertit la sortie asynchrone d'une caméra événementielle en une carte de caractéristiques dense et multicanal. Selon leur article publié dans Science Robotics, le système, baptisé Fast Feature Field (F³), atteint 120 hertz en résolution haute définition (HD) et 440 hertz en résolution VGA (Video Graphics Array). Des tâches aval comme le flux optique, la segmentation sémantique et l'estimation de profondeur métrique s'exécutent ensuite à partir de cette carte. Les auteurs annoncent une précision à l'état de l'art sur ces trois tâches, à partir de données issues d'une voiture, d'un robot quadrupède et d'une plateforme volante.

Ces travaux visent à combler un manque de longue date. Les caméras événementielles signalent les variations de luminosité pixel par pixel, avec une précision temporelle de l'ordre de la microseconde. Une étude de synthèse évalue leur résolution temporelle à plus de 10 000 fps équivalents et leur plage dynamique à plus de 120 dB. Pourtant, les logiciels de perception robotique sont conçus autour d'images complètes. Le F³ se présente comme une tentative d'adaptateur général entre les deux.

01Le problème : un capteur sans cortex visuel

Une caméra conventionnelle fournit une image complète à intervalles fixes. Une caméra événementielle émet à la place un flux de n-uplets, chacun comprenant la position d'un pixel, un horodatage et une polarité. Chaque n-uplet encode la polarité, la position et l'instant d'un changement. Le flux est parcimonieux et d'une grande précision temporelle, mais il s'accommode mal des outils standard. Selon le compte rendu de Penn, il peut atteindre des dizaines de millions d'événements par seconde. Chaudhari, auteur senior, affirme que sans suppression de la redondance, les données sont « bien trop bruitées et volumineuses pour être utilisées directement ».

En pratique, chaque tâche a exigé sa propre chaîne de traitement. Le communiqué de Penn cite en exemple Ace, le robot joueur de tennis de table de Sony AI. Il suit la vitesse et l'effet de la balle avec des caméras événementielles, mais son système de vision a été conçu spécifiquement pour ce jeu. Chaque nouvelle application a ainsi nécessité un logiciel sur mesure au lieu de réutiliser les outils de vision par ordinateur existants.

L'équipe de Penn a d'abord tenté une voie dérivée à la main. Elle a cherché un résumé mathématique des données événementielles, en somme une transformée de Fourier rapide pour événements. Après des mois, elle n'en a trouvé aucun qui supporte le débit de données tout en capturant à la fois la disposition de la scène et le mouvement. Elle s'est alors tournée vers l'apprentissage.

02La prédiction comme signal d'entraînement

Le choix de conception central est l'objectif d'entraînement. Le F³ est entraîné à prédire les événements futurs à partir des événements passés. Das, premier auteur, décrit ainsi la logique : pour anticiper ce qui vient ensuite, un réseau doit encoder à la fois la structure de la scène et la façon dont elle se déplace. Cette tâche ne requiert aucune annotation manuelle et ne dépend d'aucune application particulière.

L'article avance une affirmation plus forte que l'intuition. Les auteurs disent traiter le F³ comme une statistique des événements passés suffisante pour prédire les événements futurs, et démontrent qu'une telle représentation conserve l'information sur la structure et le mouvement de la scène. La garantie théorique porte sur la condition de suffisance idéalisée. Elle ne garantit pas qu'un réseau entraîné l'atteigne. Ce sont les résultats sur les benchmarks qui indiquent dans quelle mesure le réseau s'en approche.

La sortie est ce qui rend la représentation utile en aval. Le F³ représente les événements d'un volume spatio-temporel contigu sous la forme d'une image multicanal. Une image multicanal est le format d'entrée natif d'une grande partie du code de vision existant. C'est le fondement de la comparaison de Daniilidis avec JPEG et MPEG, qui, selon lui, ont donné aux images et à la vidéo un format commun. De la même façon, le F³ offre aux événements une interface commune que les logiciels écrits pour les caméras conventionnelles peuvent être adaptés pour exploiter. Le mot « adaptés » a son importance : les têtes de tâche doivent encore être entraînées au-dessus des caractéristiques.

03Parcimonie : ne calculer qu'où des événements se produisent

La première implémentation était trop lente pour le temps réel, d'après Chaudhari. La solution est venue des statistiques des données. Das explique qu'environ 95 % des positions possibles ne contiennent aucun événement à un instant donné ; le réseau ne calcule donc que là où des événements se produisent réellement.

D'après le dépôt de code, le F³ doit sa faible latence à un encodeur par hachage multirésolution et à une architecture invariante par permutation, qui tirent parti de la parcimonie des données événementielles. Le résumé de l'article désigne les deux ingrédients comme l'encodage par hachage multirésolution et les deep sets. Chacun remplit un rôle précis :

• L'encodage par hachage recherche des caractéristiques apprises à plusieurs échelles spatiales dans une table hachée. Le coût dépend donc du nombre d'événements, et non du nombre de pixels.
• Le traitement de type deep set est invariant par permutation. Il traite les événements d'une fenêtre temporelle comme un ensemble non ordonné et les agrège, sans exiger de grille ni d'ordre fixes.

Ensemble, ces choix maintiennent un coût proportionnel à l'activité. Ils s'accordent aussi avec le comportement des caméras événementielles, dont le débit d'événements varie fortement avec le mouvement de la scène et l'éclairage. Les auteurs affirment que le F³ est robuste au bruit et aux variations du débit d'événements. Cette affirmation est vérifiée sur différents capteurs, de résolutions et de débits d'événements variés.

04Ce que disent les chiffres

Les chiffres mis en avant concernent deux étapes distinctes, que l'on confond facilement :

Le dépôt indique que ces cadences d'inférence en HD sont environ 2 à 5 fois supérieures à celles des méthodes événementielles de pointe actuelles. Le communiqué de Penn avance le même facteur pour les algorithmes fondés sur le F³. Les sources que j'ai consultées ne précisent pas le matériel qui a produit ces cadences. Les lecteurs devraient vérifier les compléments de l'article avant de les considérer comme des chiffres valables pour un calculateur de vol embarqué.

Les affirmations de précision couvrent trois tâches : l'estimation du flux optique, la segmentation sémantique et l'estimation de profondeur métrique monoculaire. Les données de test couvrent le jour et la nuit, l'intérieur et l'extérieur, les milieux urbains et le hors-piste, ainsi que plusieurs capteurs de vision dynamiques. Le compte rendu de Penn ajoute des précisions, comme des rues urbaines de nuit et des espaces intérieurs bondés, et la page du projet montre la profondeur estimée à partir de patineurs dans un skatepark. Le résumé de l'article parle d'« état de l'art » sur ces tâches. Les sources ne donnent pas de marges par benchmark ; l'ampleur du gain de précision par rapport aux modèles spécialisés reste donc à lire dans les tableaux de l'article.

05Ce qui reste à prouver, et la suite

Plusieurs limites méritent d'être énoncées clairement.

• La généralisation est démontrée sur trois tâches. Flux optique, segmentation et profondeur sont des primitives de perception. Les sources que j'ai consultées n'établissent pas que les caractéristiques du F³ servent aussi la commande en boucle fermée, le SLAM ou le suivi multi-objets avec la même qualité.
• Les cadences des tâches sont très inférieures à celle des caractéristiques. 25 à 75 Hz en HD est rapide pour de nombreux robots. C'est pourtant bien en deçà de la précision temporelle de l'ordre de la microseconde que peut offrir le capteur : une partie de son avantage en latence est donc sacrifiée au profit d'une sortie régulière, semblable à une image.
• Le « langage commun » dépend de l'adaptation. Les modèles existants fondés sur les images peuvent être réutilisés, mais chacun exige encore un entraînement ou un réglage fin sur les caractéristiques issues des événements.
• L'intégration matérielle reste un objectif. Les auteurs envisagent d'intégrer le F³ directement aux circuits de la caméra, où il jouerait le rôle d'un pilote transformant les signaux bruts en un format exploitable. Cela n'a pas été démontré. Penn indique que l'équipe prévoit aussi d'affiner l'approche.

Le test le plus proche est le travail de l'équipe sur les drones. Avec les doctorants Dexter Ong et Ioannis Asmanis, elle utilise le F³ pour construire des drones autonomes capables de naviguer dans des espaces encombrés et mal éclairés. Daniilidis y voit un composant clé de leur chaîne de traitement. Le code est public, et les auteurs indiquent que tout le code est disponible sur la page du projet. Des groupes indépendants peuvent donc vérifier si la vitesse et la précision annoncées se maintiennent avec d'autres capteurs et d'autres tâches. Ces tests diront si le F³ devient un étage d'entrée standard pour les caméras événementielles, comme l'espèrent ses auteurs.