Fast Feature Field: uscita generale in tempo reale per le telecamere a eventi dei robot

Alla University of Pennsylvania i ricercatori hanno messo a punto una rappresentazione appresa che converte l'uscita asincrona di una telecamera a eventi in una mappa di feature densa e multicanale. Secondo l'articolo pubblicato su Science Robotics, il sistema, chiamato Fast Feature Field (F³), raggiunge 120 hertz in risoluzione high-definition (HD) e 440 hertz in risoluzione video graphics array (VGA). Su questa mappa girano poi task a valle come flusso ottico, segmentazione semantica e profondità metrica. Gli autori dichiarano un'accuratezza allo stato dell'arte in tutti e tre i casi, con dati provenienti da un'auto, da un robot quadrupede e da una piattaforma volante.

Il lavoro punta a colmare una lacuna di vecchia data. Le telecamere a eventi registrano le variazioni di luminosità pixel per pixel, con una temporizzazione dell'ordine del microsecondo. Una rassegna colloca la loro risoluzione temporale oltre l'equivalente di 10.000 fps e la gamma dinamica sopra i 120 dB. Il software di percezione dei robot, però, è costruito attorno ai fotogrammi. F³ è un tentativo di realizzare un adattatore generale tra i due mondi.

01Il problema: un sensore senza corteccia visiva

Una telecamera convenzionale fornisce un'immagine completa a intervalli fissi. Una telecamera a eventi emette invece un flusso di tuple, ciascuna con la posizione del pixel, un timestamp e una polarità. Ogni tupla codifica polarità, posizione e istante di una variazione. Il flusso è sparso e preciso nel tempo, ma si adatta male agli strumenti standard. Secondo il resoconto della Penn, può arrivare a decine di milioni di eventi al secondo. Chaudhari, autore senior, afferma che, senza eliminare la ridondanza, i dati sono «troppo rumorosi e voluminosi per essere usati direttamente».

In pratica, ogni task ha richiesto finora una pipeline dedicata. Il comunicato della Penn cita come esempio Ace, il robot da ping pong di Sony AI. Traccia velocità ed effetto della pallina con telecamere a eventi, ma il suo sistema di visione è stato progettato appositamente per quel gioco. Ogni nuova applicazione ha significato nuovo software su misura, anziché il riuso degli strumenti di computer vision esistenti.

Il gruppo della Penn ha provato prima una strada derivata a mano. Cercava un riassunto matematico dei dati a eventi, in sostanza una trasformata di Fourier veloce per gli eventi. Dopo mesi non ne ha trovato uno che reggesse la velocità dei dati e catturasse insieme la struttura della scena e il movimento. Il gruppo si è quindi rivolto all'apprendimento.

02La previsione come segnale di addestramento

La scelta progettuale centrale è l'obiettivo di addestramento. F³ viene addestrato a prevedere gli eventi futuri a partire da quelli passati. Das, primo autore, descrive così la logica: per anticipare ciò che accadrà, una rete deve codificare sia la struttura della scena sia il modo in cui si muove. Il compito non richiede etichette manuali e non dipende da alcuna applicazione specifica.

L'articolo avanza un'affermazione più forte dell'intuizione. Gli autori dicono di trattare F³ come una statistica degli eventi passati sufficiente a prevedere quelli futuri, e dimostrano che una rappresentazione di questo tipo conserva le informazioni sulla struttura della scena e sul movimento. La garanzia teorica riguarda la condizione di sufficienza idealizzata. Non assicura che una rete addestrata la raggiunga. Per capire quanto vi si avvicini, l'evidenza sono i risultati dei benchmark.

Ciò che rende la rappresentazione utile a valle è l'output. F³ rappresenta gli eventi in un volume spazio-temporale continuo come immagine multicanale. Un'immagine multicanale è il formato di ingresso nativo di gran parte del codice di visione esistente. Su questo si basa il paragone di Daniilidis con JPEG e MPEG, che secondo lui hanno dato a immagini e video un formato comune. Allo stesso modo, F³ offre agli eventi un'interfaccia comune a cui il software scritto per le telecamere convenzionali può essere adattato. «Adattato» è la parola chiave: le head per i singoli task vanno comunque addestrate sopra le feature.

03Sparsità: calcolare solo dove ci sono eventi

Secondo Chaudhari, la prima implementazione era troppo lenta per l'uso in tempo reale. La soluzione è arrivata dalle statistiche dei dati. Das spiega che in ogni istante circa il 95% delle posizioni possibili non contiene eventi, quindi la rete calcola solo dove gli eventi si verificano davvero.

Stando al repository del codice, F³ ottiene la bassa latenza grazie a un codificatore hash multirisoluzione e a un'architettura invariante alle permutazioni, che sfruttano la sparsità dei dati a eventi. L'abstract dell'articolo indica i due ingredienti come codifica hash multirisoluzione e deep set. Ciascuno svolge un compito specifico:

• La codifica hash recupera feature apprese a più scale spaziali attraverso una tabella hash. Il costo dipende quindi dal numero di eventi, non dal numero di pixel.
• L'elaborazione in stile deep set è invariante alle permutazioni. Tratta gli eventi di una finestra temporale come un insieme non ordinato e ne fa il pooling, quindi non richiede una griglia né un ordinamento fissi.

Insieme, i due elementi mantengono il costo proporzionale all'attività. Si adattano anche al comportamento delle telecamere a eventi, perché la frequenza degli eventi oscilla molto con il movimento della scena e con l'illuminazione. Gli autori affermano che F³ è robusto al rumore e alle variazioni della frequenza di eventi. L'affermazione è verificata su sensori diversi, con risoluzioni e frequenze di eventi differenti.

04Cosa dicono i numeri

I dati principali riguardano due fasi distinte, facili da confondere:

Il repository afferma che queste frequenze di inferenza in HD sono circa 2–5 volte più rapide dei metodi a eventi attualmente allo stato dell'arte. Il comunicato della Penn riporta lo stesso fattore per gli algoritmi costruiti su F³. Le fonti che ho esaminato non dicono su quale hardware siano state ottenute queste frequenze. Prima di considerarle valide per un computer di bordo embedded su un velivolo, conviene consultare il materiale supplementare dell'articolo.

Le dichiarazioni di accuratezza riguardano tre task: stima del flusso ottico, segmentazione semantica e stima della profondità metrica monoculare. I dati di test coprono scenari diurni e notturni, interni ed esterni, urbani e fuoristrada, e vari sensori dynamic vision sensor. Il resoconto della Penn aggiunge dettagli, come strade urbane di notte e ambienti interni affollati, mentre la pagina del progetto mostra la profondità ricavata da skater in uno skatepark. La formulazione dell'abstract è «state-of-the-art» su questi task. Le fonti non indicano i margini per singolo benchmark, quindi l'entità del guadagno di accuratezza rispetto ai modelli specializzati resta da ricavare dalle tabelle dell'articolo.

05Che cosa resta da dimostrare e che cosa viene dopo

Vale la pena indicare con chiarezza alcuni limiti.

• La generalizzazione è dimostrata su tre task. Flusso ottico, segmentazione e profondità sono primitive della percezione. Nelle fonti che ho esaminato non è stabilito se le feature di F³ servano con la stessa qualità anche per il controllo ad anello chiuso, lo SLAM o il tracciamento di più oggetti.
• Le frequenze dei task sono ben al di sotto di quella delle feature. 25–75 Hz in HD sono tanti per molti robot, ma restano lontani dalla temporizzazione al microsecondo che il sensore può offrire: parte del vantaggio di latenza del sensore viene dunque ceduta in cambio di un'uscita regolare, simile a un fotogramma.
• Il «linguaggio comune» dipende dall'adattamento. I modelli esistenti basati su fotogrammi possono essere riutilizzati, ma ciascuno richiede comunque addestramento o fine-tuning sulle feature derivate dagli eventi.
• L'integrazione hardware è un obiettivo. Gli autori immaginano di incorporare F³ nei circuiti della telecamera, dove farebbe da driver che trasforma i segnali grezzi in un formato utilizzabile. Non è stato ancora dimostrato. La Penn dice che il gruppo intende anche perfezionare l'approccio.

La prova più vicina nel tempo è il lavoro del gruppo sui droni. Con i dottorandi Dexter Ong e Ioannis Asmanis, i ricercatori usano F³ per costruire droni autonomi che navigano in spazi ingombri e poco illuminati. Daniilidis lo definisce un componente chiave della loro pipeline. Il codice è pubblico e gli autori affermano che tutto il codice è disponibile sulla pagina del progetto. Gruppi indipendenti potranno quindi verificare se velocità e accuratezza dichiarate reggano su altri sensori e altri task. Quei test mostreranno se F³ diventerà un front end standard per le telecamere a eventi, come sperano i suoi autori.