Fast Feature Field: salida general y en tiempo real de cámaras de eventos para robots

Investigadores de la Universidad de Pensilvania han desarrollado una representación aprendida que convierte la salida asíncrona de una cámara de eventos en un mapa de características denso y multicanal. Según su artículo en Science Robotics, el sistema, llamado Fast Feature Field (F³), alcanza 120 hercios (Hz) en resolución de alta definición (HD) y 440 Hz en resolución VGA (video graphics array). Sobre ese mapa se ejecutan después tareas posteriores como el flujo óptico, la segmentación semántica y la profundidad métrica. Los autores afirman haber logrado una precisión de vanguardia en las tres, con datos de un automóvil, un robot cuadrúpedo y una plataforma voladora.

El trabajo apunta a una brecha de larga data. Las cámaras de eventos registran los cambios de brillo de cada píxel con una temporización del orden de los microsegundos. Una revisión sitúa su resolución temporal por encima del equivalente a 10 000 fps y su rango dinámico por encima de 120 dB. Sin embargo, el software de percepción robótica está construido en torno a fotogramas. F³ es un intento de crear un adaptador general entre ambos mundos.

01El problema: un sensor sin corteza visual

Una cámara convencional entrega una imagen completa a intervalos fijos. Una cámara de eventos, en cambio, emite un flujo de tuplas, cada una con la ubicación de un píxel, una marca de tiempo y una polaridad. Cada tupla codifica la polaridad, la ubicación y el instante de un cambio. El flujo es disperso y muy preciso en el tiempo, pero resulta incómodo para las herramientas estándar. Según el relato de Penn, puede alcanzar decenas de millones de eventos por segundo. Chaudhari, autor sénior, afirma que, si no se elimina la redundancia, los datos son «demasiado ruidosos y voluminosos para usarlos directamente».

En la práctica, cada tarea ha requerido su propio flujo de procesamiento. El comunicado de Penn cita como ejemplo a Ace, el robot de tenis de mesa de Sony AI. Rastrea la velocidad y el efecto de la pelota con cámaras de eventos, pero su sistema de visión se diseñó específicamente para ese juego. Cada nueva aplicación ha implicado desarrollar software a medida en lugar de reutilizar las herramientas de visión por computador existentes.

El equipo de Penn probó primero una vía de derivación manual. Buscaron un resumen matemático de los datos de eventos, en esencia una transformada rápida de Fourier para eventos. Tras meses de trabajo, no encontraron ninguno que soportara la tasa de datos y capturara a la vez la disposición de la escena y el movimiento. Optaron entonces por el aprendizaje.

02La predicción como señal de entrenamiento

La decisión de diseño central es el objetivo de entrenamiento. F³ se entrena para predecir eventos futuros a partir de eventos pasados. Das, primer autor, describe así la lógica: para anticipar lo que viene, una red tiene que codificar tanto la estructura de la escena como su movimiento. La tarea no necesita etiquetas manuales ni depende de ninguna aplicación concreta.

El artículo plantea una afirmación más sólida que la intuición. Los autores sostienen que tratan F³ como un estadístico de los eventos pasados suficiente para predecir los futuros, y demuestran que una representación así conserva información sobre la estructura de la escena y el movimiento. La garantía teórica cubre la condición idealizada de suficiencia. No garantiza que una red entrenada la alcance. Los resultados en los bancos de pruebas son la evidencia de cuánto se acerca la red a ese ideal.

La salida es lo que hace útil la representación en las etapas posteriores. F³ representa los eventos de un volumen espaciotemporal contiguo como una imagen multicanal. Una imagen multicanal es el formato de entrada nativo de gran parte del código de visión existente. De ahí la comparación de Daniilidis con JPEG y MPEG, que, según él, dieron a las imágenes y al vídeo un formato común. Del mismo modo, F³ ofrece a los eventos una interfaz común a la que se puede adaptar el software escrito para cámaras convencionales. Aquí importa la palabra «adaptar»: los cabezales de tarea siguen necesitando entrenamiento sobre las características.

03Dispersión: calcular solo donde hay eventos

La primera implementación era demasiado lenta para el tiempo real, según Chaudhari. La solución vino de la estadística de los datos. Das explica que aproximadamente el 95 % de las posiciones posibles no contiene eventos en un momento dado, de modo que la red calcula solo donde realmente se producen.

Según el repositorio de código, F³ obtiene su baja latencia de un codificador hash multirresolución y una arquitectura invariante a la permutación que aprovechan la dispersión de los datos de eventos. El resumen del artículo nombra los dos ingredientes como codificación hash multirresolución y deep sets. Cada uno cumple una función específica:

• La codificación hash consulta características aprendidas a varias escalas espaciales mediante una tabla hash. El coste depende, por tanto, del número de eventos y no del número de píxeles.
• El procesamiento al estilo deep sets es invariante a la permutación. Trata los eventos de una ventana temporal como una colección sin orden y los agrega, de modo que no necesita una cuadrícula ni un ordenamiento fijos.

En conjunto, mantienen el coste proporcional a la actividad. También encajan con el comportamiento de las cámaras de eventos, cuya tasa de eventos varía mucho con el movimiento de la escena y la iluminación. Los autores afirman que F³ es robusto frente al ruido y a las variaciones en la tasa de eventos. Esa afirmación se comprueba con distintos sensores, con diferentes resoluciones y tasas de eventos.

04Qué dicen las cifras

Las cifras principales corresponden a dos etapas distintas, fáciles de confundir:

El repositorio señala que estas tasas de inferencia en HD son aproximadamente de 2 a 5 veces más rápidas que las de los métodos basados en eventos más avanzados actualmente. El comunicado de Penn indica el mismo factor para los algoritmos construidos sobre F³. Las fuentes que revisé no precisan con qué hardware se obtuvieron estas frecuencias. Conviene consultar el material suplementario del artículo antes de tomarlas como cifras válidas para un computador de vuelo embarcado.

Las afirmaciones de precisión abarcan tres tareas: estimación del flujo óptico, segmentación semántica y estimación de profundidad métrica monocular. Los datos de prueba cubren escenas diurnas y nocturnas, de interior y exterior, urbanas y fuera de carretera, y varios sensores de visión dinámica. El relato de Penn añade ejemplos concretos, como calles urbanas de noche y espacios interiores concurridos, y la página del proyecto muestra la profundidad estimada a partir de patinadores en un skatepark. El resumen del artículo habla de «estado del arte» en estas tareas. Las fuentes no ofrecen márgenes por banco de pruebas, por lo que la magnitud de la mejora de precisión frente a modelos especializados queda por consultar en las tablas del artículo.

05Lo que sigue sin demostrarse y lo que viene

Conviene exponer con claridad varias limitaciones.

• La generalización se muestra en tres tareas. El flujo óptico, la segmentación y la profundidad son primitivas de percepción. Las fuentes que revisé no establecen si las características de F³ sirven también para el control en lazo cerrado, el SLAM o el seguimiento de múltiples objetos con la misma calidad.
• Las frecuencias de las tareas están muy por debajo de la frecuencia de las características. 25–75 Hz en HD es rápido para muchos robots, pero sigue muy lejos de la temporización a escala de microsegundos que puede ofrecer el sensor, de modo que parte de su ventaja de latencia se cambia por una salida regular, similar a un fotograma.
• El «lenguaje común» depende de la adaptación. Los modelos basados en fotogramas existentes pueden reutilizarse, pero cada uno sigue necesitando entrenamiento o ajuste fino con características derivadas de eventos.
• La integración en hardware es un objetivo. Los autores imaginan incorporar F³ al circuito de la cámara, donde actuaría como un controlador que convierte las señales en bruto en un formato utilizable. Esto no se ha demostrado. Penn indica que el equipo también planea refinar el enfoque.

La prueba más inmediata es el propio trabajo del equipo con drones. Junto con los estudiantes de doctorado Dexter Ong e Ioannis Asmanis, utilizan F³ para construir drones autónomos que navegan por espacios saturados y poco iluminados. Daniilidis lo describe como un componente clave de su flujo de procesamiento. El código es público, y los autores aseguran que todo el código está disponible en la página del proyecto. Grupos independientes podrán, por tanto, comprobar si la velocidad y la precisión reportadas se mantienen con otros sensores y tareas. Esas pruebas mostrarán si F³ se convierte en el front end estándar de las cámaras de eventos, como esperan sus autores.