Un equipo de investigadores de la Universidad de Illinois Urbana-Champaign y Columbia University ha desarrollado un sistema de aprendizaje robótico llamado Tool-as-Interface, que permite a los robots adquirir habilidades complejas observando videos de personas sin necesidad de programación previa. El sistema utiliza un modelo de visión llamado MASt3R y una técnica llamada 3D Gaussian splatting para reconstruir la escena en 3D y generar vistas adicionales. Los experimentos incluyeron cinco tareas que exigen velocidad, precisión o adaptabilidad, como martillar un clavo, sacar una albóndiga de una sartén y voltear un huevo en el aire. El sistema demostró una tasa de éxito del 71% respecto a los métodos tradicionales y redujo el tiempo de recolección de datos en un 77%. Los investigadores destacan que este avance abre la puerta a entrenar robots con videos caseros grabados con teléfonos móviles.