RenderFormer utiliza una red neuronal con 205 millones de parámetros

Microsoft Research ha desarrollado RenderFormer, un sistema que utiliza inteligencia artificial para reemplazar el pipeline de renderizado tradicional. RenderFormer utiliza una red neuronal entrenada mediante aprendizaje profundo para aprender y reproducir el comportamiento de la luz en una escena 3D. La arquitectura neural se basa en transformers y trabaja directamente con datos 3D, representando cada escena como un conjunto de tokens de triángulo y tokens de rayo. El modelo fue entrenado en dos etapas, primero a una resolución de 256×256 con hasta 1.536 triángulos por escena, y luego a 512×512 con un máximo de 4.096 triángulos. El tamaño final del modelo alcanza los 205 millones de parámetros. RenderFormer puede generar secuencias de video cuadro por cuadro y capturar la textura de los materiales, la intensidad de los reflejos y la interacción entre luces y superficies con una fidelidad sorprendente. El sistema utiliza un dataset llamado Objaverse, que reúne más de 800.000 objetos 3D con anotaciones. Los investigadores de Microsoft Research han demostrado que RenderFormer puede asumir el rol completo del pipeline de renderizado y abrir la puerta a integraciones con otras áreas de la inteligencia artificial.