En 2017, el paper 'Attention Is All You Need' de Google cambió la base técnica de la generación de lenguaje. Un equipo del Instituto de Automatización de la Academia China de Ciencias presentó SpikingBrain-1.0, una familia de modelos espigados orientada a reducir datos y cómputo necesarios para tareas con contextos muy largos. Los expertos proponen dos enfoques: SpikingBrain-7B y SpikingBrain-76B. El desarrollo se llevó a cabo en clústeres de GPU MetaX C550. SpikingBrain-1.0 está inspirado en cómo funciona el cerebro, utilizando neuronas espigadas que ahorran operaciones y energía. El equipo desarrolló métodos para convertir bloques de autoatención tradicionales en versiones lineales y creó un 'tiempo virtual' para simular procesos temporales. La versión SpikingBrain-76B incluye Mixture of Experts (MoE). Los autores sugieren aplicaciones en análisis de grandes expedientes jurídicos, historias clínicas completas y secuenciación de ADN. El código de la versión de 7.000 millones de parámetros está disponible en GitHub.