reducir el costo de una llamada a API hasta en un 50%

La empresa china DeepSeek ha lanzado un modelo experimental llamado V3.2-exp, que introduce un sistema innovador llamado DeepSeek Sparse Attention, cuyo objetivo es minimizar la carga computacional y reducir significativamente los costos de inferencia. El modelo combina un indexador rápido y un sistema de selección fina de tokens, lo que permite reducir el consumo de recursos en un 50% cuando se trabaja con contextos largos. El modelo ha sido publicado en plataformas abiertas como Hugging Face y GitHub, lo que facilitará el análisis por parte de la comunidad. La empresa ha demostrado que es posible explorar caminos alternativos al entrenamiento tradicional, y este nuevo modelo sigue esa línea de desafiar convenciones. El modelo podría marcar un antes y un después en cómo las compañías gestionan los costos operativos de sus sistemas de IA. La atención dispersa no es un concepto nuevo, pero la manera en que DeepSeek lo ha estructurado podría inspirar nuevas variantes adaptadas a distintos tipos de tareas. El modelo ha sido diseñado para ser de peso abierto, lo que implica que otras organizaciones pueden analizarlo, modificarlo o integrarlo en sus propios sistemas sin tener que partir desde cero.