La importancia de elegir bien el modelo en Ollama en un RAG (más allá de la calidad de los embeddings)
En un pipeline de RAG, la elección del modelo generativo es crucial para la calidad final de las respuestas. Modelos pequeños (0.5 B) tienen memoria interna reducida y tendencia a parafrasear o recortar, mientras que modelos medianos y grandes (7 B–13 B+) reconocen mejor las instrucciones de copia literal y producen salidas más fieles. La capacidad de 'memoria' y síntesis de información, gestión de la ventana de contexto, alineamiento con instrucciones y parámetros de generación, e impacto en la fidelidad y confiabilidad son aspectos clave. Para aplicaciones críticas, se recomienda invertir en redes de 7 B o superiores.
...es una advertencia necesaria sobre la importancia de elegir el modelo generativo adecuado en un pipeline de RAG, pero podría ser más conciso y directo en sus recomendaciones. La crítica mordaz sería: 'No te quedes solo en los embeddings, la capacidad interna del modelo es la verdadera clave para respuestas precisas... y no te olvides de invertir en modelos de 7 B o superiores para aplicaciones críticas!'
