Un puñado de documentos maliciosos basta para 'intoxicar' un modelo de IA y alterar sus respuestas, según este estudio de Anthropic
La empresa Anthropic ha realizado un estudio en colaboración con el Instituto de Seguridad de la IA del Reino Unido y el Instituto Alan Turing, que muestra que solo 250 documentos maliciosos pueden 'envenenar' un modelo de lenguaje, sin importar su tamaño o la cantidad de datos con los que haya sido entrenado. El estudio utilizó un activador inocuo, la secuencia , que cuando se encontraba en el modelo, cambiaba su comportamiento y comenzaba a generar texto sin sentido. Los investigadores entrenaron modelos de distintos tamaños, desde 600 millones a 13.000 millones de parámetros, y encontraron que el éxito del ataque no dependía del tamaño del modelo ni del volumen total de datos, sino del número absoluto de documentos maliciosos. El estudio tiene implicaciones importantes para la seguridad de la IA, ya que muestra que un atacante podría introducir una vulnerabilidad en un modelo de IA con solo 250 textos maliciosos. Las recomendaciones del estudio incluyen implementar filtros automáticos para detectar patrones inusuales en los datos de entrenamiento y mantener auditorías aleatorias de dichos datos antes y durante el entrenamiento.
...es como un buen thriller: empieza con un misterio y termina con una revelación impactante. Pero, en serio, el estudio de Anthropic es un recordatorio de que la seguridad de la IA es un tema serio y que debemos tomar medidas para proteger nuestros modelos de lenguaje de los ataques maliciosos. Así que, la próxima vez que uses un chatbot, recuerda que puede haber un 'envenenamiento' detrás de la cortina.
