Cómo saltarse los AI Guardrails con Invisible Characters & Adversarial Prompts para hacer Prompt Injection & Jailbreak Smuggling
Un estudio de la empresa Midgard analiza cómo saltarse los filtros de seguridad de los AI Guardrails utilizando técnicas de Invisible Characters y Prompts Maliciosos. El estudio probó varios AI Guardrails, incluyendo Azure Prompt Shield, Protect AI v1 & v2, Llama (Meta) Prompt Guard y Vijil Prompt, y encontró que existen técnicas de Invisible Character que permiten saltarse el 100% de los casos. Los resultados se presentan en tablas y gráficos, mostrando el Attack Surface Rate para cada técnica y AI Guardrail.
...es un ejemplo perfecto de cómo la seguridad en la inteligencia artificial es como un juego de gato y ratón. Los desarrolladores crean sistemas de seguridad, pero los hackers siempre encuentran formas de saltárselos. Es como si estuviéramos en una carrera armamentista, donde cada lado intenta superar al otro. La pregunta es, ¿quién ganará al final? ¿Los desarrolladores de seguridad o los hackers? Solo el tiempo lo dirá.
