OpenAI ha publicado un informe sobre el uso malicioso de su chatbot ChatGPT, destacando la importancia de prevenir el uso indebido de sus modelos mientras protege la privacidad de los usuarios. Desde febrero de 2024, la empresa ha interrumpido más de 40 redes que violaban sus políticas de uso. El informe detalla casos de estudio de redes criminales organizadas, operaciones de influencia política y cuentas vinculadas al gobierno chino que violaban las políticas de seguridad nacional. OpenAI utiliza sistemas automáticos y revisores humanos para monitorear la actividad y detectar patrones de conducta de riesgo. La empresa también ha implementado medidas para prevenir el uso indebido de sus modelos en situaciones de estrés emocional o mental, como la detección de sentimientos de autolesión y la dirección a recursos de ayuda en el mundo real. OpenAI ha reconocido que su modelo puede verse afectado durante interacciones más prolongadas y está trabajando para mejorar sus salvaguardas.