En 2020, los investigadores del Centro sobre Terrorismo, Extremismo y Contraterrorismo del Instituto de Estudios Internacionales de Middlebury descubrieron que GPT-3, la tecnología subyacente para ChatGPT, tiene “un conocimiento impresionantemente profundo de las comunidades extremistas” y puede ser impulsado para crear polémicas en estilo de tiroteos masivos, hilos de foros falsos que discuten el nazismo, las defensas de QAnon e incluso textos extremistas multilingües.

OpenAI usa máquinas y humanos para monitorear el contenido que ingresa y produce ChatGPT, dijo un portavoz. La empresa se basa tanto en sus entrenadores humanos de IA como en los comentarios de los usuarios para identificar y filtrar datos de entrenamiento tóxicos mientras entrena a ChatGPT para producir respuestas mejor informadas.

Las políticas de OpenAI prohíben el uso de su tecnología para promover la deshonestidad, engañar o manipular a los usuarios, o intentar influir en la política; la empresa ofrece una herramienta de moderación gratuita para manejar contenido que promueva el odio, las autolesiones, la violencia o el sexo. Pero la herramienta actualmente ofrece soporte limitado para idiomas distintos al inglés y no identifica material político, spam, fraude o malware. ChatGPT advierte a los usuarios que “ocasionalmente puede producir instrucciones dañinas o contenido sesgado”.

La semana pasada, OpenAI anunció una herramienta separada para ayudar a reconocer cuándo el texto fue escrito por un humano en lugar de una IA, en parte para identificar campañas de desinformación automatizadas. La compañía advirtió que su herramienta no es completamente confiable: identifica correctamente el texto de IA solo el 26 por ciento de las veces (mientras que etiqueta incorrectamente el texto escrito por humanos el 9 por ciento de las veces), y puede evitarse. La herramienta también tiene problemas con textos que tienen menos de 1000 caracteres o están escritos en idiomas distintos al inglés.

Arvind Narayanan, profesor de informática en Princeton, escribió en Twitter en diciembre que le hizo a ChatGPT algunas preguntas básicas de seguridad de la información que les hizo a los estudiantes en un examen. El chatbot respondió con respuestas que sonaban plausibles pero que en realidad no tenían sentido, escribió.

“El peligro es que no puedes saber cuándo está mal a menos que ya sepas la respuesta”. el escribio. “Fue tan perturbador que tuve que mirar mis soluciones de referencia para asegurarme de que no estaba perdiendo la cabeza”.

Existen tácticas de mitigación: campañas de alfabetización mediática, datos “radiactivos” que identifican el trabajo de los modelos generativos, restricciones gubernamentales, controles más estrictos sobre los usuarios, incluso requisitos de prueba de identidad de las plataformas de redes sociales, pero muchas de ellas son problemáticas a su manera. . Los investigadores concluyen que “no existe una bala de plata para desbaratar la amenaza”.