Andrey Doronichev se alarmó el año pasado cuando vio un video en las redes sociales que parecía mostrar al presidente de Ucrania rindiéndose ante Rusia.

El video fue rápidamente desacreditado como un deepfake generado sintéticamente, pero para Doronichev era una señal preocupante. Este año, sus temores se acercaron a la realidad cuando las empresas se apresuraron a mejorar y lanzar tecnología de IA a pesar de los estragos que podría causar.

La IA generativa ahora está disponible para todos y es cada vez más capaz de engañar a las personas con texto, audio, imágenes y videos que parecen haber sido inventados y filmados por humanos. El riesgo para la confianza pública ha generado preocupaciones sobre la desinformación, la pérdida de empleos, la discriminación, la privacidad y la distopía generalizada.

Para empresarios como el Sr. Doronichev, esto también se ha convertido en una oportunidad de negocio. Más de una docena de empresas ahora ofrecen herramientas para identificar si algo se hace con inteligencia artificial, con nombres como Sensity AI (detección profunda de falsificación), Fictitious.AI (detección de plagio) y Originality.AI (también plagio).

El Sr. Doronichev, nacido en Rusia, fundó una empresa en San Francisco, Optic, para ayudar a identificar materiales sintéticos o falsos, para ser, dice, “una máquina de rayos X de aeropuerto para contenido digital”.

En marzo, presentó un sitio web donde los usuarios pueden verificar imágenes para ver si fueron tomadas de fotos reales o inteligencia artificial. Funciona en otros servicios de verificación de video y audio.

“La autenticidad del contenido se convertirá en un problema importante para la sociedad en su conjunto”, dijo Doronichev, quien invirtió en una aplicación de intercambio de rostros llamada Reface. “Estamos entrando en la era de las falsificaciones baratas”. Debido a que no cuesta mucho producir contenido falso, dijo, se puede hacer a escala.

Se espera que el mercado total de IA generativa supere los $ 109 mil millones para 2030, creciendo a una tasa anual promedio de 35.6% hasta entonces, según la firma de investigación de mercado Grand View Research. Las empresas centradas en el descubrimiento de tecnología son una parte creciente de la industria.

Meses después de que fuera creado por un estudiante de la Universidad de Princeton, GPTZero afirma que más de un millón de personas han usado su programa para descifrar texto generado por computadora. Reality Defender fue una de las 414 empresas seleccionadas entre 17 000 solicitudes de financiamiento por parte del acelerador de startups Y Combinator este invierno.

CopyLeaks recaudó 7,75 millones de dólares el año pasado en parte para ampliar sus servicios antiplagio para que escuelas y universidades detecten inteligencia artificial en el trabajo de los estudiantes. Sentinel, cuyos fundadores se especializan en seguridad cibernética y guerra de información para la Marina Real Británica y la Organización del Tratado del Atlántico Norte, cerró una ronda inicial de $ 1.5 millones en 2020 que fue respaldada parcialmente por uno de los ingenieros fundadores de Skype para ayudar a proteger las democracias contra falsificaciones profundas y otros maliciosos. medios sintéticos.

Las grandes empresas de tecnología también están a bordo: FakeCatcher de Intel afirma que puede identificar videos profundamente falsos con un 96 por ciento de precisión, en parte mediante el análisis de píxeles en busca de signos sutiles de circulación sanguínea en rostros humanos.

Dentro del gobierno federal, la Agencia de Proyectos de Investigación Avanzada de Defensa planea gastar casi $30 millones este año para ejecutar Semantic Forensics, un programa que desarrolla algoritmos para detectar automáticamente falsificaciones profundas y determinar si son maliciosas.

Incluso OpenAI, que impulsó el auge de la IA cuando lanzó su herramienta ChatGPT a fines del año pasado, está trabajando en servicios de descubrimiento. La compañía con sede en San Francisco presentó una herramienta gratuita en enero para ayudar a distinguir entre texto escrito por humanos y texto escrito por IA.

OpenAI enfatizó que si bien la herramienta es una mejora con respecto a las iteraciones anteriores, todavía “no es completamente confiable”. La herramienta identificó correctamente el 26 por ciento del texto generado artificialmente, pero marcó incorrectamente el 9 por ciento del texto humano como generado por computadora.

La herramienta OpenAI adolece de fallas comunes en los programas de detección: tiene problemas con textos cortos y escritura que no está en inglés. En entornos educativos, las herramientas de detección de plagio como TurnItIn han sido acusadas de clasificar incorrectamente los ensayos escritos por los estudiantes como generados por chatbots.

Las herramientas de descubrimiento esencialmente van a la zaga de la tecnología generativa que están tratando de descubrir. Si bien el sistema de seguridad es capaz de reconocer el funcionamiento de un nuevo chatbot o generador de imágenes, como Google Bard o Midjourney, los desarrolladores ya están ideando una nueva iteración que puede evadir esta protección. La situación ha sido descrita como una carrera armamentista o una relación entre virus y antivirus, donde uno engendra al otro una y otra vez.

“Cuando Midjourney lanza Midjourney 5, mi pistoletazo de salida se dispara y empiezo a trabajar para ponerme al día, y mientras lo hago, están trabajando en Midjourney 6”, dijo Hani Farid, profesor de informática en la Universidad. de California, Berkeley, que se especializa en análisis forense digital y también está involucrado en la industria de detección de IA. “Es inherentemente un juego competitivo, donde mientras trabajo en el detector, alguien está construyendo una mejor ratonera, un mejor sintetizador”.

A pesar de ponerse al día constantemente, muchas empresas están viendo la demanda de descubrimiento de IA por parte de escuelas y educadores, dijo Joshua Tucker, profesor de política en la Universidad de Nueva York y codirector del Centro de Políticas y Medios Sociales. Cuestionó si tal mercado surgiría antes de las elecciones de 2024.

“¿Vamos a ver una especie de ala paralela de estas empresas que se está desarrollando para ayudar a proteger a los candidatos políticos para que sepan cuándo están siendo atacados por este tipo de cosas”, dijo.

Los expertos dijeron que el video generado sintéticamente todavía es bastante torpe y fácil de identificar, pero que la clonación de audio y la creación de imágenes están muy avanzadas. Separar lo real de lo falso requerirá tácticas forenses digitales, como búsquedas de imágenes inversas y seguimiento de IP.

Los programas de detección disponibles se prueban con ejemplos que son “muy diferentes de estar en la naturaleza, donde las imágenes que han existido y han sido modificadas, recortadas, reducidas, recodificadas y anotadas y Dios sabe qué más les ha pasado”, dijo el Sr. Farid.

“Este lavado de contenido hace que esta sea una tarea difícil”, agregó.

Content Authenticity Initiative, un consorcio de 1000 empresas y organizaciones, es un grupo que intenta hacer que la tecnología generativa sea obvia desde cero. (Está dirigido por Adobe, con miembros como The New York Times y jugadores de IA como Stability AI) En lugar de reconstruir los orígenes de una imagen o video más adelante en su ciclo de vida, el grupo está tratando de establecer estándares que aplicarán credenciales de trabajo digital rastreables. en la creación

Adobe dijo la semana pasada que su tecnología generativa Firefly se integrará en Google Bard, donde adjuntará “etiquetas de alimentos” al contenido que produce, incluida la fecha en que se tomó la imagen y las herramientas digitales utilizadas para crearla.

Jeff Sakasegawa, el arquitecto de confianza y seguridad de Persona, una empresa que ayuda a verificar la identidad de los usuarios, dijo que los desafíos que plantea la inteligencia artificial apenas comienzan.

“La ola está cobrando impulso”, dijo. “Dirigiéndose a la orilla. No creo que esté roto todavía.