No estaría del todo fuera de lugar que Joe Rogan, el comediante convertido en podcaster, respalde una marca de café para hombres que “mejora la libido”.

Pero cuando un video compartido recientemente en TikTok mostró al Sr. Rogan y su invitado Andrew Huberman repartiendo el café, algunos espectadores con ojos de águila se sorprendieron, incluido el Dr. Huberman.

“Sí, es falso”, Dr. Huberman escribió en Twitter después de ver el anuncio en el que parecía exaltar el potencial del café para aumentar la testosterona, aunque nunca lo hizo.

El anuncio fue uno de un número creciente de videos falsos en las redes sociales hechos con tecnología impulsada por IA. Los expertos dijeron que la voz de Rogan parecía haber sido sintetizada usando herramientas de inteligencia artificial que imitan las voces de las celebridades. Los comentarios del Dr. Huberman se extraen de una entrevista no relacionada.

La creación de videos falsos realistas, a menudo llamados deepfakes, alguna vez requirió un software sofisticado para superponer la cara de una persona sobre la de otra. Pero ahora muchas de las herramientas para crearlos están disponibles para los usuarios cotidianos, incluso en aplicaciones para teléfonos inteligentes y, a menudo, por poco o ningún dinero.

Los nuevos videos alterados, en su mayoría hasta ahora el trabajo de creadores de memes y vendedores, se han vuelto virales en sitios de redes sociales como TikTok y Twitter. El contenido que producen, a veces llamado falsificación barata por los investigadores, funciona mediante la clonación de voces de celebridades, cambiando los movimientos de la boca para que coincida con el audio alternativo y escribiendo diálogos convincentes.

Los videos y la tecnología accesible detrás de ellos tienen a algunos investigadores de IA preocupados por sus peligros y han planteado nuevas inquietudes sobre si las empresas de redes sociales están listas para mitigar la creciente falsificación digital.

Los vigilantes de la desinformación también se están preparando para una ola de falsificaciones digitales que podrían engañar a los espectadores o dificultar la comprensión de lo que es verdadero o falso en línea.

“La diferencia es que ahora cualquiera puede hacerlo”, dijo Brit Paris, profesor asistente de biblioteconomía y ciencias de la información en la Universidad de Rutgers, quien ayudó a acuñar el término “falsificaciones baratas”. “Estas no son solo personas con tecnología informática sofisticada y conocimientos informáticos bastante sofisticados. En cambio, es una aplicación gratuita.

Montones de contenido manipulado han estado circulando en TikTok y en otros lugares durante años, generalmente usando trucos más caseros como editar cuidadosamente o cambiar un clip de audio por otro. En un video de TikTok, la vicepresidenta Kamala Harris dijo que todos los hospitalizados por covid-19 habían sido vacunados. De hecho, dijo que los pacientes no estaban vacunados.

Graphika, una firma de investigación que estudia la desinformación, detectó falsificaciones profundas de presentadores de noticias ficticias que las cuentas de bots pro-China difundieron a fines del año pasado, en el primer ejemplo conocido de la tecnología que se utiliza para campañas de influencia estatal.

Pero varias herramientas nuevas están brindando tecnología similar a los usuarios de Internet cotidianos, brindando a los comediantes y partisanos la oportunidad de hacer sus propias parodias convincentes.

El mes pasado, se publicó un video falso que mostraba al presidente Biden declarando un llamado nacional a la guerra entre Rusia y Ucrania. El video fue producido por el equipo detrás de Human Events Daily, un podcast y transmisión en vivo presentado por Jack Posobiek, un influyente de derecha conocido por difundir teorías de conspiración.

En un segmento que explica el video, Posobiec dijo que su equipo lo creó usando tecnología de IA. Un tuit sobre el video de The Patriot Oasis, una cuenta conservadora, usó una etiqueta de noticias de última hora sin indicar que el video era falso. El tuit ha sido visto más de ocho millones de veces.

Muchos de los videos que presentan voces sintetizadas parecen usar tecnología de ElevenLabs, una empresa emergente estadounidense cofundada por un ex ingeniero de Google. En noviembre, la empresa presentó una herramienta de clonación de voz que se puede entrenar para reproducir voces en segundos.

ElevenLabs llamó la atención el mes pasado después de que 4chan, un tablero de mensajes conocido por su contenido racista y conspirativo, usó la herramienta para compartir mensajes de odio. En un ejemplo, los usuarios de 4chan crearon una grabación de audio de un texto antisemita usando una voz generada por computadora que imitaba a la actriz Emma Watson. Motherboard informó anteriormente sobre el uso de la tecnología de audio por parte de 4chan.

ElevenLabs dijo en Twitter que introdujo nuevas salvaguardias, como limitar la clonación de voz a cuentas pagas y proporcionar una nueva herramienta de detección de IA. Pero los usuarios de 4chan dijeron que crearían su propia versión de la tecnología de clonación de voz utilizando un código de fuente abierta, publicando demostraciones que sonaban similares al audio producido por ElevenLabs.

“Queremos tener nuestra propia IA personalizada con el poder de crear”, escribió un usuario anónimo de 4chan en una publicación sobre el proyecto.

En un correo electrónico, un portavoz de ElevenLabs dijo que la empresa busca colaborar con otros desarrolladores de inteligencia artificial para crear un sistema de detección universal que pueda adoptarse en toda la industria.

Los videos que usan voces clonadas creadas con la herramienta de ElevenLabs o una tecnología similar se han vuelto virales en las últimas semanas. Uno publicado en Twitter por Elon Musk, el propietario del sitio, mostraba una conversación falsa llena de blasfemias entre Rogan, Musk y Jordan Peterson, un activista canadiense por los derechos de los hombres. En otro, publicado en YouTube, Rogan pareció entrevistar a una versión falsa del primer ministro canadiense, Justin Trudeau, sobre sus escándalos políticos.

“Producir tales falsificaciones debería ser un delito grave con una sentencia obligatoria de diez años”, dijo Peterson en un tuit sobre videos falsos con su voz. “Esta tecnología es increíblemente peligrosa”.

En un comunicado, un portavoz de YouTube dijo que el video de Rogan y Trudeau no violó las reglas de la plataforma porque “brinda suficiente contexto”. (El creador lo describió como un “video falso”). La compañía dijo que sus políticas de desinformación prohíben el contenido falsificado de manera engañosa.

Los expertos que estudian la tecnología deepfake sugieren que el anuncio falso que presenta al Sr. Rogan y al Dr. Huberman probablemente se creó con un programa de clonación de voz, aunque la herramienta exacta utilizada no está clara. El audio del Sr. Rogan se combinó con una entrevista real con el Dr. Huberman sobre la testosterona.

Los resultados no son ideales. El clip del Sr. Rogan fue tomado de una entrevista no relacionada publicada en diciembre con Fedor Gorst, un jugador de billar profesional. Los movimientos de la boca del Sr. Rogan no coinciden con el sonido y su voz a veces suena poco natural. Si el video convenció a los usuarios de TikTok, es difícil decirlo: recibió mucha más atención después de que fue señalado por su impresionante falsedad.

Las políticas de TikTok prohíben la falsificación digital “que engaña a los usuarios al tergiversar la verdad de los eventos y causa un daño significativo al sujeto del video, a otras personas o al público”. Varios de los videos fueron eliminados después de que The New York Times los señalara a la empresa. Twitter también eliminó algunos de los videos.

Un portavoz de TikTok dijo que la compañía usó “una combinación de tecnología y moderación humana para detectar y eliminar” videos manipulados, pero se negó a dar más detalles sobre sus métodos.

El Sr. Rogan y la empresa que aparece en el anuncio falso no respondieron a las solicitudes de comentarios.

Muchas empresas de redes sociales, incluidas Meta y Twitch, han prohibido las falsificaciones profundas y los videos manipulados que engañan a los usuarios. Meta, propietaria de Facebook e Instagram, realizó una competencia en 2021 para desarrollar programas capaces de identificar falsificaciones profundas, lo que resultó en una herramienta que podría detectarlas el 83 por ciento de las veces.

Los reguladores federales tardaron en responder. Una ley federal de 2019 requiere un informe sobre la utilización de deepfakes en armas por parte de extranjeros, requiere que las agencias gubernamentales notifiquen al Congreso si los deepfakes tienen como objetivo las elecciones en los Estados Unidos y creó una recompensa para fomentar la investigación de herramientas que puedan detectar deepfakes.

“No podemos esperar dos años para que se aprueben las leyes”, dijo Ravit Dotan, becario postdoctoral que dirige el Laboratorio de Responsabilidad Compartida de IA en la Universidad de Pittsburgh. “Para entonces, el daño puede ser demasiado grande. Se acercan elecciones aquí en los Estados Unidos. Eso va a ser un problema”.