En el segundo de los nuestros una serie de cinco partesExplicaré cómo funciona realmente la tecnología.

La IA que impulsa ChatGPT, el chatbot Bing de Microsoft y Bard de Google pueden mantener conversaciones humanas y escribir prosa natural y fluida sobre una variedad infinita de temas. También pueden realizar tareas complejas, desde escribir código hasta planificar la fiesta de cumpleaños de un niño.

Pero, ¿cómo funciona todo? Para responder eso, debemos mirar debajo del capó de algo llamado modelo de lenguaje grande, el tipo de IA que impulsa estos sistemas.

Los modelos de lenguaje extenso, o LLM, son relativamente nuevos en la escena de la IA. Los primeros aparecieron hace unos cinco años y no eran muy buenos. Pero hoy pueden redactar correos electrónicos, presentaciones y memorandos y enseñarte un idioma extranjero. Seguro que surgirán aún más oportunidades en los próximos meses y años a medida que la tecnología mejore y Silicon Valley luche por ganar dinero.

Lo guiaré a través de la creación de un modelo de lenguaje grande desde cero, manteniendo las cosas simples y dejando de lado muchas matemáticas difíciles. Supongamos que estamos tratando de crear un LLM para ayudarlo a responder sus correos electrónicos. Lo llamaremos MailBot.

Paso 1: establecer una meta

Todo sistema de IA necesita un objetivo. Los investigadores llaman a esto un función objetiva. Puede ser simple, como “ganar tantos juegos de ajedrez como sea posible”, o complejo como “predecir las formas tridimensionales de las proteínas usando solo sus secuencias de aminoácidos”.

La mayoría de los modelos de lenguaje grandes tienen la misma función de objetivo básico: dada una secuencia de texto, adivina qué viene después. Le daremos a MailBot objetivos más específicos más adelante, pero sigamos con este por ahora.

Paso 2: recopile una gran cantidad de datos

A continuación, necesitamos recopilar los datos de entrenamiento que le enseñarán a MailBot a escribir. Idealmente, compilaremos un depósito de texto colosalmente grande, lo que generalmente significa miles de millones de páginas extraídas de Internet, como publicaciones de blogs, tweets, artículos de Wikipedia y noticias.

Para comenzar, usaremos algunas bibliotecas de datos gratuitas y disponibles públicamente, como el Repositorio de datos web para rastreo general. Pero también querremos agregar nuestra propia salsa secreta, en forma de datos propietarios o propietarios. Tal vez obtengamos una licencia de texto en un idioma extranjero para que MailBot pueda aprender a redactar correos electrónicos en francés o español además de inglés. En general, cuantos más datos tengamos y más diversas sean las fuentes, mejor será nuestro modelo.

Antes de que podamos introducir los datos en nuestro modelo, debemos dividirlos en unidades llamadas tokens, que pueden ser palabras, frases o incluso caracteres individuales. Transformar el texto en partes pequeñas ayuda al modelo a analizarlo más fácilmente.

Paso 3: construye tu red neuronal

Una vez que nuestros datos son tokenizados, necesitamos ensamblar el “cerebro” de la IA, un tipo de sistema conocido como red neuronal. Es una red compleja de nodos interconectados (o “neuronas”) que procesan y almacenan información.

Para MailBot, querremos usar un tipo relativamente nuevo de red neuronal conocida como modelo de transformador. Pueden analizar múltiples piezas de texto simultáneamente, haciéndolos más rápidos y eficientes. (Los modelos de transformadores son la clave para sistemas como ChatGPT, cuyo acrónimo completo significa Transformador preentrenado generativo).

Paso 4: entrena tu red neuronal

Luego, el modelo analizará los datos, token por token, identificando patrones y relaciones. Puede notar que “Estimado/a” a menudo va seguido de un nombre, o que “Saludos cordiales” suele ir antes de su nombre. Al identificar estos patrones, la IA aprende a construir mensajes que tengan sentido.

El sistema también desarrolla un sentido de contexto. Por ejemplo, puede aprender que “banco” puede referirse a una institución financiera oa la orilla de un río, según las palabras que lo rodean.

A medida que aprende estos patrones, el modelo transformador dibuja un mapa: una representación matemática muy compleja del lenguaje humano. Realiza un seguimiento de estas conexiones utilizando valores numéricos conocidos como parámetros. Muchos de los principales LLM de la actualidad tienen cientos de miles de millones de parámetros o más.

El entrenamiento puede tomar días o incluso semanas y requerirá una gran cantidad de poder de cómputo. Pero una vez hecho esto, está casi listo para comenzar a escribir sus correos electrónicos.

Curiosamente, también puede desarrollar otras habilidades. A medida que los LLM aprenden a predecir la siguiente palabra en una secuencia, una y otra vez, pueden adquirir otras habilidades inesperadas, como saber codificar. Los investigadores de IA llaman a estos comportamientos emergentes y, a veces, todavía los desconciertan.

Paso 5: ajusta tu modelo

Después de entrenar un modelo de lenguaje grande, debe calibrarse para un trabajo específico. Un chatbot utilizado por un hospital podría necesitar comprender términos médicos, por ejemplo.

Para ajustar MailBot, podemos pedirle que genere un montón de correos electrónicos, contratar a personas para que califiquen su precisión y luego volver a introducir las calificaciones en el modelo hasta que mejore.

Esta es una aproximación aproximada del enfoque utilizado con ChatGPT, que se conoce como aprendizaje por refuerzo con retroalimentación humana.

Paso 6: Comience con cuidado

¡Felicidades! Una vez que MailBot está entrenado y ajustado, está listo para usar. Una vez que crea algún tipo de interfaz de usuario para él, como una extensión de Chrome que se conecta a su aplicación de correo electrónico, puede comenzar a enviar correos electrónicos.

Pero a pesar de lo bueno que se ve, aún querrás vigilar a tu nuevo asistente. Como empresas como Microsoft y Meta han aprendido por las malas, los sistemas de IA pueden ser erráticos e impredecibles, o incluso volverse espeluznantes y peligrosos.

Mañana escucharemos más sobre cómo las cosas pueden salir mal de maneras inesperadas y, a veces, perturbadoras.

Tu tarea

Exploremos una de las habilidades más creativas del LLM: la capacidad de combinar diferentes conceptos y formatos en algo extraño y nuevo. Por ejemplo, nuestros colegas de Well le pidieron a ChatGPT que “escribiera una canción con la voz de Taylor Swift que usara temas de un libro de Dr. Seuss”.

Para la tarea de hoy, intente mezclar y combinar el formato, el estilo y el tema, por ejemplo, “Escriba una quintilla al estilo Snoop Dogg sobre el calentamiento global”.

No olvides compartir tu creación como comentario.

Prueba

Pregunta 1 de 3

¿Cuál es la función de propósito principal de los modelos de lenguaje grandes como ChatGPT?

Comience el cuestionario eligiendo su respuesta.

Glosario de términos

• Modelo de transformador: Una arquitectura de red neuronal útil para la comprensión del lenguaje que no tiene que analizar las palabras una por una, sino que puede ver la oración completa a la vez. Una técnica llamada autoatención permite que el modelo se concentre en las palabras específicas que son importantes para comprender el significado de la oración.

• Parámetros: Valores numéricos que definen la estructura y el comportamiento de un modelo de lenguaje grande, como pistas que lo ayudan a adivinar qué palabras son las siguientes. Se estima que los sistemas modernos como GPT-4 tienen cientos de miles de millones de parámetros.

• Aprendizaje reforzado: Una técnica que le enseña a un modelo de IA a encontrar el mejor resultado a través de prueba y error, recibiendo recompensas o castigos de un algoritmo basado en sus resultados. Este sistema se puede mejorar si la gente da su opinión sobre su eficacia.

Haga clic aquí para ver más términos en el glosario.