Predecir la siguiente palabra con aprendizaje automático

Bienvenidos a el Podcast de Inteligencia Artificial

GPT-2 Aprendizaje no supervisado para generar texto

OpenAI es una empresa sin fines de lucro, fundada en el año 2015 por Elon Musk (el de Tesla y SpaceX entre otras) y Sam Altman el presidente de Y Combinator una de las aceleradora de startups más importantes de Silicon Valley. La empresa está dedicada a la investigación de una inteligencia artificial segura.

Hace unos días publicaron un artículo en su blog donde cuentan que capacitaron un modelo de machine learning para generar textos que logró un rendimiento nunca antes alcanzado. A este modelo lo llamaron GPT-2 y es un sucesor de GPT el modelo que habían presentado a mediados del año pasado.

La diferencia entre este modelo y el anterior es que este maneja 10 veces mas de parámetros y fue entrenado con 10 veces más cantidad de datos.

Para el entrenamiento le dieron 40GB de texto que sacaron de 8 millones de páginas de internet y el único objetivo era que a partir de una serie de palabras pueda predecir la siguiente palabra.

Otras de las cosas que cuentan es que haber usado texto de páginas de internet hizo que haya más diversidad de contenido y funcione mejor el modelo comparado con haber usado contenido sólo de Wikipedia, de noticias o de libros.

Y para elegir qué páginas web usar lo que hicieron fue tomar los links hacia otras páginas que los usuarios ponían en Reddit y para asegurarse de que esos links fueran algo de calidad solo tomaron los que tenían al menos 3 votos positivos de otros usuarios.

El modelo genera texto a partir de una entrada de datos

Con este modelo entrenado lo que consiguieron es que una persona pueda escribir un texto, dárselo al modelo y que el modelo genere un texto que lo continúe. Esto dicho así no parece nada espectacular, pero escuchen este ejemplo, para entender la magnitud de lo que puede hacer. Una persona escribió lo siguiente:

“En un hallazgo impactante, un científico descubrió una manada de unicornios que viven en un valle remoto, previamente inexplorado, en las montañas de lo Andes. Aún más sorprendente para los investigadores fue el hecho de que los unicornios hablaban un inglés perfecto.”

Esto fue tomado por el modelo quien completó el texto con el siguiente resultado:

“El científico nombró a la población, después de su distintivo cuerno, Unicornio de Ovidio. Estos unicornios blanco-plateados de cuatro cuernos eran previamente desconocidos para la ciencia.

Ahora, después de casi dos siglos, el misterio de lo que provocó este extraño fenómeno se resuelve finalmente.

El Dr. Jorge Pérez, un biólogo evolutivo de la Universidad de La Paz, y varios compañeros, estaban explorando las montañas de los Andes cuando encontraron un pequeño valle, sin otros animales o humanos. Pérez notó que el valle tenía lo que parecía ser una fuente natural, rodeado por dos picos de roca y nieve plateada.

Pérez y los demás se aventuraron más lejos en el valle. «Cuando llegamos a la cima de un pico, el agua se veía azul, con algunos cristales encima», dijo Pérez.

Pérez y sus amigos se asombraron al ver la manada de unicornios. Estas criaturas se podían ver desde el aire sin tener que moverse demasiado para verlas, estaban tan cerca que podían tocar sus cuernos.

Al examinar estas extrañas criaturas, los científicos descubrieron que las criaturas también hablaban un poco de inglés bastante regular. Pérez declaró: «Podemos ver, por ejemplo, que tienen un» lenguaje «común, algo como un dialecto o dialéctica».

El Dr. Pérez cree que los unicornios pueden haberse originado en Argentina, donde se creía que los animales eran descendientes de una raza perdida de personas que vivían allí antes de la llegada de los humanos a esas partes de América del Sur.

Si bien sus orígenes aún no están claros, algunos creen que tal vez las criaturas se crearon cuando un humano y un unicornio se encontraron en un tiempo anterior a la civilización humana. Según Pérez, «en Sudamérica, tales incidentes parecen ser bastante comunes».

Sin embargo, Pérez también señaló que es probable que la única forma de saber con certeza si los unicornios son los descendientes de una raza alienígena perdida es a través del ADN. «Pero parecen poder comunicarse bastante bien en inglés, lo que creo que es un signo de evolución, o al menos un cambio en la organización social», dijo el científico.”

WAW, es ciencia ficción esto! Es increíble!

Lo loco es que genera textos que tienen relación con lo que le diste y se adapta a la manera de expresarse del que empieza escribiendo. En el post del blog de OpenAI hay mas ejemplos si quieren ir a ver (obviamente están en inglés).

Ellos dicen que tiene sus fallas. No siempre escribe algo “bueno”, y depende mucho del tema, si por ejemplo se empieza hablando de algo de lo que el modelo ya vio bastante en los datos de entrenamiento el resultado es mejor, y si se le pide algo muy técnico o algo esotérico ahí ya el rendimiento es es bajo.

Pero así y todo, no deja de ser un gran avance en el campo del procesamiento del lenguaje natural.

¿No te parece increíble?

Bueno, hay mas…

Al terminar con las pruebas de generación de texto le hicieron otras pruebas adicionales que se llaman Zero-Shot y que consisten en probar el modelo para hacer cosas para las que no fue específicamente entrenado lo que se llama fine-tuning.

Y se encontraron con que si le pasaban un texto escrito de unas determinadas formas, hacia una comprensión de lectura rudimentaria, traducía texto, respondía preguntas, hacía resúmenes… todo esto sin que haya recibido un entrenamiento específico para esas tareas.

¿Cómo es esto? ¿A qué se refieren con pasarle texto de una determinada forma?

Le daban un poco de texto sobre un tema, y abajo escribían de forma intercalada preguntas y respuestas. Como se suele ver cuando se lee un cuestionario en internet. La letra Q de pregunta en inglés, seguida por la pregunta, luego la letra A de respuesta en inglés seguida por la respuesta. Así varias veces hasta que al final escribían una pregunta, ponían A: y el modelo solo escribió la respuesta según interpretaba del texto inicial.

O en el caso de generar resúmenes, es muy común encontrar en Reddit luego de un texto largo la expresión “TL;DR” que quiere decir “muy largo, no lo leí” y seguido a eso la gente suele poner un resumen o conclusión. Bueno lo que hicieron fue darle un texto al modelo y al final poner TL;DR y PUM! El modelo se dió cuenta que tenía que generar un resumen.

Nuevamente parece de película!

¿Puede ser peligrosa esta inteligencia artificial?

Y ahora nos toca mencionar la parte más llamativa de todo esto y es que se armó un revuelo impresionante en la comunidad de investigación porque a diferencia de lo que suele ser más común de un tiempo a esta parte, de una vez finalizada una investigación publicar un paper y abrir los modelos para que cualquiera pueda probarlos y tal vez hacer investigaciones que lo tomen como punto de partida.

Los OpenAI dijeron que estaban preocupados por el mal uso que se le podía dar ya que se podría usar para generar fake news, hacerse pasar por otro en internet, hacer spam, publicar contenido en redes sociales y hacer campañas de desinformación.

Y es por eso que decidieron no publicar el modelo entrenado, sino que simplemente publicaron el paper de GPT-2 y el código del modelo pero con mucho menos parámetros.

Esto la verdad que deja mucho para pensar. ¿que piensan ustedes? ¿está bien que no hayan publicado este modelo completo? ¿creen que esto puede limitar a otros investigadores de seguir avanzando el estado del arte en procesamiento de lenguaje natural y aprendizaje no supervisado?

Espero sus comentarios sobre todo esto en pochocosta.com o en Twitter donde soy @pochocosta

Y como siempre, si no quieren perderse los próximos episodio suscribanse en su aplicación de podcast favorita y se agradece siempre que comparten este episodio en redes sociales o con alguien que crean que puede interesarle. También muchas gracias por las reseñas de 5 estrellas en iTunes que son lo que ayuda a que nos pueda descubrir más gente.

Ahora sí, nos escuchamos en el próximo episodio donde seguiremos hablando de este hermoso mundo de la inteligencia artificial.