En un artículo anterior describí la problemática y avances que se han producido en sistemas de IA de comprensión lectora. Por otra parte, en los últimos años, los sistemas de IA de escritura también han mejorado significativamente por la aparición de una red neuronal llamada GPT-3. Apenas hace dos años que se creó GPT-3, pero la variedad de casos de uso se ha disparado: generación de narrativa, redacción de blogs y noticias, chatbots e incluso creación de juegos ‘trivial’. La lista sigue creciendo a medida que los desarrolladores se dan cuenta de su potencial. En este artículo, tras describir la evolución de los sistemas de IA de escritura y de GPT-3 en concreto, planteo la posibilidad de que Internet se vea inundado de contenidos generados por GPT-3.
Narrativa creada por IA
Experiments that use AI for story writing have been tried for many years. For example, Sharples and Perez [1] describe automatic novel writing programs that began in the 1960s. They were mostly collaborations between human and machine. However, it was a programmer named Scott French who was the first to claim that he had created an entire AI-written novel. The novel was called “Just This Once” and it was written in such a way that it emulated the style of the 1960s author Jacqueline Susann. Scott did this by using symbolic AI explicitly written rules. For example, his program used “If… then” rules to show how a character would react to an event. It would also use rules to show how the author would be likely to describe some action in words. This AI book writing project didn’t end well for Scott because he was later sued by the estate of Jacqueline Susann for copying her style. The problem with using rule-based AI was that it was very time-consuming – taking eight years for Scott to complete this book. Other automatic writing projects encountered similar problems. Symbolic AI lacked the learning capabilities of neural networks. This meant that time-consuming human programming was the only way that this type of project could be completed.
Sin embargo, hoy en día la IA puede escribir novelas y toda clase de documentos mediante redes neuronales de aprendizaje automático, a veces en cuestión de minutos. El GPT-3 (acrónimo de ‘Generative Pre-Trained Transformer Version 3’), desarrollado por la organización OpenAI de Elon Musk, ha revolucionado la escritura de IA, dando lugar a muchas empresas de nueva creación que cubren toda una serie de aplicaciones. Su creatividad narrativa es tan alta que los lectores a menudo no la distinguen de la ficción creada por humanos.
Como funciona el GPT-3
GPT-3 es un modelo lingüístico de aprendizaje automático: el usuario puede introducir una secuencia incompleta de palabras y generar un texto a partir de ella. Por lo tanto, se le puede comparar a un modelo de ‘autocompletar’, algo así como cuando un usuario está escribiendo un correo electrónico y el sistema le sugiere palabras para completar la frase y reducir así el esfuerzo. GPT-3 se ha entrenado con un conjunto de datos de unos 175.000 millones de parámetros (ponderaciones de neuronas artificiales) recogidos de sitios web como Reddit, Wikipedia, Google y otros, sumando mucho más texto del que ningún humano verá durante toda su vida. El entrenamiento de los programas generativos consiste en introducir parte de una frase y pedirle a la máquina que prediga la siguiente palabra. Luego se comprueba si el resultado coincide con la palabra correcta. Como en todas las redes neuronales, las ponderaciones se ajustan en función de lo bien que coincidan con la palabra correcta, por lo que, a medida que se introducen más ejemplos, la red predice la siguiente palabra con mayor precisión. Una vez entrenada la red neuronal, el usuario puede introducir una secuencia de palabras y generar otra secuencia como resultado -una frase, un párrafo o incluso más, como un relato entero- y ver junto al resultado una puntuación de probabilidad de que se utilicen palabras concretas. Además, GPT-3 puede realizar funciones que van más allá de la simple generación de texto, como la evaluación de contenido textual, respuestas a preguntas sobre cualquier tema imaginable, resumen de textos e incluso traducción de un idioma a otro.
Según Tingiris [2], se estima que GPT-3 ha sido entrenado en 57 veces el número de palabras que se hayan escrito, leído y hablado durante una vida humana media, lo que significa que la red neuronal es demasiado grande para descargarse a un ordenador personal. Sin embargo, OpenAI hace que GPT-3 esté disponible a través de una interfaz programable de aplicaciones (API, por sus siglas en inglés). Sus usos son múltiples, e incluyen la escritura de novelas, blogs, poesía, informes empresariales e incluso chistes.
Limitaciones y preocupaciones sobre el GPT-3
Pese a sus ventajas, la GPT-3 tiene algunas limitaciones. Su ventana de input abarca unas 1.000 palabras, lo que es suficiente para narrativa breve, pero un relato de longitud media suele perder el rumbo al aumentar la cantidad de contenido generado. El problema puede resolverse si el usuario recibe indicaciones de seguimiento o el sistema obedece a una plantilla preestablecida. GPT-3 también es bastante lento debido a su tamaño, lo que afecta a su capacidad para explicar sus resultados. También existe la posibilidad de que se produzcan sesgos debido a los datos que se han utilizado para el entrenamiento de la red, por lo que hay preocupaciones éticas: en particular, la generación de ‘fake news’ y las posibilidades de crear contenidos sensibles en materia de raza o etnia.
Consecuencias para la calidad de los contenidos de internet
Muchos investigadores predicen que la llegada de GPT-3, que tiene un coste muy inferior al de la creatividad humana, hará que Internet se llene de contenidos mediocres. Esto, a su vez, podría conducir a una falta de confianza, ya que la calidad podría diluirse por ‘fake news’ o contenidos falsos. El hecho es que GPT-3 todavía no puede reflexionar sobre lo que escribe, porque, aunque suene bien, no lo entiende. La supervisión de los contenidos por humanos sería una forma de resolver este problema, pero esto sería imposible si, tal como se está prediciendo, GPT-3 va a generar cantidades inabarcables de contenido extra.
Conclusiones
Sin duda, GPT-3 ha dado paso a una nueva ola de aplicaciones lingüísticas de IA que permitirá mejorar la comunicación con los ordenadores. También es probable que desencadene un movimiento hacia la automatización de los contenidos de Internet, como las crónicas deportivas, por ejemplo. El futuro de la comunicación lingüística de la IA ha tomado un nuevo rumbo como consecuencia de GPT-3. Sin embargo, a pesar de su fenomenal capacidad de aprendizaje, todavía carece de la comprensión semántica del lenguaje, ya que, a pesar de las apariencias, todavía no ofrece capacidades de escritura de narrativa extensa a nivel humano. La arquitectura de la red neuronal de GPT-3 proporciona la capacidad de aprendizaje sin poder comprender los significados. En otras palabras, aún no se ha superado el abismo de comprensión entre los humanos y la IA, porque el sistema no tiene la capacidad de reflexionar sobre lo que ha escrito, aunque escriba con la misma soltura que un autor humano. La reflexión es una parte esencial de la escritura. Así, la versión actual funciona bien como herramienta para generar contenido, pero todavía requiere la colaboración humana. Eso sí, en un futuro, GPT-3 dará mucho que hablar.
Keith Darlington
Referencias
[1] Story Machines: How Computers Have Become Creative Writers por Mike Sharples y Rafael Perez Y Perez.
[2] Exploring GPT-3 por Steve Tingiris.
Comentarios sobre esta publicación