ChatGPT no conoce 20 por ciento del léxico español y comete errores en 80 por ciento restante

La herramienta llegó hace un año al mercado hispano, donde ahora suma 100 millones de usuarios
Foto: Efe

Desde que llegó al mercado hace un año, ChatGPT, una inteligencia artificial capaz de crear contenidos originales y tareas relacionadas con la lengua, se ha convertido en una herramienta de enorme popularidad. Ahora, un estudio señala que desconoce 20 por ciento del léxico español y que comete errores en 80 por ciento restante.

Según datos de OpenAI –la empresa que creadora–, cada semana, 100 millones de personas usan este chatbot para hacer tareas relacionadas con el lenguaje.

Pero aunque esta herramienta está entrenada para mantener conversaciones y generar textos, se sabe que puede producir respuestas que parecen plausibles pero que son completamente erróneas.

 

Evaluación el conocimiento léxico

Para evaluar el rendimiento de ChatGPT y su capacidad real, un equipo de investigadores españoles ha desarrollado una aplicación, denominada ChatWord, que permite evaluar el conocimiento léxico de ChatGPT en varios idiomas.

Para ello, el equipo, formado por científicos de la Universidad Politécnica de Madrid (UPM), junto a colegas de la Universidad Carlos III de Madrid (UC3M) y la Universidad de Valladolid (UVa), usó como referencia las palabras recogidas en el diccionario de la Real Academia de la Lengua y las que aparecen en El Quijote de Miguel de Cervantes.

El estudio reveló que de las más de 90 mil palabras incluidas en el diccionario de la Real Academia de la Lengua, el modelo ChatGPT3.5turbo desconoce aproximadamente 20 por ciento, es decir, unas 18 mil palabras.

Además, en 80 por ciento restante de las palabras del diccionario y en 90 por ciento de las palabras del Quijote, ChatGPT cometió errores en cerca de 5 por ciento de los términos.

 

Un conocimiento muy pobre

El estudio recuerda que un hispanohablante reconoce 30 mil palabras de media, es decir, casi un tercio del léxico español, un dato que puede parecer pobre comparado al de una máquina, advierten los autores.

Pero, “como pasa muchas veces con los sistemas de inteligencia artificial, no es oro todo lo que reluce, y al analizar los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto”, explica Javier Conde, profesor ayudante en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la UPM y coautor del trabajo.

“Quizás ChatGPT no sea hoy en día tan sabio como aparenta”, añade.

Además, el estudio recuerda que los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), basados en inteligencia artificial y diseñados para procesar y comprender lenguaje natural en una escala enorme –como ChatGPT–   no usan palabras que no conocen.

Pero para Pedro Reviriego, profesor titular de la ETSIT y coautor de la investigación, el dato es preocupante porque si estos sistemas solo usan las palabras que conocen, resulta “muy factible un escenario en que el contenido recién generado tenga un número cada vez menor de palabras distintas”, y de escasa riqueza léxica, avisa.

La aplicación ChatWords es un sistema de acceso público, diseñada para ser fácil de usar y ampliar.

Los investigadores quieren evaluar otros idiomas y LLM para comprender mejor el conocimiento léxico que tienen las herramientas de inteligencia artificial y cómo evoluciona a medida que aparecen nuevas versiones y herramientas.

 

Te puede interesar:

EU: Abogado es sancionado por usar ChatGPT; la IA inventó precedentes legales

Misa creada con la inteligencia artificial de ChatGPT despierta gran interés en Alemania

China: SenseTime lanza 'chatbot' alternativo a ChatGPT, desarrollado por EU

 

Edición: Fernando Sierra


Lo más reciente

Descubren ofrenda que data de más de siete siglos en el Gran Basamento de Tlatelolco

En el interior se encontraron cuchillos de obsidiana, probablemente usados para sacrificios

La Jornada

Descubren ofrenda que data de más de siete siglos en el Gran Basamento de Tlatelolco

Cruz Azul y América empatan en final de ida; definirán título en el Azteca

Penal de Antuna marcó el primer tanto; Quiñones iguala el marcador

La Jornada

Cruz Azul y América empatan en final de ida; definirán título en el Azteca

Gallineta americana, amante de los humedales y cenotes

Especial: Fauna Nuestra

Ana Ramírez

Gallineta americana, amante de los humedales y cenotes

Al menos 14 muertos por incendio en un edificio en Hanói, Vietnam

El siniestro ocurrió en el distrito Cau giay

Efe

Al menos 14 muertos por incendio en un edificio en Hanói, Vietnam