La IA suspende en gramática: "No reconocen fallos triviales y los humanos lo hacen sin esfuerzo"

La Inteligencia Artificial (IA) se ha convertido en una potente herramienta que supone un desafío diario en su desarrollo. Un campo de la informática que aún tiene un largo camino de mejora en los sistemas de comunicación al reconocer peor que los humanos los errores gramaticales en una oración.

La Universitat Rovira i Virgili (URV) de Tarragona, junto a la Universidad Humboldt de Berlín, la Universitat Autònoma de Barcelona (UAB) y la Institució Catalana de Recerca i Estudis Avançats (Icrea), ha puesto a prueba a la IA, 'suspendida' en gramática tras analizar las capacidades lingüísticas de los grandes modelos de lenguaje disponibles de GPT3 y ChatGPT.

Para ello, asignaron a la IA una tarea "fácilmente ejecutable" para las personas a partir de muchos tipos distintos de oraciones, donde debían identificar al momento si estaba gramaticalmente bien formada en su lengua materna o no.

Tanto a los humanos que participaron en este experimento como a los modelos del estudio se les hizo una pregunta muy simple: "¿Esta oración es gramaticalmente correcta?".

Los resultados demostraron que los humanos respondieron correctamente, mientras que los grandes modelos de lenguaje dieron muchas respuestas erróneas. De hecho, detectaron que la Inteligencia Artificial adoptó una estrategia predeterminada que consistía en responder "sí" la mayoría de las veces, independientemente de si la respuesta era correcta o no.

"El resultado es sorprendente, ya que a estos sistemas se les instruye según lo gramaticalmente correcto o no en un idioma", explica Vittoria Dentella, investigadora del Departamento de Estudios Ingleses y Alemanes.

El estudio pone de manifiesto que existe un doble desajuste entre humanos e IA. Las personas no tienen acceso a “evidencia negativa", sobre lo que no es gramaticalmente correcto en ese idioma.

Por contra, los grandes modelos de lenguaje tienen un amplio acceso a esta información a través de la retroalimentación humana. Pese a ello, "no pueden reconocer fallos gramaticales triviales, mientras que los humanos pueden hacerlo instantáneamente y sin esfuerzo".

“Dado que la mayoría de las aplicaciones de IA dependen de la comprensión de órdenes dadas en lenguaje natural, determinar estas limitaciones en el manejo de la gramática, como hemos hecho en este estudio, es de vital importancia”, señala Evelina Leivada, profesora de investigación ICREA en el Departamento de Filología Catalana de la UAB.

“Con estos resultados pensamos que es necesaria una reflexión crítica sobre las afirmaciones que atribuyen a las IA capacidades lingüísticas similares a las de las personas”, concluye Dentella, quien considera que adoptar estos modelos de lenguaje como teorías de lenguaje humano no está justificado en la etapa actual de su desarrollo.

Síguenos en nuestro canal de WhatsApp y conoce toda la actualidad al momento.