ChatGPT, la aplicación de chatbot de inteligencia artificial desarrollada por OpenAI, ha revolucionado la interacción humano-computadora mediante su capacidad para generar texto coherente y contextualizado. Sin embargo, su sofisticación no lo exime de vulnerabilidades que pueden ser explotadas. Investigadores de la Universidad de Oxford han analizado estas debilidades, revelando formas que permiten manipular el comportamiento del modelo.

Una técnica identificada es la inyección de prompts maliciosos, por lo que se introducen instrucciones ocultas en el texto de entrada para alterar las respuestas de ChatGPT. Por ejemplo, al insertar comandos específicos en una conversación, es posible dirigir al modelo a generar contenido no deseado o a divulgar información sensible. Este método aprovecha la tendencia del modelo a seguir instrucciones implícitas en el texto proporcionado.

Otra forma de manipulación son los ataques de ingeniería social buscan engañar a ChatGPT para que realice acciones no intencionadas, como generar código malicioso o contenido inapropiado. Al formular solicitudes que aparentan ser legítimas, pero que en realidad tienen intenciones ocultas, los atacantes pueden inducir al modelo a producir resultados perjudiciales. Este enfoque explota la confianza del modelo en la veracidad y legitimidad de las órdenes de entrada recibidas.

Otra vulnerabilidad radica en la manipulación de los datos de entrenamiento. Si se introducen datos sesgados o maliciosos en el conjunto de entrenamiento, es posible influir en el comportamiento de ChatGPT, orientándolo hacia respuestas específicas o comportamientos deseados por el atacante. Este tipo de ataque subraya la importancia de la integridad y calidad de los datos utilizados para entrenar modelos de lenguaje.

Un estudio reciente de la Universidad de Oxford, en colaboración con otras instituciones, ha profundizado en estas vulnerabilidades. El trabajo, titulado "ChatGPT for digital forensic investigation: the good, the bad, and the unknown", al que se puede acceder aquí, analiza cómo ChatGPT puede ser tanto una herramienta valiosa como una potencial amenaza en el ámbito de la ciberseguridad. Los investigadores destacan la necesidad de una supervisión humana competente al utilizar estas tecnologías, enfatizando que, aunque ofrecen beneficios significativos, también presentan riesgos que deben ser gestionados cuidadosamente. 

Formas de mitigar este riesgo de manipulación

Para contrarrestar estos riesgos, se proponen varias estrategias:

La comprensión y mitigación de estas vulnerabilidades son esenciales para poder garantizar el uso seguro y ético de los modelos de lenguaje avanzados como es el caso de ChatGPT. La colaboración entre instituciones académicas, como la Universidad de Oxford, y desarrolladores es un elemento que resulta absolutamente crucial a la hora de fortalecer la resiliencia de estas tecnologías frente a las posibles manipulaciones maliciosas que pongan en compromiso la efectividad de estos modelos.