Facepalm: “El código es TrustNoAI”. Esta es una frase que los hackers de sombrero blanco usaron recientemente para demostrar cómo pueden explotar ChatGPT para robar los datos de alguien. Entonces, tal vez este sea un código que todos deberíamos adoptar. Descubrió cómo los piratas informáticos podían utilizar la memoria persistente de LLM para robar continuamente datos de usuarios arbitrarios.
El investigador de seguridad Johann Rehberger descubrió recientemente cómo ChatGPT puede utilizarse como software espía. Lo informó a OpenAI, pero la compañía lo ignoró y dijo que era una cuestión de “seguridad” más que de seguridad, antes de cerrar el ticket.
Sin desanimarse, Rehberger trabajó en la construcción de una prueba de concepto y abrió un nuevo ticket. Esta vez, los desarrolladores de OpenAI prestaron atención. Como recientemente habían publicado una solución parcial, Rehberger pensó que era seguro revelar finalmente la vulnerabilidad. El ataque, que Rehberger denominó SpAIware, explota una característica relativamente nueva de la aplicación ChatGPT para macOS.
Hasta hace poco, la memoria de ChatGPT se limitaba a las sesiones de conversación. En otras palabras, recuerda todo con lo que chateas, sin importar cuánto dure la conversación o cuántas veces cambie de tema. La memoria se restablece cuando el usuario inicia un nuevo chat. Las conversaciones se guardan y se pueden reanudar en cualquier momento con los recuerdos guardados intactos, pero no pasan a una nueva sesión.
En febrero, OpenAI comenzó a realizar pruebas beta de la memoria a largo plazo (o persistente) de ChatGPT. En este caso, ChatGPT “recuerda” los detalles de una conversación a la siguiente. Por ejemplo, si se menciona su nombre, sexo o edad, podemos recordarlo y llevar esos recuerdos a nuevos chats. OpenAI implementó esta función de manera más amplia este mes.
Rehberger descubrió que era posible crear una inyección de aviso que contenía un comando malicioso que enviaba el aviso de chat de un usuario y la respuesta ChatGPT a un servidor remoto. Además, codificamos el ataque para que el chatbot pudiera almacenarlo en la memoria a largo plazo. Por lo tanto, cuando un objetivo usa ChatGPT, toda la conversación se envía al servidor malicioso, incluso después de iniciar un nuevo hilo. Este ataque es casi invisible para el usuario.
“Lo realmente interesante es que esto todavía se recuerda”, afirmó Reberger. “La inyección inmediata insertó memoria en el almacenamiento a largo plazo de ChatGPT. Cuando inicias una nueva conversación, en realidad todavía se están extrayendo datos”.
Rehberger también muestra que un atacante no necesita acceso físico o remoto a una cuenta para realizar una inyección rápida. Un pirata informático podría codificar la carga útil en una imagen o sitio web. Los usuarios sólo necesitan decirle a ChatGPT que busque sitios web maliciosos.
Afortunadamente, este ataque no funciona en la versión del sitio web del chatbot. Rehberger también probó el exploit sólo en la versión macOS de la aplicación ChatGPT. Se desconoce si esta falla existe en otras versiones de la aplicación.
OpenAI ha solucionado parcialmente este problema, ya que la última actualización impide que los bots envíen datos a servidores remotos. Sin embargo, ChatGPT continúa aceptando mensajes de fuentes no confiables, lo que permite a los piratas informáticos seguir insertando mensajes en la memoria a largo plazo. Como explica Rehberger en el vídeo, los usuarios cautelosos deben utilizar las herramientas de memoria de la aplicación para comprobar y eliminar entradas sospechosas.
Crédito de la imagen: Xkonti.
https://www.techspot.com/news/104881-chatgpt-vulnerability-allows-hackers-record-sessions-indefinitely.html
