El nuevo método de codificación permite a ChatGPT-4o y varios otros modelos de IA conocidos anular las protecciones internas, lo que facilita la escritura de código de explotación.
Marco Figueroa descubrió esta técnica de codificación. Esto permite a ChatGPT-4o y otros modelos de IA populares eludir las protecciones integradas y generar código de explotación.
Esta revelación revela importantes vulnerabilidades en las medidas de seguridad de la IA y plantea preguntas importantes sobre el futuro de la seguridad de la IA.
Las tácticas de jailbreak aprovechan las lagunas del lenguaje al ordenar al modelo que maneje una tarea aparentemente inofensiva: la conversión hexadecimal.
Debido a que ChatGPT-4o está optimizado para seguir instrucciones en lenguaje natural, esencialmente no se da cuenta de que la conversión de valores hexadecimales puede producir resultados dañinos.
Esta vulnerabilidad se produce porque el modelo está diseñado para seguir instrucciones paso a paso, pero carece de un conocimiento profundo del contexto para evaluar la seguridad de cada paso.
Actualice sus habilidades de ciberseguridad con más de 100 cursos premium de ciberseguridad en línea: inscríbase aquí
Al codificar instrucciones maliciosas en formato hexadecimal, un atacante puede eludir las barreras de seguridad de ChatGPT-4o. Este modelo pasa por alto los sistemas de gestión de contenidos, ya que decodifica cadenas hexadecimales sin reconocer ninguna intención maliciosa.
Pasos de fuga
Esta ejecución de tareas particionadas permite a un atacante explotar la eficiencia del modelo al seguir instrucciones sin un análisis más profundo del resultado general.
Este descubrimiento resalta la necesidad de características de seguridad mejoradas de la IA, incluida una decodificación más temprana del contenido codificado, una mejor conciencia del contexto y mecanismos de filtrado más sólidos para detectar patrones indicativos de la generación de exploits y la investigación de vulnerabilidades que hice.
A medida que la IA evolucione y se vuelva más sofisticada, los atacantes encontrarán nuevas formas de sacar provecho de estas tecnologías y acelerar el desarrollo de amenazas que puedan eludir las soluciones de protección de terminales basadas en IA.
Las tácticas y técnicas para evadir la detección por parte de EDR y EPP están bien documentadas, especialmente para la manipulación de la memoria y el malware sin archivos, por lo que no es necesario aprovechar la IA para eludir las soluciones de seguridad de endpoints actuales.
Sin embargo, los avances en la tecnología basada en IA pueden reducir la barrera de entrada de amenazas avanzadas al automatizar la creación de malware polimórfico y evasivo.
Este descubrimiento sigue a un aviso reciente del equipo de investigación Voyager18 de Vulcan Cyber, que describe una nueva técnica de ciberataque que utiliza ChatGPT para difundir paquetes maliciosos en entornos de desarrolladores.
Al aprovechar las capacidades de generación de código de ChatGPT, los atacantes pueden eludir los métodos tradicionales y explotar bibliotecas de códigos diseñados para distribuir paquetes maliciosos.
A medida que los modelos de lenguaje de IA continúan evolucionando, las organizaciones deben permanecer alerta y mantenerse al día con las últimas tendencias en ataques basados en IA para protegerse de estas nuevas amenazas.
La capacidad de eludir las medidas de seguridad mediante instrucciones codificadas es un vector de amenaza clave que debe abordarse a medida que las capacidades de la IA continúan evolucionando.
Realice análisis privados de malware en tiempo real en máquinas virtuales Windows y Linux. ¡Obtén una prueba gratuita de 14 días en ANY.RUN!
