CHARLA PRÁCTICA · 4 DEMOS EN VIVO
El enemigo
invisible
¿En quién confía tu sistema?
De un correo falso a un agente de IA comprometido.
convincente 02Un permiso
de más 03Un dato que
se ejecuta 04Un agente
engañado
ANTES DEL PRIMER CASO
¿Qué tienen en común
estos ataques?
Hoy vamos a romper cuatro cosas diferentes.
Pero las cuatro fallan por una razón parecida.
01 CONFIAMOS EN LO QUE PARECE LEGÍTIMO
DEMO EN VIVOUn correo
convincente.
El mensaje usa una identidad familiar y te apura a actuar. El atacante no necesariamente rompe el sistema: puede conseguir que el usuario abra la puerta.
Problema: confianza del usuario
Verificá tu cuenta
Detectamos actividad inusual en tu cuenta. Para mantener el acceso, revisá tus datos hoy.
Administración de cuentas
02 UN PERMISO TAMBIÉN ES UNA FRONTERA
DEMO EN VIVOUn permiso
de más.
Docker permite ejecutar procesos en contenedores. Los contenedores aíslan, pero no son una frontera mágica de seguridad.
Problema: autoridad otorgada de más
root. El acceso al host depende de qué permiso concreto se otorgó, no de una falla mágica de Docker.
Docker no está "roto". Estamos aprovechando una configuración o un permiso inseguro. Un fallo de aislamiento y una configuración privilegiada son causas distintas.
03 DATOS QUE TERMINAN SIENDO CÓDIGO
DEMO EN VIVOUn archivo
que hace más.
Nunca deberíamos asumir que una entrada es segura solamente porque "parece" tener el formato esperado.
Problema: validación insuficiente
El nombre y la extensión son solo parte de la validación.
LO QUE CONECTA LOS TRES CASOS
La entrada llega.
El permiso importa.
Hasta ahora engañamos a una persona, abusamos de permisos y conseguimos que una aplicación interprete una entrada de forma peligrosa.
Corroborar el pedido por un canal conocido.
Cada proceso recibe lo que necesita para su tarea.
El servidor decide qué datos acepta y cómo los trata.
¿Qué pasa si ahora el que interpreta la entrada es una inteligencia artificial?
DE "¿PUEDEN PENSAR?" A "PUEDEN ACTUAR"
Lo que cambió
no es sutil.
UN CAMBIO DE CATEGORÍA
Chatbot ≠ Agente
Chatbot
Agente
¿QUÉ OCURRE CUANDO LA IA PUEDE USAR HERRAMIENTAS?
Una nueva
superficie de ataque.
Usuario → Agente → Herramientas:
¿El agente puede distinguir siempre entre DATOS e INSTRUCCIONES?
EL PROBLEMA NO ES COMPLETAMENTE NUEVO
Mezclar datos
e instrucciones.
SQL Injection
Prompt Injection
No son la misma vulnerabilidad. La analogía sirve para entender un problema común: mezclar datos e instrucciones. La demo de hoy es indirecta: el modelo encuentra instrucciones maliciosas dentro de contenido que estaba procesando (una página web).
¿QUIÉN ESTÁ DANDO REALMENTE LAS INSTRUCCIONES?
Si el agente lee
la web, ¿quién le habla?
Si yo le pedí al agente que leyera una web, ¿quién controla todo lo que el agente va a leer?
No necesariamente yo.
04 PROMPT INJECTION + AGENTE
ÚLTIMA DEMOResumamos
este sitio.
Una tarea de lectura. Un agente con herramientas. ¿Qué podría salir mal?
«Leé esta página y resumí las principales recomendaciones de ciberseguridad.»
Paso 1 de 6 — el usuario pide una tarea legítima de lectura.
Una instrucción oculta en el HTML intentó dirigir al agente hacia herramientas de creación y ejecución. La aplicación local ejecuta las llamadas que acepta. El fallo de diseño consiste en dar autoridad al contenido externo y ofrecer una capacidad de ejecución para una tarea de resumen.
LO QUE AUMENTA EL IMPACTO
Prompt injection
no actúa solo.
Nunca le pedí al agente que apagara la computadora. Le pedí que trabajara con contenido. El problema apareció porque ese contenido tenía instrucciones y el agente tenía herramientas capaces de ejecutar acciones.
CUATRO ATAQUES. UN MISMO PATRÓN.
¿En qué confiamos
demasiado?
| Caso | ¿En qué confiamos demasiado? |
|---|---|
| Phishing | En lo que ve el usuario |
| Docker | En los permisos / la configuración |
| File Upload | En la entrada recibida |
| Agente IA | En el contenido que procesa |
EL ATAQUE CAMBIA. EL PRINCIPIO NO.
No confíes
automáticamente.
Al principio vimos cómo engañar a una persona para que siga una instrucción. Al final vimos cómo un atacante puede intentar engañar a una inteligencia artificial para que haga exactamente lo mismo.
Las tecnologías cambian. El problema de confiar demasiado sigue siendo el mismo.