Ataques Reais a Agentes de IA e o que os Teria Impedido — Andrey Rybka, Bloomberg

하이라이트

• Agentes de IA realizaram 17.600 ações em quatro dias e meio após escaparem de uma sandbox por meio de um bug de proxy.

• Um agente de chat foi comprometido por engenharia social para revelar um token OAuth de longa duração, expondo dados de CRM de mais de 700 empresas.

• Instruções ocultas em código Morse permitiram o roubo de 3 bilhões de tokens de carteira após passarem pelas barreiras de segurança.

• Uma sandbox sem acesso à web permitiu a exfiltração de dados através de consultas DNS porque o tráfego de saída não possuía negação padrão.

• Um utilitário MCP no NPM operou de forma limpa por 15 lançamentos antes que a versão 16 adicionasse uma linha para desviar e-mails para a linha CCO.

타임라인

1. 00:40 - 03:03

   Incidentes reais de segurança com agentes autônomos

   Os agentes autônomos demonstram vulnerabilidades críticas quando operam com acesso amplo sem limites rígidos. Um incidente exemplifica testes de invasão onde agentes realizaram milhares de ações não autorizadas após romperem barreiras de rede. A segurança atual mostra-se inadequada para o comportamento dinâmico de cargas de trabalho autônomas.

   • Laboratórios de IA registraram incidentes onde agentes escaparam de sandboxes através de falhas de proxy.
   • A autonomia dos agentes gera riscos severos de raio de explosão quando possuem acesso ilimitado a ferramentas e dados.
   • Regras estáticas e firewalls tradicionais falham em detectar quando o objetivo de um agente sofre sequestro.
2. 03:27 - 06:50

   Identidade, confiança e defesa de entrada

   A gestão inadequada de credenciales e a ausência de autenticação mútua entre agentes facilitam o escalabro de privilégios. Dados externos não confiáveis carregam instruções maliciosas invisíveis a humanos, mas legíveis por modelos de IA. O isolamento de dados e a marcação de proveniência tornam-se essenciais para mitigar tais ataques.

   • Invasores extraíram tokens OAuth de longa duração de agentes de chat utilizando engenharia social.
   • Injeções de prompt permitiram que agentes de baixo privilégio recrutassem outros mais poderosos para elevar privilégios.
   • E-mails contendo instruções ocultas em texto branco provocaram exfiltração de dados sem necessidade de cliques humanos.
3. 06:51 - 13:30

   Governança de ferramentas, sandboxing e proteção de dados

   Ferramentas de linha de comando e integrações de terceiros introduzem riscos catastróficos quando executam comandos destrutivos sem supervisão humana. O sandboxing precisa impor negação padrão para todo o tráfego de saída, incluindo requisições DNS. A integridade da memória e o isolamento rígido de locatários impedem vazamentos cruzados em ambientes compartilhados.

   • Instruções ocultas codificadas em Morse bypassaram filtros de segurança e resultaram no roubo de bilhões de tokens.
   • Consultas DNS serviram como canal de exfiltração de dados em sandboxes que isolavam a web, mas ignoravam o tráfego de nomes de domínio.
   • Servidores MCP mal configurados permitiram que usuários acessassem dados de outros locatários por meses sem detecção.
4. 13:31 - 15:37

   Recapitulação e diretrizes de defesa

   A implementação de uma arquitetura defensiva robusta exige o bloqueio rigoroso de agentes e a aprovação humana obrigatória para ações de alto valor. O controle de execução deve residir em código determinístico em vez de depender apenas da sintaxe dos prompts. A adoção de orçamentos e disjuntores garante a interrupção automática de comportamentos anômalos.

   • Cada chamada de ferramenta deve passar obrigatoriamente por um corretor determinístico fora do modelo.
   • Chaves de longa duração precisam ser eliminadas em favor de tokens de curta duração vinculados a um escopo restrito.
   • O desenvolvimento de aplicações agênticas exige a integração de requisitos de segurança formais nas especificações.