300 Agentes, 60 Pessoas: Como Protegemos Nossos Próprios Agentes de IA - Aiden Sochowski, Runlayer

하이라이트

• A RunLayer opera com uma equipe de 50 a 60 pessoas executando mais de 300 agentes de inteligência artificial diariamente.

• A ausência de controle dinâmico em agentes com permissão para revisar e aprovar Pull Requests aumenta o risco de aprovações indevidas após interações repetidas.

• A criação de um servidor MCP por membros da equipe sem experiência prévia em software resultou em erros de formatação repetidos e custos elevados.

• A troca de modelos acessíveis por versões mais caras elevou os custos operacionais em mais de 100 vezes no período de uma semana.

타임라인

1. 00:00 - 05:58

   Visibilidade e mapeamento interno de agentes

   Muitas organizações utilizam clientes e servidores Model Context Protocol (MCP) sem monitoramento centralizado em dispositivos não gerenciados. Para solucionar essa falta de visibilidade, a RunLayer implantou um gateway interno que registra sessões e chamadas de ferramentas. O volume de agentes supera o total de colaboradores humanos, exigindo o mapeamento de riscos para evitar a exfiltração de dados e o uso inadequado de sistemas integrados.

   • A maioria das empresas carece de visibilidade sobre os agentes em execução e o uso de servidores MCP locais.
   • A equipe de 60 pessoas na RunLayer gerencia mais de 300 agentes automatizados que operam diariamente por meio de chatbots e gatilhos de SaaS.
   • O mapeamento por tópicos e riscos revela que agentes provisionados com excesso de ferramentas ampliam a superfície de ataque e o raio de explosão.
2. 05:58 - 12:28

   Desafios de segurança e políticas de execução

   A prevenção de ataques de injeção de instruções e exfiltração de dados sensíveis exige mais do que regras rígidas ou expressões regulares para bloquear PII. Casos como o de revisores de código automatizados demonstram que interações repetidas podem desviar o agente de sua função inicial. O treinamento de classificadores específicos ajuda a auditar o alinhamento das ações executadas ao longo de toda a sessão de trabalho.

   • A definição estática de políticas de entrada e saída falha diante da complexidade do contexto de cada sessão.
   • Agentes com permissão para aprovar alterações de código podem conceder acessos indevidos se houver insistência iterativa em comentários.
   • Modelos classificadores próprios avaliam o histórico de sessões para verificar se as chamadas de ferramentas alinham-se ao propósito original do agente.
3. 12:28 - 16:30

   Controle de erros em servidores MCP e custos de modelos

   A criação empírica de servidores MCP por equipes sem formação técnica gera loops de erro que elevam o custo de tokens de entrada e saída. Além disso, a troca de modelos econômicos por opções de alto desempenho sem avaliações prévias pressiona o orçamento corporativo. O controle efetivo depende de ferramentas de monitoramento capazes de detectar anomalias operacionais sem paralisar os fluxos de trabalho internos.

   • Servidores MCP desenvolvidos sem testes rigorosos geram falhas de formatação recorrentes e aumentam o consumo de tokens.
   • A migração não planejada para modelos de linguagem mais avançados multiplicou os custos operacionais por mais de 100 vezes em uma semana.
   • O estabelecimento de orçamentos e limites de taxa é essencial para sustentar a operação de agentes em larga escala.