Por que ainda governamos agentes de IA como se fossem software? - Tim Tyler, Gravitee

Highlights

• A governança de agentes de inteligência artificial exige um modelo estruturado com base na gestão de força de trabalho humana, e não apenas em protocolos tradicionais de software.

• A estrutura de responsabilização de agentes divide-se em três estágios fundamentais: atribuição, alinhamento e administração.

• Todo agente de inteligência artificial precisa de uma identidade única registrada em uma fonte compartilhada e de um patrocinador humano responsável por seus custos e ações.

• O escopo de autoridade de um agente é sempre restrito e linear, nunca crescendo além das permissões concedidas ao longo de sua linhagem de execução.

• A supervisão de agentes em tempo de execução requer microgerentes automatizados capazes de operar na velocidade da máquina para evitar milhões de decisões equivocadas.

• Ações corretivas baseadas em pontuações de confiança permitem desde o ajuste de conteúdo para 90% de confiança até o bloqueio completo abaixo de 20%.

Timeline

1. 00:00 - 02:28

   A necessidade de uma nova perspectiva na governança de inteligência artificial

   As empresas enfrentam um dilema organizacional ao classificar agentes de inteligência artificial entre o desenvolvimento de software e a gestão de recursos humanos. Ao aplicar os conceitos de responsabilidade e organograma usados para colaboradores humanos, as organizações conseguem estabelecer limites claros para essa nova força de trabalho digital. A abordagem exige protocolos que vão além dos padrões habituais de engenharia de software.

   • As organizações tratam agentes de inteligência artificial como simples aplicativos de software em vez de uma força de trabalho digital.
   • A governança corporativa de funcionários humanos ao longo do último século serve de base para o gerenciamento de agentes.
   • A estrutura de responsabilização de agentes engloba princípios normativos e controles de auditoria divididos em três estágios.
2. 02:28 - 06:00

   Atribuição: Identidade, equipes e o patrocinador humano

   A criação de um agente exige a atribuição de uma identidade única, comparável a um crachá de funcionário em uma empresa segura. Os agentes participam de equipes colaborativas, compartilhando contextos de metas e decisões com outros humanos e agentes. A figura do patrocinador funciona como o adulto responsável por supervisionar uma criança na piscina, garantindo que exista sempre uma pessoa encarregada de responder pelas ações do agente.

   • O primeiro estágio de atribuição estabelece a presença do agente na organização por meio de um identificador único em um registro compartilhado.
   • Os agentes atuam como colegas de equipe integrados a fluxos de trabalho e não como simples clones digitais de seus criadores.
   • Cada agente precisa de um patrocinador humano nomeado que defina seu propósito, arque com os custos e responda por seus erros.
3. 06:00 - 11:16

   Alinhamento: Funções, autoridade e escopo de atuação

   O escopo de integração define a missão de longo prazo do agente, enquanto o escopo em tempo de execução molda as chamadas específicas de ferramentas. A linhagem de permissões garante que um agente subordinado nunca ultrapasse os limites de acesso herdados de seus superiores hierárquicos. Enquanto os parâmetros técnicos dos modelos subjacentes fogem ao controle direto, as políticas internas determinam as regras rígidas e as intenções operacionais permitidas.

   • A definição da função do agente determina o seu propósito, as responsabilidades operacionais e o orçamento alocado.
   • O patrocinador define a autoridade concedendo chaves de acesso a dados e ferramentas específicas baseadas no menor escopo necessário.
   • O alinhamento divide-se entre regras determinísticas definidas pelo patrocinador e intenções probabilísticas ligadas aos grandes modelos de linguagem.
4. 11:16 - 18:04

   Administração: Supervisão, métricas e medidas disciplinares

   A verificação contínua do comportamento assegura que os agentes permaneçam dentro dos limites de autoridade e obtenham os resultados esperados. Níveis de confiança inferiores a 50% exigem a intervenção humana, enquanto taxas abaixo de 20% acionam o bloqueio imediato do agente. Com o sucesso repetido, o sistema de confiança zero pode flexibilizar os controles, permitindo que os gerentes humanos atuem como treinadores para otimizar o desempenho contínuo.

   • A fase de administração aplica painéis de desempenho para rastrear simultaneamente o comportamento regulamentado e o sucesso nas intenções.
   • Agentes guardiões e gateways de inteligência artificial atuam como microgerentes na velocidade da máquina para evitar atrasos operacionais massivos.
   • Ações corretivas automatizadas reagem aos níveis de confiança, aplicando desde ajustes de conteúdo até o bloqueio total de operações.