Como Saber Quando um Agente de IA Pode Trabalhar Sem Supervisão — Evan Kormos, Coinbase

하이라이트

• A política institucional define as regras para a execução do trabalho e atua como o prompt de sistema original da organização.

• Os grafos acíclicos direcionados ou DAGs representam fluxos de trabalho e as suas dependências em código Python.

• A qualidade do ciclo interno depende diretamente de uma verificação fiável do que constitui um bom resultado.

• Os agentes de inteligência artificial são probabilísticos, exigindo avaliações estatísticas em volume em vez de comparações de saída exatas.

• O processo de transição para a autonomia total passa por fases de supervisão humana total, amostragem por amostragem e tratamento de exceções.

타임라인

1. 00:00:00 - 03:12:00

   Fundamentos de Política e Modelos Operacionais

   As regras de execução dentro de uma organização são definidas por políticas que funcionam como a intenção institucional original. O estado de compilação e o estado de execução são separados em momentos temporais distintos para permitir que os sistemas evoluam sem perder o alinhamento político. Os agentes funcionam como um modelo operacional transversal que executa partes de processos de forma autónoma em colaboração com pessoas e tecnologia.

   • A política institucional dita o risco e a conformidade sob a forma de regras escritas.
   • Os sistemas em execução evoluem rapidamente e mantêm-se limitados pelas políticas estabelecidas.
   • Os agentes operam na interseção entre pessoas, processos e tecnologia.
2. 03:12:00 - 09:00:00

   Grafos de Fluxo de Trabalho e Ciclos Internos

   O mapeamento de fluxos de trabalho permite executar análises independentes em simultâneo com os controlos necessários. Os grafos acíclicos direcionados estruturam passos que avançam sem retroceder, aplicáveis a créditos comerciais ou listagens de tokens. Dentro de cada nó, os grafos cíclicos direcionados geridos por plataformas como o LangGraph permitem ciclos de feedback iterativos até que o trabalho cumpra os padrões exigidos.

   • Os fluxos de trabalho avançam numa direção específica através de grafos acíclicos direcionados ou DAGs.
   • Ferramentas como o Apache Airflow organizam dependências de processos em código Python.
   • Os nós individuais contêm ciclos de trabalho onde pessoas e agentes iteram até alcançarem o resultado pretendido.
3. 09:00:00 - 13:12:00

   Variabilidade, Contexto e Mecanismos de Confiança

   A engenharia de inteligência artificial lida com a variabilidade de entradas e saídas, sendo que a injeção do estado do DAG no agente melhora a qualidade do contexto. Como as respostas dos modelos variam, os testes unitários tradicionais revelam-se insuficientes de forma isolada. A construção de confiança requer conjuntos de dados representativos, registos de execução ou rastreios, e avaliações estatísticas em volume.

   • Entradas de maior contexto geram saídas superiores a custos computacionais reduzidos.
   • A verificação valida se o trabalho gerado por IA cumpre os critérios necessários para avançar.
   • Os agentes exigem avaliações estatísticas em séries repetidas devido à sua natureza probabilística.
4. 13:12:00 - 17:23:00

   Escala Operacional e Transição para a Autonomia

   A implementação começa com supervisão humana total para validar a qualidade e afinar conjuntos de dados com especialistas. Quando a confiança atinge o limiar definido pela política, o modelo transita para a amostragem de uma fração das saídas e avaliações sistemáticas por rastreios. No estágio final, os humanos concentram-se apenas nas exceções do processo enquanto os agentes operam com maior autonomia.

   • A automação de nós específicos baseia-se na facilidade de verificação perante políticas e limites operacionais.
   • A transição de supervisão para autonomia ocorre através de limiares de confiança medidos estatisticamente.
   • A receita central para os processos baseia-se em manter o exterior determinístico e o interior adaptativo.