Comment savoir quand un agent IA peut travailler sans surveillance — Evan Kormos, Coinbase

하이라이트

• Les agents fonctionnent comme un modèle opérationnel traversant les personnes, les processus et la technologie.

• Un graphe orienté acyclique représente un flux de travail avec des étapes et des dépendances sans boucle sur lui-même.

• Les agents sont probabilistes et nécessitent des évaluations statistiques et des ensembles de données représentatifs plutôt que des comparaisons de sorties exactes.

• Le passage au travail non supervisé s'effectue progressivement, en passant d'une révision humaine totale à un échantillonnage et à la gestion des exceptions lorsque le seuil de confiance est atteint.

타임라인

1. 00:00 - 04:05

   Politique et structure des flux de travail

   La politique définit l'intention institutionnelle à l'aide de termes normatifs pour encadrer le fonctionnement du système. Le processus s'organise à l'aide de graphes orientés acycliques, similaires à ceux utilisés dans Apache Airflow pour structurer le code et les flux de travail.

   • La politique établit les règles régissant l'exécution du travail et la gestion des risques.
   • Les agents s'intègrent dans le modèle opérationnel en traversant les personnes, les processus et la technologie.
   • Un graphe orienté acyclique représente les étapes et les dépendances d'un processus orienté vers l'avant.
2. 04:05 - 09:00

   Gestion des boucles et visibilité opérationnelle

   À l'intérieur des nœuds, le travail est révisé et itéré jusqu'à atteindre une qualité suffisante pour avancer. L'introduction d'agents accélère le volume de travail à travers le flux, ce qui rend la visibilité métrique et le suivi des goulots d'étranglement prioritaires par rapport à la conception initiale de l'outil.

   • Les nœuds internes des processus fonctionnent souvent sous forme de boucles itératives représentées par des graphes orientés cycliques.
   • L'augmentation de la vitesse d'exécution par les agents crée des goulots d'étranglement qui nécessitent une visibilité opérationnelle accrue.
   • Les flux d'exception gèrent les cas où le travail ne respecte pas les normes de sécurité ou est annulé.
3. 09:00 - 14:14

   Mécanismes de confiance et évaluation de la qualité

   La variabilité des entrées et des sorties complexifie l'ingénierie de l'agent. Contrairement au logiciel traditionnel qui s'appuie sur des tests unitaires déterministes, l'évaluation de la qualité des agents combine des ensembles de données, des traces d'exécution et des analyses statistiques pour compléter les mécanismes de confiance.

   • Les agents génèrent des réponses probabilistes qui nécessitent des analyses statistiques et des ensembles de données représentatifs.
   • L'injection de l'état du graphe orienté acyclique dans l'agent lui fournit un contexte sur sa position globale.
   • Les contrôles doivent évaluer la qualité de manière fiable pour garantir la valeur des boucles itératives.
4. 14:14 - 17:23

   Transition vers l'autonomie et synthèse

   Le passage à un fonctionnement non supervisé s'opère lorsque la confiance mesurée franchit les seuils de politique définis. Les humains se concentrent alors sur la gestion des exceptions et l'affinage des données, tandis que les agents accélèrent l'ensemble du modèle opérationnel.

   • L'adoption des agents progresse de la supervision humaine totale vers l'échantillonnage et la gestion des exceptions.
   • La structure idéale maintient un extérieur déterministe tout en restant adaptatif à l'intérieur.
   • La qualité résulte d'un effort d'équipe combinant l'ingénierie, les opérations de machine learning et les métriques.