Как понять, когда агент ИИ может работать без присмотра — Эван Кормос, Coinbase

하이라이트

• Политика организации задает правила выполнения работы, задавая риски и комплаенс как первоначальный системный промпт.

• Направленный ациклический граф или DAG представляет рабочий процесс в виде шагов и зависимостей в коде на Python без возврата к предыдущим этапам.

• Управление состоянием направленного циклического графа или DCG осуществляется с помощью инструментов с открытым исходным кодом LangChain и LangGraph.

• Вероятностный характер агентов требует создания репрезентативных наборов данных и проведения статистического анализа вместо прямого сравнения выводов.

• Рецепт интеграции агентов заключается в том, чтобы делать внешнюю оболочку детерминированной, а внутреннюю — адаптивной.

타임라인

1. 00:38 - 03:12

   Основы политики и структуры рабочих процессов

   Политика задает рамки функционирования организации с использованием ключевых правил и ограничений. Отделение состояния сборки от состояния выполнения позволяет системе развиваться в соответствии с изменениями продукта. Агенты внедряются на стыке процессов и технологий, определяя границы работы и способы построения доверия к результатам.

   • Политика организации определяет первоначальные институциональные намерения и правила выполнения работы с учетом рисков и комплаенса.
   • Состояние сборки и состояние выполнения разделяются на два разных момента времени, так как система постоянно меняется.
   • Операционная модель пронизывает людей, процессы и технологии, объединяя их в единую структуру.
2. 03:12 - 07:07

   Использование графов для управления процессами

   Рабочие процессы требуют регулируемого направления движения, такого как коммерческое кредитование или доставка программного обеспечения. Параллельное выполнение независимых проверок позволяет ускорить задачи, сохраняя необходимые контролирующие этапы. Инструменты LangChain и LangGraph помогают управлять сложными циклами внутри узлов процесса.

   • Направленный ациклический граф или DAG организует шаги и зависимости процесса в определенном направлении без возврата назад.
   • Инструмент Apache Airflow представляет рабочие процессы в виде DAG с помощью кода на Python.
   • Направленный циклический граф или DCG описывает цикл внутри узла процесса, где результаты дорабатываются на основе отзывов.
3. 07:07 - 11:00

   Управление исключениями, метрики и качество входных данных

   Ускорение проверки кода или других задач требует более быстрого проектирования и сканирования безопасности, смещая объемы по всему процессу. Визуализация помогает выявлять узкие места при распараллеливании задач. Внедрение состояния DAG в агента помогает ему осознать свое место в общей картине долгосрочных целей.

   • Мониторинг потоков исключений предотвращает застревание работы без необходимости проектирования системы под каждый крайний случай.
   • Операционная видимость процесса и метрики становятся критически важными при добавлении агентов и ускорении работы.
   • Качественные входные данные и контекстная модель снижают вариативность результатов и экономят вычислительные ресурсы.
4. 11:00 - 17:23

   Оценка результатов и механизмы обеспечения доверия

   Традиционные механизмы уверенности в виде юнит-тестов дополняются статистическим анализом результатов ИИ. Постепенное повышение доверия позволяет сократить объем ручного просмотра результатов до выборочной проверки. Главный рецепт успешной интеграции агентов заключается в создании детерминированной внешней оболочки и адаптивной внутренней среды.

   • Вероятностная природа агентов требует создания репрезентативных наборов данных и запуска повторяющихся статистических оценок.
   • Трассировки в реальном времени дополняют традиционные юнит-тесты и формируют надежный механизм обеспечения доверия.
   • Переход от полного ручного контроля к выборочной проверке происходит по мере достижения порогового значения политики.