300 агентов, 60 человек: Как мы обеспечили безопасность собственных ИИ-агентов — Эйден Сочовски, Runlayer

하이라이트

• При штате компании в 50-60 человек ежедневно запускается более 300 автономных агентов.

• Неконтролируемое переключение моделей может вызвать рост расходов на токены более чем в 100 раз за неделю.

• Мониторинг сеансов и вызовов инструментов позволяет выявлять и изолировать агентов с высоким уровнем риска.

• Ошибки в пользовательских MCP-серверах приводят к бесконечным повторным запросам и резкому росту затрат.

• Ограничение прав на запись в критические системы защищает корпоративные данные от косвенных промпт-инъекций.

타임라인

1. 00:00 - 04:11

   Масштабы применения ИИ-агентов и проблема видимости

   В современных компаниях отсутствует должная видимость запускаемых сотрудниками ИИ-агентов. Из-за этого возрастают риски смешения данных из различных систем и несогласаванного доступа. Для решения проблемы компания развернула шлюз для логирования каждого сеанса и вызова инструментов, а также создала визуализацию запусков в виде галактик для отслеживания активности агентов.

   • Команда из 50-60 сотрудников ежедневно запускает более 300 агентов через чат-боты, триггеры и SaaS-приложения.
   • Многие сотрудники используют агентов и локальные MCP-серверы без централизованного контроля и должной аутентификации.
   • Каждый вызов инструментов создает потенциальную поверхность атаки для утечки данных или выполнения опасных действий.
2. 04:11 - 08:38

   Сложность политик безопасности и защита от атак

   Защита корпоративных систем усложняется тем, что атаки могут развиваться на протяжении всего сеанса работы агента. Простые фильтры по регулярным выражениям или блокировка конкретных инструментов не покрывают все контекстные риски. Ошибки в длинных диалогах приводят к тому, что агенты нарушают изначальные инструкции и выполняют запрещенные действия.

   • Злоумышленники могут внедрять инструкции через входящие письма, заставляя агентов выводить конфиденциальные данные.
   • Прописывание жестких статических правил для каждого отдельного сценария неэффективно из-за зависимости от контекста.
   • Агенты-ревьюеры кодов под воздействием диалога могут ошибочно одобрить небезопасные пулл-реквесты.
3. 08:38 - 12:47

   Классификаторы, сужение прав и изоляция систем

   Анализ истории вызовов позволяет выявлять отклонения агентов от заданных рамок и автоматически помечать подозрительные запуски. Поскольку один скомпрометированный агент может повлиять на связанные хранилища данных через операции записи, компания внедряет строгие ограничения на запись и изолирует компоненты системы.

   • Специальные модели-классификаторы анализируют всю историю сессии на соответствие первоначальной задаче агента.
   • Агентам рекрутинга и другим службам с доступом к ATS и календарям требуется жесткое сокращение разрешений.
   • Ограничение прав на запись в корпоративные базы данных предотвращает распространение вредоносного влияния между агентами.
4. 12:47 - 16:30

   Оптимизация расходов и мониторинг MCP-серверов

   Неэффективный код и ошибки форматирования в кастомных интеграциях приводят к колоссальным перерасходам из-за оплаты входных и выходных токенов. Аналогичный рост затрат вызывает неконтролируемая смена моделей. Эффективный контроль возможен только через детальный мониторинг трафика, установку дефолтных лимитов и жесткое обоснование необходимости использования более мощных моделей.

   • Плохо написанные самописные MCP-серверы генерируют ошибки и бесконечные повторные запросы, увеличивая затраты на токены.
   • Переключение на более дорогие модели без оценки задач может поднять расходы компании более чем в 100 раз за неделю.
   • Шлюзы мониторинга позволяют вовремя выявлять рискованные действия, перенаправлять пользователей и контролировать бюджеты.