Утечка секретов из мозга вашей компании: как мы остановили это для крупных банков — Танмай Гопал, PromptQL
AAI Engineer
컴퓨터/소프트웨어경영/리더십
스크립트
00:00:00Итак, всем всё видно.
00:00:15Всем привет.
00:00:17Спасибо, что пришли.
00:00:18Я хочу поговорить о том, что если вы решите
00:00:23создать единый корпоративный интеллект,
00:00:25то он, скорее всего, начнет утекать наружу.
00:00:28В общем-то, это главный страх, связанный с идеей
00:00:32создания общего хранилища знаний компании:
00:00:34ситуация, когда приходит стажер
00:00:36и сразу получает доступ к зарплатам.
00:00:37От этого нужно как-то защищаться.
00:00:40Пожалуй, это главная проблема,
00:00:43которая мешает нам повсеместно развернуть OpenClaw
00:00:47и Hermes.
00:00:49Это также причина...
00:00:50Такая огромная возможность,
00:00:52которая была у ClaudeTag при недавнем запуск несколько дней назад,
00:00:54когда она должна была стать
00:00:56корпоративным разумом, но все подумали:
00:00:57«Ну, вряд ли это станет корпоративным разумом», верно?
00:01:00Да?
00:01:01Поэтому я расскажу о том, в чем заключаются сложности.
00:01:03Прежде чем мы перейдем к этому, давайте разберем и проанализируем
00:01:07всю эту тему с корпоративным разумом.
00:01:09Меня зовут Танмай.
00:01:10Я генеральный директор и соучредитель PromptQL.
00:01:13Можете позже ознакомиться с PromptQL, но наш бэкграунд как команды
00:01:18связан с созданием Hasura Graph...
00:01:21мы создатели GraphQL-движка Hasura.
00:01:23Это очень популярный проект с открытым исходным кодом в сфере GraphQL,
00:01:26где мы решаем множество проблем с доступом к данным.
00:01:28Мы внедряли его везде: от Apple и Meta до JPMorgan
00:01:32и так далее.
00:01:33И это дало нам прочную основу для...
00:01:39и своего рода любовь-ненависть к данным
00:01:43и информационной безопасности.
00:01:44Поэтому я покажу вам наработки, над которыми мы трудились последний год,
00:01:51и то, чему мы научились, чтобы вы могли
00:01:53взять это на вооружение, применить на практике и попробовать
00:01:56самостоятельно.
00:01:58И конечно, в конце выступления я с радостью обменяюсь
00:02:01мнениями и узнаю, что работает у вас, а что, возможно, нет.
00:02:06За последний год мы сотрудничали лишь с небольшим кругом
00:02:08компаний, столкнувшихся с определенными масштабами.
00:02:12На данный момент это около 15-20 команд.
00:02:15И теперь мы начинаем открывать доступ для остальных.
00:02:17За это время мы выделили три
00:02:20различных типа пользователей с совершенно разными потребностями.
00:02:22У вас есть AI-нативные компании, готовые делать
00:02:25все что угодно, лишь бы это работало.
00:02:27Есть технологически продвинутые компании вроде Instacart,
00:02:30которые предпочитают лучшие в своем классе технологии.
00:02:33Они действуют быстро.
00:02:34Они спокойно относятся к тому, что что-то может сломаться.
00:02:36Главное, чтобы решение было действительно качественным, верно?
00:02:38А еще есть банки из списка Fortune 100, у которых
00:02:41безумнейший уровень безопасности.
00:02:43И слава богу, ведь там хранятся мои деньги.
00:02:45Мне точно не хочется, чтобы ИИ-агенты, написанные на коленке,
00:02:48работали внутри банка, ведь там мои сбережения.
00:02:51Поэтому у них масса правил безопасности.
00:02:54Большое спасибо.
00:02:55Но мы внедряем наши решения и в таких местах тоже,
00:02:59создавая зачатки или нечто вроде лобной доли
00:03:01корпоративного бренда, верно?
00:03:02Так что мы можем обсудить и этот опыт.
00:03:05Наш собственный опыт создания корпоративного интеллекта
00:03:10насчитывает около 5000 страниц.
00:03:13Мы структурируем это как вики.
00:03:14Вы можете оформить это как угодно.
00:03:16Можете представить в виде набора файлов Markdown на GitHub.
00:03:17Можете поместить в... помните graph frag?
00:03:21Можете смоделировать в виде графов знаний.
00:03:23Делайте всё, что сочтете нужным.
00:03:25Размещайте где вам удобно.
00:03:27Но для нас это примерно 5000 связанных между собой страниц.
00:03:32Вопрос к вам.
00:03:33Представьте, что у вас есть работающий корпоративный мозг.
00:03:36Он функционирует отлично.
00:03:37Все настроено, верно?
00:03:40Каково будет ежедневное количество обновлений,
00:03:41поступающих в этот корпоративный мозг, верно?
00:03:44Ведь он обучается на опыте каждого сотрудника компании, да?
00:03:47Верно?
00:03:47От финансового отдела и HR до инженеров и всех остальных.
00:03:52Если построить график ежедневных обновлений корпоративного
00:03:55мозга, как бы он примерно выглядел?
00:04:00Похож ли он на нисходящий тренд?
00:04:04Все эти графики случайные.
00:04:05Но будет ли он сначала расти, а потом падать?
00:04:09Будет ли он стабильным, поднимаясь и опускаясь при всплесках обновлений?
00:04:12Или же он будет неуклонно расти вверх?
00:04:16Подумайте, как выглядела бы история коммитов
00:04:18в вашем репозитории общих навыков, верно?
00:04:21Сколько обновлений получает здоровый корпоративный мозг
00:04:26каждый день?
00:04:27Как выглядит этот тренд?
00:04:29Кто за вариант А?
00:04:31Кто считает, что это вариант А?
00:04:33Отлично, хорошо.
00:04:34Вариант Б?
00:04:37Вариант В?
00:04:39Здорово.
00:04:41И когда я построил наш график, чтобы посмотреть,
00:04:44как выглядит здоровый корпоративный мозг,
00:04:47то увидел следующее: в первом случае получается,
00:04:50что у нас было много энтузиазма.
00:04:53Мы создали корпоративный мозг в первый и второй день.
00:04:56Мы поручили кому-то задачу и сказали:
00:04:57создайте репозиторий общих навыков,
00:04:59выкачайте весь Slack, соберите все письма, сделайте это,
00:05:02и мы все будем этим пользоваться.
00:05:03А потом никого это не волнует, верно?
00:05:05Или у вас есть самообучающаяся система.
00:05:07Возможно, внутри развернут Hermes.
00:05:09И я смотрю на то, как в него стабильно добавляется
00:05:11все больше комментариев.
00:05:12График то растет, то падает в зависимости от всплесков энтузиазма, верно?
00:05:14Да?
00:05:15А когда я построил нашу историю всего за последние два месяца
00:05:19— хотя эти данные сейчас уже немного устарели —
00:05:22вот что мы получили.
00:05:24И я был несколько шокирован.
00:05:26Я думал: почему он непрерывно растет?
00:05:30Это же плавная кривая, верно?
00:05:32Но почему оно постепенно растет?
00:05:34Почему количество обновлений в день увеличивается?
00:05:38И мне было очень интересно это увидеть.
00:05:39Потому что я понял: если у вас есть система, которая начинает
00:05:42работать, люди начинают обучать ее гораздо активнее.
00:05:46Это все равно что сказать: если я обучил вас навыку запроса данных,
00:05:50то завтра я научу вас навыку интерпретации этих данных.
00:05:53А послезавтра я научу
00:05:55вас принимать на их основе определенные меры.
00:05:57А затем я соображу,
00:05:59как проводить A/B тестирование на основе... То есть люди
00:06:00вроде вас будут постоянно добавлять новое.
00:06:03Но поскольку все это агент, где никакой объем обучения
00:06:05не идеален, у всего есть свой постоянный темп, верно?
00:06:08Да.
00:06:08Так что эти темпы...
00:06:10даже ваши стабильные темпы продолжают накапливаться.
00:06:12И это я тоже стал замечать в нашей системе.
00:06:15Это пока рано, так что кто знает, может, со временем всё сойдёт на нет.
00:06:18Может быть, это станет больше похоже на вариант Б.
00:06:20Но у здорового мозга общий размер, конечно, продолжает расти.
00:06:24Да и количество ежедневных обновлений тоже продолжает увеличиваться.
00:06:28Так что это признак хорошего мозга, который вы создали, верно?
00:06:32Здорового мозга, созданного для вашей компании.
00:06:35Отлично.
00:06:36Итак, варианты использования корпоративного мозга — это то,
00:06:39с чего мы начинаем анализ создания защищенной от утечек системы, верно?
00:06:42Итак, два варианта использования.
00:06:44Первый вариант: существует корпоративный мозг.
00:06:48Я хочу использовать его в своем ИИ-агенте или где угодно еще, чтобы выполнять работу, верно?
00:06:55Я покажу вам пример этого, да?
00:06:56Например, я получил электронное письмо с анкетой безопасности,
00:06:59на которую мне нужно ответить клиенту.
00:07:00И я говорю своему ИИ: загляни в корпоративный мозг
00:07:03и помоги мне ответить на этот вопросник по безопасности, верно?
00:07:05Это вполне рабочий сценарий использования корпоративного мозга.
00:07:08Второй, очень полезный сценарий, да?
00:07:10Потому что это чужие знания, которые поступают ко мне.
00:07:14Второй сценарий использования корпоративного мозга похож на облачные теги —
00:07:18это концепция многопользовательского режима.
00:07:21И если вы размещали агентов в Slack там, где с ними могут взаимодействовать несколько людей,
00:07:25то они фактически использовались как общий ИИ, верно?
00:07:29Вроде как для выполнения задач.
00:07:32Примером может служить совместное управление инцидентами, верно?
00:07:36Например, вы хотите сказать: эй, я хочу получить логи.
00:07:40Я хочу расследовать... произошел инцидент.
00:07:42Пойди возьми логи, исследуй кодовую базу, создай пул-реквест, разверни на стейджинге,
00:07:46разверни в продакшене, настрой оповещение, верно?
00:07:48Вы хотите, чтобы несколько людей делали что-то с помощью корпоративного мозга.
00:07:51Вот два варианта использования корпоративного мозга.
00:07:53Один — это сценарий общих совместных знаний,
00:07:56а второй — сценарий совместного использования самого ИИ, верно?
00:08:00У обоих из них есть огромная проблема с безопасностью, да?
00:08:06Итак, чтобы начать обеспечивать безопасность, давайте сформулируем это немного четче, верно?
00:08:15Так что же такое корпоративный мозг?
00:08:18И это мое определение, верно?
00:08:20Это общий контекст, который вы помещаете в Markdown,
00:08:23который вы размещаете в наборе файлов Markdown, верно?
00:08:26И это правила контроля доступа к различным данным и инструментам,
00:08:29к которым вы хотите получить доступ, предоставляемые агенту программирования.
00:08:34Так я это называю для...
00:08:38Поскольку я выступаю, я могу определять все, что захочу.
00:08:41Таково мое определение.
00:08:42Поэтому я не говорю, что это знания, которые загружаются в LLM,
00:08:46которая будет вызывать инструменты, верно?
00:08:48Это не ИИ общего назначения.
00:08:51Это ИИ, являющийся агентом-программистом, который решает любую поставленную перед ним задачу, верно?
00:08:56Немного похоже на предыдущее выступление, которое вы, возможно, слышали,
00:09:00а именно на идею о том, можем ли мы просто использовать агента-программиста для решения общих проблем?
00:09:04Вот так, да?
00:09:05В самом банальном случае, если вы говорите: «Эй, напиши мне твит», вы пишете небольшой скрипт, который делает вызов ИИ для написания короткого твита, верно?
00:09:13Вам, пожалуй, не нужно этого делать.
00:09:14Сам ИИ может просто вернуть вам этот твит.
00:09:17Но по сути, Claude Code используется для всего.
00:09:20Claude Co-work имеет ту же архитектуру.
00:09:22Приложение Codex имеет ту же архитектуру, которая основана на понимании того, что вы можете использовать агентов-программистов для решения универсальных задач.
00:09:28И мы строим для этого мозг.
00:09:30Мы не создаем гигантский граф знаний или базу знаний для компании, чтобы потом пытаться ее защитить.
00:09:34Это все равно не сработало... и не сработает.
00:09:39Говоря о том, как мы хотим подойти к проектированию корпоративного мозга: нужно ли нам вообще его строить?
00:09:50Если вы работаете в крупной компании и вам платят за то, чтобы вы сидели сложа руки, вам нравится идея создания корпоративного мозга.
00:09:57Потому что вы думаете: «Да, давайте я возьмусь за двухлетний проект и построю корпоративный мозг для J.P. Morgan».
00:10:02этого не произойдет.
00:10:03Вы не можете построить корпоративный мозг для организации, которой, например, 100 лет, верно?
00:10:07Вы с трудом можете построить его для собственной семьи, которой может быть всего несколько месяцев или лет, верно?
00:10:13Поэтому идея и способ создания корпоративного мозга заключаются в том, что каждый сотрудник, выполняющий часть работы в компании, должен владеть и создавать свою часть этого мозга, верно?
00:10:23Именно так мы должны его строить.
00:10:25Это второе ограничение, которое я устанавливаю.
00:10:27Первое — это определение корпоративного мозга, а второе — подход к тому, как этот мозг строится.
00:10:33Мне нравится такая формулировка: мы собираемся вырастить корпоративный мозг, а не построить его, верно?
00:10:41Мы позволим ему сформироваться.
00:10:43Пусть он соберется воедино.
00:10:44Система должна сформироваться сама, иначе ее невозможно построить.
00:10:47Хорошо.
00:10:48В целом, мы хотим позволить каждому человеку самостоятельно обслуживать свою часть корпоративного мозга, и вот шаги, которым вам нужно следовать.
00:10:57Я вернусь к этому подробнее, если будет время, а пока давайте начнем с конкретного примера, ладно?
00:11:03В этом конкретном случае я хочу рассмотреть ситуацию, которая станет осязаемым примером для вас.
00:11:12Я получил письмо, просто пример анкеты безопасности, да?
00:11:15Эй, я получил письмо от Дэйва из Stitch Fix, и там есть куча вопросов, на которые нужно ответить, верно?
00:11:20И вот система открывает мою почту, видит скриншот их онбординга по безопасности и начинает отвечать на эти вопросы, верно?
00:11:30Я понятия не имею, откуда она это узнала.
00:11:32Я был очень удивлен, увидев, что она ответила на все вопросы вроде: «Вот наш центр доверия, вот как выглядит наша безопасность, у них есть шлюз», верно?
00:11:40Она что-то делает.
00:11:41Все это берется из корпоративного мозга, понимаете, в качестве ответа, после чего я говорю: «Эй, просто возьми и отправь это».
00:11:50Мне нравится этот черновик, отправь его Дэйву, верно?
00:11:53И система отправляет это письмо — очень простой пример того, что я хочу сделать.
00:11:57Теперь главная сложность и проблема здесь заключается в том, как построить систему, в которую кто-то другой может вносить свой вклад и которой пользуется третий человек?
00:12:13Откуда появились эти знания о том, какова наша система безопасности?
00:12:18Вероятно, кто-то другой работал над таким же опросником по безопасности, верно?
00:12:22То есть у них был, скажем, агент Hermes или что-то в этом роде.
00:12:24Они работали над этим.
00:12:25Вы автоматически сохранили часть памяти.
00:12:27Может быть, кто-то записал навык.
00:12:28Каким-то образом эта часть должна передаться моему ИИ-агенту.
00:12:32Как мы собираемся это осуществить, верно?
00:12:35А теперь давайте попробуем очевидный вариант номер один: каждый пишет общие навыки друг для друга на GitHub.
00:12:42Итак, когда опросник по безопасности был впервые заполнен вашим специалистом по безопасности — представьте себе вашего специалиста по безопасности и комплаенсу,
00:12:50представьте, что после заполнения этой анкеты (а заполнять их — то еще мучение)...
00:12:56после заполнения этой гигантской таблицы Excel они пошли на GitHub и обновили общий навык, верно?
00:13:04Многим из вас посчастливилось работать с людьми, которые воплощают собой образцовую доброту и пойдут обновлять общие навыки в репозитории GitHub, да?
00:13:16Большинство людей этого не сделают.
00:13:18Никто не станет писать навыки для другого человека на GitHub.
00:13:24Это нам совсем не свойственно, верно?
00:13:27В повседневной работе мы внезапно не решаем, что о, это может быть очень полезно кому-то другому, с кем я даже не знаком и не связан в данной ситуации в будущем.
00:13:39Этого не происходит.
00:13:40Я с трудом могу заставить его курировать мою собственную память и мой контекст.
00:13:44У меня нет времени пересылать это кому-то другому, записывать это для кого-то другого.
00:13:49Второе: вместо общего мозга компании, почему бы не сделать командный мозг?
00:13:53Почему бы вам всем просто не использовать одно общее?
00:13:55Почему бы команде безопасности не использовать еще одно общее хранилище, где вы можете это делать?
00:14:01Так что создайте агента и пусть он сам сохраняет данные в памяти, верно?
00:14:04И это примерно та архитектура, которая, я полагаю, есть у многих из вас, возможно, с добавлением чего-то вроде Hermes в Slack.
00:14:09Есть ли у кого-то ситуация с командным мозгом, когда у вас есть ИИ, которым пользуются несколько человек, который автоматически сохраняет память и добавляет контекст?
00:14:18Есть ли у кого-то уже навык, который делает это, хотя бы для небольшой команды?
00:14:23Один. Кто-нибудь еще? Хорошо.
00:14:24Ладно, у некоторых из вас есть такое. Это круто.
00:14:26Это здорово, но проблема в том, что это все еще не мозг компании, потому что он все еще изолирован, верно?
00:14:31То есть это еще одно хранилище, верно? Например, если это работает с клаудированием, у него есть память для каждого канала, верно?
00:14:40То есть в каждом канале она сохраняется, но теперь это еще одно изолированное хранилище в этом самом канале, верно?
00:14:46Так что теперь оно снова заперто в одном месте и не может быть использовано где-то еще.
00:14:50Так что если бы кого-то добавили в канал, это бы сработало, но в противном случае — нет, верно?
00:14:55И вот третий вариант.
00:14:59Третий вариант заключается в том, что весь контекст отправляется в одну общую вики.
00:15:06Вики — это набор файлов Markdown, и файлы Markdown могут ссылаться друг на друга.
00:15:08Так что представьте себе гигантскую папку.
00:15:10В папке много файлов Markdown, верно?
00:15:13И файлы Markdown могут ссылаться друг на друга.
00:15:16Поэтому весь контекст, вместо того чтобы сохранять его внутри папки или изолировать,
00:15:21вы помещаете его в файл Markdown, эквивалент файла Markdown,
00:15:25и позволяете им ссылаться друг на друга.
00:15:28Второе, что вы делаете — вы позволяете каждому файлу иметь области видимости
00:15:33относительно того, кто имеет доступ к чтению и записи этого файла.
00:15:38Третье, что вы делаете, и это самое главное:
00:15:42вы не позволяете агенту автоматически добавлять память.
00:15:49Вы не позволяете добавлять ее автоматически, потому что в противном случае вы понятия не имеете, что произошло, верно?
00:15:55Вы не можете — мы возвращаемся к тому же миру, где что-то добавляется,
00:16:00и пока вы находитесь в памяти этого агента, вам повезло, верно?
00:16:04Поэтому третье, что вы делаете, вместо того чтобы позволять агенту добавлять данные автоматически:
00:16:07сделайте так, чтобы ваш агент предлагал, что и с какими областями видимости следует добавить,
00:16:16а затем предоставьте человеку возможность принять или отклонить предложение.
00:16:21Это не так обременительно, как GitHub, где мне нужно идти и писать это, обновлять общий навык,
00:16:28делать ревью PR, а затем выполнять слияние.
00:16:30Но это и не подход YOLO, когда память просто автоматически записывается агентом,
00:16:36верно? Это нечто среднее, когда прямо во время работы
00:16:40вы вызываете это, предлагаете правильные области видимости и позволяете кому-то добавить.
00:16:45Так что теперь благодаря этому очень простому дополнению вы можете позволить людям добавлять информацию
00:16:51в гигантскую вики, но при этом позволяете этому человеку взять на себя ответственность за то, что видят другие, а что нет.
00:16:57Поэтому, если я добавляю что-то в финансовую вики, я хочу убедиться — я добавляю что-то
00:17:01чувствительное, я хочу убедиться, что у этого есть финансовая область видимости.
00:17:03Если я добавляю что-то личное, я хочу убедиться, что это личная область видимости.
00:17:06Позвольте мне показать вам пример пользовательского интерфейса, как это может выглядеть. Вот что мы делаем.
00:17:15Это недавнее письмо, которое я получил от одного из наших специалистов по продажам, добавляющего меня в звонок.
00:17:33Я посмотрел на это письмо, помог ответить на него, а затем получил небольшое окошко с предложением
00:17:39набора пунктов, которые поясняли, что именно оно собирается добавить, верно?
00:17:43И когда я нажимаю «добавить в вики» — теперь мне гораздо проще проверять, что именно добавляется.
00:17:47Мне всё равно. Мне всё равно, добавляется ли это в этот файл Markdown или в тот файл Markdown,
00:17:52какие ссылки агент берет на себя. Что меня волнует, так это то, верны ли эти факты.
00:17:58Если эти факты верны, я нажму «добавить в вики», и на этом всё, верно?
00:18:02И во время добавления в вики я могу выбрать, какие области видимости нужно добавить для каждой страницы вики, а какие нет,
00:18:08верно? То есть каждая страница вики сама по себе может получать определенный набор областей видимости, чтобы вы могли решить,
00:18:12кто и к чему получает доступ, например, верно? Так что, например, моя электронная почта — это страница вики,
00:18:17которая у меня есть для писем и приоритетов моих писем, и теперь я могу решать, кто получает доступ
00:18:22к этому, кто является владельцами и каков RBAC для этого. Так что то, как выглядит система,
00:18:26зависит от вас, но основная идея заключается в том, что вы хотите заставить агента предложить изменение,
00:18:32а не вносить его самостоятельно. Итак, два правила. Первое: убедитесь, что всё попадает в одну
00:18:38общекорпоративную вики, не отступайте от этого правила. Второе: убедитесь, что в рамках этого
00:18:44за каждым изменением стоит имя человека. В вики не должно быть ничего помеченного как «Клод добавил
00:18:51это» или «ваш ИИ-агент добавил это», или «Гермес добавил это». Нет, это добавил Танмай. Это имя должно
00:18:57там присутствовать, чтобы вы могли проследить, что это тот человек, который накосячил и позволил всем подряд
00:19:04видеть компенсацию каждого сотрудника, понимаете? И теперь вы можете принять меры реагирования,
00:19:09верно? Какие бы они ни были. Перевести их на PIP. Вы же не знали, как редактировать вики. Так что это очень,
00:19:14очень важно. И правило номер два: как только вы решите это, вы можете перейти ко второму аспекту:
00:19:19вам нужно упростить им эту задачу, и здесь в дело вступает концепция областей видимости,
00:19:23где вы хотите ограничить каждый файл в зависимости от того, у кого есть доступ. Вы построите вокруг этого
00:19:26систему. Вот как выглядит архитектурная диаграмма этого решения, где есть пользователи,
00:19:32пользователи общаются с агентом. Агент, когда он читает контекст, использует утверждения этого конкретного пользователя, верно?
00:19:39Так что если я читаю что-то для решения финансовой проблемы, он использует финансовое утверждение, чтобы читать от моего лица,
00:19:46поскольку у меня был доступ к финансовой вики, так что я могу прочитать это, и это делается каждый раз,
00:19:52верно? Таким образом, агент всегда использует учетные данные пользователя для чтения нужной части вики.
00:20:00Хорошо. У меня почти не осталось времени на второй вариант использования. Так что я сделаю: дам вам
00:20:06краткое представление о втором варианте использования, но расширю эту идею. Это главный вариант использования. Это типа,
00:20:13это самый крутой вариант использования. Это действительно сложный вариант использования, потому что теперь
00:20:17это не просто один человек, отвечающий на письмо. Это группа из нас, использующая общий контекст
00:20:25для решения проблемы с различными уровнями эскалации и привилегий одновременно,
00:20:31верно? И это те самые взаимодействия с ИИ, в ходе которых создается наибольший
00:20:36объем коллективных знаний компании, верно? Например, я покажу вам быстрый пример из реальной жизни,
00:20:42как это выглядит у нас. Итак, это случай из практики SRE, когда
00:20:50кто-то сказал: «Эй, наше автоматическое обучение, обучение нашей вики, что довольно метафорично, дает сбой. Это не работает».
00:20:57Что происходит? Верно? И после этого начинается расследование, и это отстой, потому что у него
00:21:02не было навыка. Произошел сбой. И он говорит: «Брат, не делай так. Пожалуйста, используй это имя спана OpenTelemetry».
00:21:07Использование имени спана OpenTelemetry немного помогло, но работало всё равно очень медленно. Так что
00:21:13он посмотрел на код и подумал: «О, ты используешь запрос LIKE. Ты просто дурак».
00:21:18Это Opus 4.5. «Типа — не делай так», верно? И тогда он говорит: «Не используй запрос LIKE,
00:21:24используй запрос EQUALS». И после этого он использует запрос EQUALS, выводит некоторые детали и,
00:21:29затем он говорит: «О, копни в этом месте глубже». И тот отвечает: «Неважно, вот строка кода, откуда
00:21:33исходит ошибка». Простые вещи, верно? Вот здесь он выдает некоторые знания и говорит:
00:21:39«Ага, я усвоил, что нужно использовать EQUALS, а не LIKE, верно? Я усвоил, что если к именам страниц
00:21:45вики добавлен пользовательский префикс, это может вызывать проблемы», верно? И он предлагает эти выводы,
00:21:50которые вы можете принять. Так что он углубился в суть проблемы.
00:21:56К разговору присоединился кто-то другой, верно? И сказал: «Техническое решение, которое мы здесь приняли,
00:22:02неверно. Почему это происходит?» И теперь два человека начинают спорить, верно? Они спорят.
00:22:09Говорят: «Эй, всё должно быть не так. Всё должно быть вот так. Но почему это так? Но должно
00:22:12быть вот так, верно?» Этот спор создает знания, потому что реальная проблема заключалась в том, что кто-то принял
00:22:17техническое решение, которое не было задокументировано, верно? Когда они решают исправить эту проблему
00:22:22и замечают, что это действительно первопричина, и решают, что проблема будет исправлена именно так:
00:22:26«Эй, мы должны удалить этот префикс, который вызывает проблему», — ну и всё в таком духе,
00:22:31это создает контекст высочайшего качества для добавления в ваш мозг. Потому что предыдущее предложение состояло в том,
00:22:38чтобы сказать: «Ээ, у страниц не должно быть префиксов», но сам факт наличия префиксов у страниц является проблемой.
00:22:44Верно? Так что теперь то, что вы документируете в памяти, звучит так: у страниц не должно быть префиксов.
00:22:49Если у них есть префикс, это может вызывать проблемы с поиском на проде. Это происходит, когда несколько людей общаются друг с другом
00:22:54и вместе решают проблемы. Вот что происходит в ветке Slack, когда два человека общаются друг с другом
00:22:59и решают проблему. Это создает контекст наивысшего качества. Но — и именно это вам здесь
00:23:05и нужно. Но проблема в том, что эскалация привилегий вокруг этого становится очень,
00:23:10очень серьезной. Если вы создаете агента, способного делать всё в окружении множества людей,
00:23:18это пугает. Потому что инженеру разрешили выполнять работу с PR, но теперь я могу использовать того же агента
00:23:23для выкатки в прод. Это слишком страшно. Я не могу вести разговор, в котором я отлаживаю
00:23:29и выкатываю код безопасно, верно? Особенно если вы работаете в банке, верно? Люди, которые занимаются отладкой,
00:23:35деплоем на стейджинг, настройкой алертов и выкаткой в прод — это не одни и то же люди. Но совмещение этих ролей
00:23:40имеет большую ценность, потому что именно там сосредоточены все знания, верно? И это подводит нас к
00:23:45второй архитектуре, в которую я не буду вдаваться в слишком подробные детали. Но думайте об этом как о той же
00:23:49идее, где для чтения контекста использовались учетные данные и утверждения пользователя. Вместо этого используйте и учетные данные пользователя.
00:23:58Верно? Когда код выполняет инструменты. Так что никогда не храните учетные данные в песочнице.
00:24:05Вместо этого на уровне HTTP, на уровне SQL внедряйте учетные данные пользователя, позволяя ИИ вести себя как
00:24:13человек в конкретном взаимодействии, верно? Здесь есть интересные детали. Но именно это
00:24:20позволяет общему ИИ работать с общим контекстом, верно? И это два ключевых компонента,
00:24:25с которыми нужно работать. Так что я бы резюмировал: эта архитектура не особенно сложна, но от нее очень просто
00:24:30отталкиваться, опираясь на эти два правила. Не храните учетные данные в облачной песочнице. И второе,
00:24:36виртуализируйте все взаимодействия с реальными данными, проксируйте их, виртуализируйте — какое бы слово вы ни хотели использовать,
00:24:41и позволяйте пользователям управлять ими. Пользователь, добавляющий конкретный инструмент, должен контролировать, кто получает доступ
00:24:48к этому конкретному инструменту. Вы можете вывести всю эту систему, если просто будете следовать этим четырем принципам
00:24:53и отталкиваться от них. Возможна только одна архитектура, которая имеет смысл
00:24:58в плане того, как вы управляете контекстом, какие ограничения устанавливаете, как управляете инструментами и какие правила безопасности
00:25:02настраиваете. Мое время вышло. Так что я с удовольствием пообщаюсь подробнее после выступления. У нас также есть стенд,
00:25:10так что буду рад обсудить нюансы этой архитектуры там. Я Танмай Го в
00:25:16Твиттере. Наш проект называется PromptQL. Обязательно зацените. В конце концов, в сообществе AI-инженеров
00:25:24мы собираемся запустить продукт. И я бы с удовольствием поделился этим со всеми.
00:25:30Я сделаю общую фотографию со всеми на сцене, чтобы поделиться ею. Так что позвольте мне сделать это, пока я здесь.
00:25:40Хорошо. Ребята, хотите сказать «чиз»?
00:25:45Большое спасибо. Так что ждите этого. Это наш подход к Cloud Tag, который называется PromptQL Tag,
00:25:52и он очень похож на идеи, которые мы здесь обсуждали, за исключением того, что вы не привязаны к Cloud.
00:25:57Вы можете использовать GLM, и вы можете использовать GPT, а потом выходит Sol, и мы сможем использовать это и отлично провести время.
00:26:03Обязательно зацените. А в остальном — до скорой встречи.
00:26:19Мы скоро вернемся.