AIエンジニアは今、何をしているのか？ - アパルナ・ディナカラン、Arize AI

Highlights

• プロフェッショナルなユーザー層の数は2,000万人であり、仕事で使い始めて数週間かかっていた作業を数日に短縮している。

• フロンティアラボのごくわずかな割合である約5,000人のユーザーが、何千ものエージェントを同時に稼働させている。

• Signalはすべてのトレースを検証してテレメトリーを読み込み、パターンを特定してプルリクエストを実際に作成する常時稼働エージェントである。

• エージェントの実行に必要な各種キーへのアクセスやテレメトリーデータを含めたすべての情報がサンドボックスの中に配置される。

• AIエンジニアの責任は各ステップを自分でこなすことだけでなく、構築、評価、出荷、監視、改善のループを実行するシステム自体を構築することにある。

Timeline

1. 00:12 - 02:18

   AIエンジニアの定義とエージェントの現状

   AIエンジニアが何をする人なのかという定義は常に変わり続けている。カルパシーのツイートをもとに、無料版のカジュアルなユーザーから仕事で数週間の作業を数日に短縮するプロフェッショナル、そして何千ものエージェントを同時に動かすフロンティアラボの5,000人までのファネル構造が示されている。エンジニアが上位の抽象化言語を書く時代から、ローカルやクラウドのエージェントを使い、組織内でエージェントの工場を構築する段階へと期待が移行している。

   • 数千のエージェントを動かす最先端の層と一般的なユーザーの間でギャップが広がっている。
   • 60億人以上のユーザーがLLMに触れており、そのうち2,000万人のプロフェッショナルが仕事で活用している。
   • 抽象化のレイヤーが急速に高まっており、組織内でエージェントのチームや工場を稼働させる時代になっている。
2. 02:18 - 09:00

   Signalによる自動化ループの構築

   AIエンジニアとしての仕事は単なる機能の実装ではなく、構築、評価、出荷、監視、改善のループをどう構築するかという点にある。Ariseで開発されたSignalは、継続的なサイクルでトレースを読み込み、テレメトリーデータから問題を特定して修正を行う常時稼働エージェントとして機能する。エージェントの実行時には毎回サンドボックスが立ち上げられ、プロ経由での情報のやり取りや、出力された問題のメモリ保存が行われる。

   • AIエンジニアの仕事はコードレビューを行うシステムや非決定的なタスクに対する評価を書くことである。
   • Signalはトレースを読み込んでパターンを特定し、リポジトリへのアクセス権があれば修正やプルリクエストを作成する。
   • エージェントが実行されるたびにサンドボックスが構築され、必要なデータや認証情報が格納される。
3. 09:00 - 15:26

   エージェントの信頼性と評価の重要性

   Signalは特定のモデルやハーネスに依存せず、コストを削減しつつプルリクエストの品質を維持できるように設計されている。AIエンジニアが多くの時間を費やすべきなのは、エージェントのトレースを観察して評価の信頼性を高めるプロセスである。人間の判断と評価モデルを一致させるためのデータセット構築が行われ、オフラインテストとオンラインテストの両方で活用されることで、エージェント全体のシステム改善につながっている。

   • Signalはモデルやハーネスに依存せず、複数のモデルやオープンソースのハーネスをサポートする。
   • AIエンジニアはエージェントのトレースを観察し、共通のエラーを特定して評価を書き込む必要がある。
   • ゴールデンデータセットを構築して人間の出力と比較検証し、評価者の評価を行うことが重要である。