Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
従来の LangChain や AutoGPT が推し進めてきたマイクロ・シャーディングは失敗に終わりました。ステップを数十個に細分化すれば、論理チェーンは精巧に見えるかもしれませんが、実際には呼び出しのたびにコンテキストが切り捨てられ、非決定性が高まるだけです。Claude 3.5 や間もなく登場する 4 モデルのように、推論能力が飛躍的に向上した LLM を使用する際は、戦略を変える必要があります。断片化されたノードに固執して格闘するのはやめましょう。代わりに、Planner が制御する中央集中型の状態管理構造へと統合すべきです。
成功的なアーキテクチャ転換のために、まずは既存のマイクロタスクを一つのクラス内のメソッドとしてまとめ、ツールボックス（Tool Box）としてカプセル化してください。次に、すべてのエージェントが参照する単一の State オブジェクトを定義します。ここには、plan（段階別計画）、history（ツール実行ログ）、artifacts（生成データ）のフィールドを必ず含める必要があります。
LangGraph のリデューサー機能を活用し、各エージェントが作業を終えるたびに、この共有状態を更新するように設計してください。コンテキストの断絶を物理的に遮断すれば、重複するトークンの送信がなくなります。実際にこの構造に移行したチームは、API コストを即座に 30% 以上削減できました。
エージェントが吐き出す成果物が「良さそうに見える」といった主観的な判断は、デプロイ環境においては時限爆弾も同然です。LLM-as-a-Judge パターンを導入しつつ、これを必ずコードレベルで強制しなければなりません。Evaluator エージェントは、Generator の結果を「正確性、一貫性、可読性、効率性」という4つの指標に分解し、数値に換算する必要があります。
Pydantic ライブラリを使用して、評価結果が特定の JSON スキーマに従うよう強制してください。
RubricScore クラスを宣言し、各指標を 1〜5 点の間の整数フィールドとして設定します。Merge Block を実行し、CI/CD パイプラインでデプロイを自動的に中断して再作業のシグナルを送ります。このような自動検証システムを構築すれば、人間が照合して 5 時間かかっていた検証作業が 10 分以内に短縮されます。機械的な採点は冷徹ですが、その分システムの予測可能性を高めてくれます。
エージェント・ループが回り始めると、恐ろしい速さでトークンが蓄積されます。システム指示やツール定義を毎回送り直すのは、お金を道端に捨てるようなものです。Claude のプロンプト・キャッシングは、キャッシュされたトークンに対して通常料金の 10% 程度しか課金されません。この恩恵を受けるには、プロンプト構造を静的な部分から動的な部分の順（Tools → System → Messages）に配置する「前方一致（prefix matching）」戦略をとる必要があります。
cache_control ブレークポイントを設定してください。<system-reminder> タグを使って可変情報を挿入します。こうすることで、上部のプレフィックスのキャッシュが壊れるのを防げます。キャッシング戦略を適切に設計すれば、API 呼び出しコストを最大 90% まで削減できます。レスポンス速度も体感できるほど速くなります。コストと時間の両方を手に入れる唯一の方法です。
Generator と Evaluator が互いに自説を曲げず合意に達しない場合、エージェントはデッドロックに陥ります。これは単なるエラーではなく、コストの暴走につながる災厄です。これを防ぐために、作業回数と応答の類似度を監視する多層レイヤーのサーキットブレーカーが必要です。特に、以前の応答と現在の応答のコサイン類似度が 0.95 以上であれば、エージェントが同じ言葉を繰り返し、愚かにもループにハマっているという明確なシグナルです。
エージェントに全権を委ねるのは、勇敢なのではなく無責任なことです。安全装置のないエージェント・システムは運用しない方が賢明です。
三つのエージェントが入り混じって働くプロセスはブラックボックスです。どこでボトルネックが生じているか分からなければ、改善も不可能です。OpenTelemetry 標準に従うトレースシステムを導入し、エージェント間のメッセージフローを可視化してください。Redis ベースのチェックポインティングを実装しておけば、システムがダウンしても最初からやり直す必要はなく、最後の成功地点から再開できます。
API レスポンスヘッダーから cache_read_input_tokens の値を取得し、ダッシュボードに描画してください。キャッシュヒット率が低い場合は、プロンプト構造が間違っている証拠です。また、ループが収束する速度を指標化して管理すれば、プロンプトエンジニアリングの成果を数値で証明できます。PostgreSQL にセッション ID とアーティファクトのバージョンを保存しておけば、エージェント・チームが過去のどの時点で迷走したのかを精密に復習できます。記録されないエージェントは、決して賢くなることはありません。