ウェブ全体で機能する金融エージェントの構築方法 - ジェイ・サフナン ＆ アリック・バード、Browserbase

Highlights

• Rampはブラウザエージェントの導入によって3万時間以上の手作業時間を削減し、業務規模を5倍に拡大した。

• Stagehandは大規模なDOMをアクセシビリティツリーに圧縮することで、LLMへ送信するトークン量を122kから約4kへと劇的に削減する。

• 検証済みブラウザは自動化フラグを削除し、アイデンティティを統一することで、データセンター環境でのボット検知やCAPTCHAの発生を抑制する。

• Stagehandの3つのプリミティブであるobserve、act、extractを用いることで、ウェブ上の非構造化データをZodスキーマへ直接抽出できる。

Timeline

1. 00:00:00 - 03:08:00

   金融業務におけるブラウザエージェントの必要性

   航空券の予約や競合情報の収集など、ウェブ上の複雑な操作にはブラウザが不可欠である。Rampなどの金融機関は、ログインが必要なポータルやボット対策が施されたサイトから大規模に領収書を取得するため、人間の手作業によるボトルネックを解消してエージェント駆動型の自動化へと移行している。

   • APIやMCPが存在しないアクセシビリティの低いウェブサイトに対して、ブラウザエージェントが情報の読み取りとアクション実行を担う。
   • Rampは人間のチームによる手作業での領収書回収からブラウザエージェントへ移行することで、スケーラビリティの限界を克服している。
2. 03:08:00 - 09:44:00

   クラウド環境におけるChromiumの課題と検証済みブラウザの仕組み

   ローカル環境のChromiumと異なり、クラウド上のインスタンスで毎回ブラウザを起動すると、クッキーの欠落やデータセンターからのアクセスであることが即座に検知される。ブラウザのプロセスを維持し、webdriverフラグをfalseに書き換えることで、人間と同様のブラウジング環境を模倣して大規模な並行処理を可能にする。

   • データセンター内のヘッドレスブラウザは、起動のたびに異なるフィンガープリントやデータセンターIPを生成するためボット対策に阻まれる。
   • 自動化フラグの削除やアイデンティティの統一を施した検証済みブラウザが、データセンター環境でのブロックを回避する。
3. 09:44:00 - 15:12:00

   Stagehandによる柔軟なブラウザ制御とトークンコストの削減

   PlaywrightスクリプトはウェブサイトのUI変更によって頻繁に破綻するが、Stagehandは自然言語による要素の特定と操作を可能にする。DOM全体を送信する代わりにアクセシビリティツリーを活用することで、コストを大幅に抑制しながら数百の異なるサイト構造に適応する。

   • Billは数千の異なるポータルやチェックアウトフローに対応するため、自然言語プロンプトでブラウザを制御するStagehandを採用している。
   • Stagehandは生HTMLをコンパクトなアクセシビリティツリーに変換し、LLMへ送信するトークン量を122kから約4kに削減する。
   • ブラウザの隣にChrome拡張機能としてStagehandを配置することで、通信の往復遅延を解消し動作を高速化する。
4. 15:12:00 - 00:19:36

   複数ソースからのデータ抽出と自動化の拡張性

   加盟店のオンボーディングにおいて、実在確認のための情報を複数のウェブサイトから収集するプロセスはエージェントによって効率化される。企業サイト、投資家向けページ、SECファイルなどの複数ソースから、Zodスキーマを用いた抽出機能により正確なデータを取得し、何社もの企業に対して同時に検証タスクを遂行する。

   • Stripeは加盟店のKYC検証において、州務長官のポータルなどからブラウザエージェントを用いて自動で情報を取得している。
   • observe、act、extractの3つのプリミティブによって、ウェブ上の混沌とした非構造化データを構造化データへ変換する。