AI クラウドのための可観測性

VVercel
AI/미래기술창업/스타트업컴퓨터/소프트웨어

Transcript

00:00:00(アップビートな音楽)本日はお越しいただきありがとうございます
00:00:12私はマラヴィカです。先ほど紹介されたとおり、Vercelのプロダクトマネージャーをしています
00:00:15カンファレンスで素晴らしい時間を過ごされたと思います
00:00:18皆さんがオープンソースツールとインフラプリミティブを使って構築されているものに本当に驚かされています
00:00:24多くの方に初めて直接お会いしたり、新しい顔、懐かしい顔に出会えたりしてとても嬉しいです
00:00:31本日はAIクラウドについて多くのことを学びました
00:00:38今頃、AIクラウドという話題はもう聞き飽きてるんじゃないでしょうか
00:00:43もうハッピーアワーで飲み物を飲みたいなんて思ってるかもしれませんね
00:00:47ですが念のため、
00:00:48メッセージがまだ浸透していない場合に備えて、
00:00:52Vercelはインテリジェントアプリケーションとその背後にあるエージェントを構築、
00:00:58デプロイ、
00:00:59実行するための統合プラットフォームです
00:01:02Vercelの使命は常にインフラストラクチャ管理の複雑さを抽象化し、
00:01:09素晴らしいユーザー体験の構築に専念できるようにすることです
00:01:14ソフトウェア開発ライフサイクル全体の複雑さの抽象化にどれほど成功したかを考えると、
00:01:23ビルド時を簡単にすることに本当に上手くやってきました
00:01:29フレームワーク定義のインフラストラクチャとは、基盤となるインフラプリミティブについて考える必要がないということです
00:01:35複雑なオーケストレーションやインフラストラクチャコードは不要です
00:01:40当社は計算、ネットワーク、キャッシングなどのプロビジョニングを処理するため、アプリケーションロジックに集中できます
00:01:48しかし実行時を見直すと、ビルド時と同じくらい簡単にするにはまだ多くの仕事があります
00:01:56残念ながら、実行時のアプリケーション管理は開発チームにとって非常に手間がかかる作業です
00:02:06ここにいる皆さんの中で、先週メジャーインシデントに対応した人は何人いますか
00:02:12手を上げている人があまり多くないようですね
00:02:15驚きました
00:02:16何かGCPを使ってるんでしょうか
00:02:20もしかしたらそこにいる人かもしれませんね
00:02:22恐らくHetznerのVPSで自分でNext.jsをホストしている人もいるでしょう
00:02:29クラウドには負けないって思ってるんでしょうね
00:02:33しかし、インシデント対応には多くの手作業の負担が伴います
00:02:38まず、チームは潜在的な問題を特定するためにアラートとモニターを設定する必要があります
00:02:44これらのモニタリングツールは、チームがノイズの中から重要な問題を特定しようとするため、アラート疲れを引き起こします
00:02:52そして問題を特定した後、チームは問題のデバッグに何時間も費やし、根本原因を特定してから修正を適用します
00:03:02では、実際にここの会場で少し双方向性を加えてみましょう
00:03:08開発者がインシデントのデバッグに費やす時間はどのくらいだと思いますか
00:03:13インシデント時間の20%未満がデバッグに費やされると思う人は何人いますか
00:03:18もっとですか?もっと?
00:03:2080%だと聞きました
00:03:22では、40%くらいだと思う人は
00:03:26了解です。60~70%だと思う人もいますね
00:03:33それがコンセンサスのようですね
00:03:36実は、インシデント時間の50%は根本原因を特定し、誰が対応すべきかを判断するために費やされます
00:03:462025年のAI時代に、開発者の貴重な時間をデバッグに費やしているなんて狂ってますよね
00:03:54それを数秒に短縮できたらどうでしょう
00:03:56Vercel Agentならできます
00:04:01当社の異常アラートがアプリケーションを監視して疑わしいアクティビティを検出します
00:04:06設定不要で、すぐに利用できます
00:04:09異常を検出すると、Vercel Agentが問題を調査し、根本原因分析を実行して、数秒で問題を診断します
00:04:20従来のオブザーバビリティツールやインフラプロバイダーとは異なり、当社がアプリケーションの完全なコンテキストを持っています
00:04:26当社がアプリケーションを構築し、デプロイし、本番環境で実行しています
00:04:30皆さんほど、
00:04:31確かに10倍生産性の高いエンジニアほどはアプリのことを知りませんが、
00:04:36実行時の信頼性、
00:04:38パフォーマンス、
00:04:39セキュリティを確保するためのAIネイティブなアプローチを提供する独自の立場にあります
00:04:45Vercel Agentの調査は、
00:04:48ビルド時のコンテキストで実行時の動作を可視化するために綿密に設計された当社のネイティブオブザーバビリティツールの上に構築されています
00:05:00実行時ログは、アプリケーション動作をきめ細かく可視化します
00:05:07実行時ログを使用すると、
00:05:08HTTPリクエストが当社Vercelネットワークに侵入した時点から、
00:05:12レスポンスがクライアントに返される時点まで、
00:05:15アプリケーションへのHTTPリクエストのライフサイクルをトレースできます
00:05:19また、
00:05:19すぐに使える意見のあるダッシュボードも用意しているので、
00:05:24アプリケーションの正常性を素早く理解し、
00:05:28問題を特定し、
00:05:29パフォーマンスを最適化できます
00:05:32Vercelが最近立ち上げた異常アラートを使用すると、
00:05:37アプリケーションを積極的に監視して異常なアクティビティを検出し、
00:05:42問題をすぐに特定して解決できます
00:05:45最後に、当社のクエリツールを使用すれば、当社がアプリケーションに対して収集して表示する膨大なメトリクスを探索できます
00:05:55クエリを作成して、
00:05:56アプリケーションをクロールしているボットは何か、
00:05:59というような質問から、
00:06:01アプリケーションで使用しているさまざまなモデルプロバイダーの最初のトークンまでの時間のP90を定量化することまで、
00:06:07幅広い質問に答えることができます
00:06:09Vercel Agentの調査はこれらのすべての機能の上に構築されており、
00:06:16手動の探索の必要性を減らし、
00:06:19主要な洞察を浮き彫りにしています
00:06:22Vercel Agentの次のステップとして、
00:06:26オブザーバビリティツールとやり取りする方法を究極的に再想像することが目標です
00:06:34当社のビジョンは、AIクラウドがアプリケーションを修復・最適化し、単に問題について通知するだけではないということです
00:06:42根本的に、
00:06:43AIクラウドは単に問題を提示するのではなく、
00:06:48ソリューション、
00:06:50推奨事項、
00:06:51プルリクエスト、
00:06:53自動化されたアクションを提供すべきだと考えています
00:06:58そしてそれがVercel Agentで構築している世界です
00:07:03今日からVercel Agentを始めることができます
00:07:05聞いたように、
00:07:06パブリックベータ版であり、
00:07:08すべてのVercelユーザーに新機能を試してもらうために100ドルの無料クレジットを配布しています
00:07:13先月はコードレビュースキルを立ち上げ、すべてのVercelユーザーが利用できるようになっています
00:07:19Agent Investigationsは本日より利用開始となり、
00:07:22Observability Plus対応のProおよびEnterpriseカスタマー向けに利用可能です
00:07:27Vercelダッシュボードのエージェントタブにアクセスすれば、すぐに始められます
00:07:33では話題を少し変えましょう
00:07:35もう一つの重要な話題、それは評価(evals)についてお話ししたいです
00:07:39会場にいる皆さんの中で、評価用に専用のAIオブザーバビリティ製品を使用している人は何人いますか
00:07:44実は、手を上げている人はごくわずかですね
00:07:48興味深いです
00:07:49ですが、そういう人たちは、AIアプリケーションは非決定論的であることをご存じです
00:07:55ですから、出力の品質も監視することが非常に重要です
00:08:00エージェントは一連の推論ステップをデイジーチェーン化し、さらに複雑さが増します
00:08:06だからこそ、
00:08:07オープンテレメトリに基づいて構築され、
00:08:09開発者がエージェントワークフローを監視、
00:08:11デバッグ、
00:08:12最適化するのを支援する大規模なエージェントフレームワークのエコシステムが登場したのです
00:08:17ところで、手を上げている人はごくわずかですが、評価用にトレースを収集している人は何人いますか
00:08:23会場のいくつかの場所で手を上げている人が見えます
00:08:27手を上げている人が見えますね
00:08:27申し訳ありません。ちょっと覗いてみてます
00:08:29かなり明るいですね
00:08:30OpenTelemetryを使用してトレースを収集している場合、
00:08:34Vercel drainsを使用してトレースを任意の宛先にエクスポートできます
00:08:40Vercel drainsを使用すると、
00:08:42すべてのVercelデータをサードパーティのオブザーバビリティツールにエクスポートできます
00:08:46サードパーティの評価ツールを使用している場合、トレースをそこにエクスポートできます
00:08:50開発者が評価を実行してモデルの品質を監視しやすくするため、
00:08:55Vercelマーケットプレイスを通じてBrainTrustとパートナーシップを結びました
00:09:01この新しい統合により、
00:09:03わずか数クリックでVercelからBrainTrustへトレースと評価データを自動的にストリーミングできます
00:09:10本日の午前中、
00:09:11Vercelマーケットプレイスの統合についてBrainTrustの創設者であるAnkur Goyalとのパネルで詳しく説明されたかもしれません
00:09:19開始しやすくするために、実はデモアプリケーションがあります
00:09:25ここでQRコードをスキャンしてください
00:09:27このデモアプリケーションはテンプレートライブラリから複製できます
00:09:30Next.js、
00:09:31AISDK、
00:09:32AI Gatewayで構築されたAIチャットボットで、
00:09:35トレースはBrainTrustに送信されます
00:09:38ちょっと待ってください
00:09:39邪魔になっていますか?
00:09:44邪魔にならないようにどきますね
00:09:45素晴らしい
00:09:47ご覧の通り、当社の目的は、使用するツールの柔軟性と管理を提供することです
00:09:55真摯にネイティブなオブザーバビリティツールを構築するために取り組んでいますが、
00:10:00データをどこにでも送る自由はいつでもあります
00:10:03最も重要なことは、素晴らしいユーザー体験を構築し、予測不可能なコードを信頼性の高いシステムに変えられることです
00:10:11そしてそれで本日は終わりとなります
00:10:15ハッピーアワーで会ったら、皆さんが構築しているものについてもっと聞きたいです
00:10:19ありがとうございました
00:10:20(観客の拍手)(アップビートな音楽)(アップビートな音楽)

Key Takeaway

Vercelは、AIネイティブなオブザーバビリティとエージェント調査により、開発者がインシデント対応に費やす時間を劇的に削減し、アプリケーションの信頼性、パフォーマンス、セキュリティを確保する統合プラットフォームを提供している。

Highlights

Vercelは、AIアプリケーションとエージェントの構築、デプロイ、実行を統合プラットフォームで実現し、インフラストラクチャ管理の複雑さを抽象化することを使命としている

実行時のアプリケーション管理は開発チームにとって非常に手間がかかる作業であり、インシデント時間の50%は根本原因の特定に費やされている

Vercel Agentは異常検出とAI駆動の根本原因分析により、インシデント対応時間を数秒に短縮できる革新的なソリューション

Vercelのネイティブオブザーバビリティツールは、ビルド時のコンテキストを活用して実行時の動作を可視化し、HTTPリクエストのライフサイクル全体をトレースできる

Vercel drainsにより、OpenTelemetryで収集したトレースをサードパーティツールにエクスポート可能で、BrainTrustとのパートナーシップにより評価データの自動ストリーミングが実現

AIアプリケーションは非決定論的であるため、出力品質の監視が重要であり、エージェントワークフローの複雑さはトレースとログによる可視化が不可欠

Vercel Agentの将来のビジョンは、問題通知にとどまらず、ソリューション、推奨事項、プルリクエスト、自動化されたアクションを提供すること

Timeline

イントロダクション:Vercelのミッションとビルド時の成功

マラヴィカ氏がVercelのプロダクトマネージャーとして登壇し、Vercelの使命は「インテリジェントアプリケーションとエージェントを構築、デプロイ、実行するための統合プラットフォーム」であることを説明しました。Vercelは、インフラストラクチャ管理の複雑さを抽象化し、開発者がユーザー体験の構築に専念できるようにすることを目標としています。特にビルド時において、フレームワーク定義のインフラストラクチャにより、複雑なオーケストレーションやインフラコードが不要になり、開発者は計算、ネットワーク、キャッシングなどのプロビジョニングに頭を悩ませることなくアプリケーションロジックに集中できます。しかし実行時については、アプリケーション管理が依然として開発チームにとって非常に手間がかかることが課題として提示されています。

実行時の課題:インシデント対応の手作業の負担

インシデント対応では、チームが潜在的な問題を特定するためにアラートとモニターを設定する必要があり、これらのツールはアラート疲れを引き起こす傾向があります。問題が特定された後、チームは根本原因を突き止めるために何時間もデバッグに費やす必要があり、インシデント時間の約50%は根本原因分析に費やされています。スピーカーは、2025年のAI時代に開発者の貴重な時間をデバッグに費やすことは非理性的であると指摘し、この問題をVercel Agentで解決できることを提案しています。デバッグ時間を数秒に短縮できる可能性は、2025年のテクノロジー環境において革新的な価値提供となります。

Vercel Agent:AI駆動の異常検出と根本原因分析

Vercel Agentの異常アラート機能は、アプリケーション全体を監視して疑わしいアクティビティを検出し、設定不要で即座に利用できます。異常を検出すると、Vercel Agentが問題を調査し、根本原因分析を実行して数秒で問題を診断します。従来のオブザーバビリティツールやインフラプロバイダーと異なり、Vercelはアプリケーションの完全なコンテキスト(構築、デプロイ、本番実行)を有しており、実行時の信頼性、パフォーマンス、セキュリティを確保するためのAIネイティブなアプローチを提供できる独自の立場にあります。Vercel Agentの調査は、ビルド時のコンテキストを活用して実行時の動作を可視化するように設計されたネイティブオブザーバビリティツール上に構築されています。

ネイティブオブザーバビリティツール:ログ、ダッシュボード、異常検出、クエリ機能

Vercelのネイティブオブザーバビリティツールは複数のコンポーネントで構成されています。実行時ログはアプリケーション動作をきめ細かく可視化し、HTTPリクエストがVercelネットワークに到達する時点からクライアントにレスポンスが返される時点まで、リクエストのライフサイクル全体をトレースできます。すぐに使える意見のあるダッシュボードにより、アプリケーションの正常性を素早く理解し、問題を特定し、パフォーマンスを最適化できます。最近立ち上げられた異常アラート機能は、アプリケーションを積極的に監視して異常なアクティビティを検出します。さらに、クエリツールを使用すれば、収集したメトリクスを探索でき、ボット検出からモデルプロバイダーのP90時間の定量化まで、幅広い質問に答えることができます。

AI評価とOpenTelemetry統合:BrainTrustパートナーシップ

AIアプリケーションは非決定論的であるため、出力品質の監視が非常に重要であり、エージェントが複数の推論ステップをデイジーチェーン化するとさらに複雑さが増します。OpenTelemetryに基づいて構築された大規模なエージェントフレームワークのエコシステムが、開発者がエージェントワークフローを監視、デバッグ、最適化するのを支援しています。Vercel drainsを使用すると、OpenTelemetryで収集したトレースを任意のサードパーティオブザーバビリティツールにエクスポート可能です。Vercelはマーケットプレイスを通じてBrainTrustとパートナーシップを結び、わずか数クリックでVercelからBrainTrustへトレースと評価データを自動的にストリーミングできるようになりました。デモアプリケーションはNext.js、AISDK、AI Gatewayで構築されたチャットボットで、テンプレートライブラリから複製でき、トレースはBrainTrustに送信されます。

ビジョン:柔軟性と統合、自動化されたアクション提供

Vercelの目的は、使用するツールに関して柔軟性と管理を提供することです。スピーカーは、ネイティブなオブザーバビリティツールを真摯に構築する一方で、開発者がデータをどこにでも送る自由を保証することの重要性を強調しています。AIクラウドの根本的なビジョンは、単に問題を提示するのではなく、ソリューション、推奨事項、プルリクエスト、自動化されたアクションを提供することです。最も重要な目標は、素晴らしいユーザー体験を構築し、予測不可能なコードを信頼性の高いシステムに変えることであり、Vercel Agentはこのビジョンを実現するために構築されています。パブリックベータ版では、すべてのVercelユーザーに100ドルの無料クレジットが配布されており、Agent Investigationsはプロ以上のObservability Plus対応ユーザーに対して即座に利用可能です。

Community Posts

View all posts