Pinecone 2.0 — エド・リバティ（Pinecone）

日本語العربيةDeutschEnglishEspañolFrançaisहिन्दीBahasa Indonesia한국어PortuguêsРусский中文
AAI Engineer
Computing/SoftwareInternet Technology

Transcript

00:00:00インターフェースについて、これを実現する素晴らしいアイデアが数多くあります
00:00:06ですが、そのうちの1つについてお話ししたいと思います
00:00:11画面に見えているのはNexusのインターフェースです。上部には
00:00:17エージェントが出した質問が表示され、左側には実行された
00:00:23各ステップが表示されています。そして右下にあるのが、おそらく最も興味深い部分です
00:00:28右下に生成されたコードが見えますね。Nexusがやっていることは
00:00:34他のシステムとは大きく異なり、いわゆる「ランタイム・コーディング・エージェント」です
00:00:40皆さんが使い慣れている従来のコーディングシステムは、大規模なコードベースを読み込んで
00:00:49編集を支援するというものでした。しかし、編集が終わった段階で手元にあるのは単なるソフトウェアであり
00:00:55それがデプロイされる成果物となります
00:01:00実行中のプログラムにはもうモデルは含まれず、ただのコードです。しかし
00:01:05本システムで起きていることは違います。クエリの処理時に、エンジンが
00:01:10Jupyter NotebookやPythonリポジトリのようなものを構築していると考えてください
00:01:16実際にコードを書いて実行し、さらにコードを書いて実行します。望む答えが得られればそのまま処理を進め
00:01:20予期せぬ結果であれば、該当するコードの部分を書き直します
00:01:24そして最終的に手に入るのは、タスクを完了し
00:01:30必要な情報を取得するためのプログラムコードです
00:01:36これは保存可能で再実行もできますが、それ以上に非常に柔軟です
00:01:42なぜなら、答えはデータベースへの単なるクエリではなく
00:01:50コードによって生成されるため、非常に柔軟に対応できるからです
00:01:57ちなみに興味深いことに、このような方法でソフトウェアを生成すると
00:02:05必要なプロンプトの量が大幅に削減されます
00:02:08エージェントに必要な全ツールを与えるのに約15万トークンかかっていたものが
00:02:12Nexusから情報を抽出するための全インターフェースの指定を含めて
00:02:161000トークン未満にまで削減されました
00:02:23実際に実行した時の挙動はこのようになります。左側は
00:02:29NexusがQLなしで質問に答えている様子です。そして右側は
00:02:38タスク完了に必要な全ツールを与えられたエージェントに同じタスクを行わせたものです
00:02:43ただし、右側のやり方は大きなハンデを負っています。入社初日の社員のように
00:02:48大量の資料を読み込み、データがどこにあるかを突き止め
00:02:51タスク内容を把握した上で、大量のコードを書かなければなりません
00:02:55まさに大きなハンデです。ここで…あ、止まってしまいましたね
00:03:02言うまでもありませんが、従来の方法ははるかに遅く、トークン消費の面でも
00:03:08かなりコストがかかります。さらに興味深いことに
00:03:12正確性も大幅に劣ります。適切な文脈や目的が欠けているからです
00:03:17といった点からです 社内での話として 私たちはすでに多くの
00:03:25早期アクセスのお客様と取り組んでいます。ここにいくつかの結果を示していますが、簡単に説明すると
00:03:30さまざまなドメイン、さまざまな
00:03:35企業、さまざまな種類のタスクにおいて、共通して同じ結果が得られています
00:03:40このパラダイムに移行すると、大幅なコスト削減が実現し、77%〜90%
00:03:50程度のトークン削減が極めて一般的です。また処理速度も
00:03:5820〜30%、場合によっては77%も高速化されます
00:04:07そして最も重要なのは、同時に精度も大幅に向上することです
00:04:11まさに圧倒的な勝利と言えます。最後に一つお伝えして締めくくります
00:04:20Nexusは早期アクセスを終え、まさに明日からパブリックプレビューが開始されます。ぜひ試してみてください
00:04:50ありがとうございました。

Key Takeaway

クエリ実行時にリアルタイムでコードを生成・修正するランタイム・コーディング・エージェント「Nexus」により、トークン消費量を最大90%削減しつつ処理速度と回答精度を大幅に向上させる。

Highlights

  • Nexusはクエリ処理時にコードを生成・実行・修正するランタイム・コーディング・エージェントとして機能する

  • エージェントのプロンプト容量は、15万トークンからNexusインターフェース指定により1,000トークン未満へ縮小する

  • 従来型エージェント方式と比較して、77%〜90%のトークン消費削減を実現する

  • クエリの処理速度は20%〜77%向上する

  • コード生成による直接的な情報取得により、回答の精度が向上する

Timeline

ランタイム・コーディング・エージェントの動作構造

  • 従来のコーディングエージェントはコード編集後にモデルを含まない静的成果物を出力する
  • Nexusはクエリ受信時にJupyter Notebookのような環境を構築し、リアルタイムでコードを記述・実行・修正する
  • データベースへの直接クエリではなくプログラムコードの自動生成によって回答を出力する

従来のコーディング補助ツールは事前に大量のコードベースを読み込んで編集を支援する仕組みであり、実行時には単なるコードとして機能する。これに対し、Nexusはクエリの処理中にコードの記述、実行、結果の確認、必要に応じた書き直しを動的に繰り返す。実行可能で再利用可能なプログラムコードそのものを生成することで、多様な問い合わせに対して高い柔軟性を持った回答生成を可能にする。

トークン消費量の削減と従来手法との比較

  • ツール群の指定に必要なプロンプト量が15万トークンから1,000トークン未満に減少する
  • 全ツールを直接参照させる従来のやり方は大量のデータ解釈を要するため処理が遅くなる
  • 適切なコンテキストの欠如により従来手法は精度面でも劣る

ソフトウェアを動的に生成する仕組みにより、システムに与えるべきプロンプト情報量を劇的に削減できる。全ツールを事前に読み込ませる従来方式では、入社初日の社員のように大量の資料からデータ位置を探してコードを書く必要があり、レスポンスの遅延や高コスト化を招く。指示内容の前提知識や文脈が不足することから、出力の正確性も低下する。

導入成果とパブリックプレビューの公開

  • 多種多様な業界やタスクにおいて77%〜90%のトークン削減を記録する
  • 処理速度は20%〜77%の高速化を達成する
  • Nexusのパブリックプレビューが開始される

早期アクセス企業での実証実験では、領域やタスクの種類を問わず一貫した性能向上が確認されている。大幅なトークン削減によるコストダウンに加え、応答速度と回答精度の両立を実現している。この検証結果を経て、パブリックプレビューの提供段階へ移行する。

Community Posts

No posts yet. Be the first to write about this video!

Write about this video