Pinecone 2.0 — Edo Liberty, Pinecone

中文العربيةDeutschEnglishEspañolFrançaisहिन्दीBahasa Indonesia日本語한국어PortuguêsРусский
AAI Engineer
Computing/SoftwareInternet Technology

Transcript

00:00:00界面……这里包含很多让它运转起来的绝妙想法，但
00:00:06我想稍微聊聊其中之一，好吗？你现在看到的
00:00:11是 Nexus 的界面。好，你会看到顶部有一个问题，即
00:00:17智能体提出的问题；在左边可以看到它所经历的
00:00:23不同步骤。好，右下角的展示可能是最有趣的，
00:00:28你在右下角能看到生成的代码。Nexus 所做的
00:00:34与其他系统截然不同，我们称之为“运行时代码智能体”。好的，
00:00:40这不像你习惯的其他编码系统，它们的任务是接收一个庞大的代码库
00:00:49然后帮你编辑，对吧？但当编辑完成后，我得到的是一个软件，
00:00:55并且它被部署了，那就是交付物。好的，运行的内容
00:01:00不再包含模型，就只是代码而已。好的，但这并不是
00:01:05这里发生的事情。在查询阶段，你可以将引擎想象成
00:01:10本质上在构建类似 Jupyter Notebook 或 Python 代码库的东西，对吧？
00:01:16它们真的在编写代码并执行，编写代码并执行。如果获得了答案，它们就知道怎么处理；
00:01:20如果结果不符合预期，它们就会重写那部分代码。
00:01:24非预期结果，他们就会重写那部分代码，最终你得到的是
00:01:30一段能完成任务、获取你所需信息的代码
00:01:36好的，这段代码是可保存的、可重复运行的。但它也非常灵活，
00:01:42因为现在的答案不再是通过数据库查询获取的，对吧，
00:01:50而是由代码生成的，这当然具有极高的灵活性。好的，顺便说一句，这段代码
00:01:57顺便一提，有趣的是，如果你用这种方式编写软件
00:02:05你所需的提示量会显著减少，我们从
00:02:08需要大约 15 万个 token 才能给智能体提供所需的全部工具，
00:02:12降低到了不到 1000 个 token 就能指定从 Nexus 提取信息所需的
00:02:16所有接口。好的，所以答案，当你运行它时，看起来就是这样的，好的。
00:02:23在左边你当然会看到带 NoQL 的 Nexus 在回答问题；
00:02:29而在右边，是把相同的任务交给拥有所有完成任务工具的智能体，好的。
00:02:38但请记住，右边这个受到了极大的限制，就像第一天上班的员工一样，
00:02:43第一天上班，他们得阅读大量材料，得弄清楚数据在哪里，
00:02:48得搞清楚任务是什么，还得写一堆代码，
00:02:51它受到了极其严重的限制。而这个，我不知道你们有没有……好的，停止了，
00:02:55但毋庸置疑，这要慢得多，在 token 消耗方面
00:03:02也要昂贵得多。但有趣的是，它的准确度
00:03:08也低得多，因为它们没有正确的上下文，没有明确的目标
00:03:12等等。在你所在的企业里，我想说，我们显然已经和很多
00:03:17早期体验客户展开合作了。你在这里能看到一些结果，但我会快速过一遍，
00:03:25我想说的是，在不同的领域、不同的
00:03:30企业以及不同类型的任务中，你普遍会看到
00:03:35相同的情况：如果你转向这种范式，你将获得巨大的成本节省，
00:03:40减少 77% 到 90% 的 token 消耗是非常普遍的。
00:03:50速度也会快得多，从提速 20%、30% 到有时提速 77% 不等。好的，
00:03:58但最重要的是，与此同时，它的准确度也大大提高了。
00:04:07所以这真的是大获成功。最后总结一下，
00:04:11Nexus 就在明天结束早期体验，进入公开预览阶段，快去试用吧。
00:04:20谢谢大家。
00:04:50谢谢。

Key Takeaway

Nexus 采用在查询阶段编写并运行代码的“运行时代码智能体”机制，能减少高达 90% 的 token 消耗，实现更快的处理速度与更高的准确度。

Highlights

  • Nexus 采用“运行时代码智能体”机制，在查询阶段实时编写并执行 Python 代码，若遇到非预期结果则自动重写代码

  • 使用 Nexus 编写代码可将给智能体提供工具所需的提示量从大约 15 万 token 降低至不到 1000 token

  • Nexus 机制能在不同领域中实现 77% 至 90% 的 token 成本降低

  • Nexus 在降低成本的同时，能将处理速度提升 20% 至 77%，并提高输出准确度

Timeline

运行时代码智能体的构建逻辑

  • Nexus 的“运行时代码智能体”与传统通过修改代码库生成最终软件的编码系统截然不同
  • 引擎在查询阶段动态构建类似 Jupyter Notebook 或 Python 代码库的运行环境
  • 系统通过不断编写代码、执行代码以及重写不符合预期部分的方式获取最终答案

传统编码系统在交付软件后便不再依赖大语言模型，仅运行最终代码。Nexus 改变了这一模式，直接在查询阶段生成并运行代码。当运行结果不符合预期时，智能体会自动修正并重写对应部分，最终生成一段可重复运行且可保存的特定代码。

上下文需求量与执行效率对比

  • 代码生成模式将智能体所需的提示量从 15 万 token 降低至不足 1000 token
  • 传统多工具智能体因需加载大量背景资料与数据上下文，导致运行速度慢且成本高昂
  • 缺乏明确目标与正确上下文会导致传统智能体在处理相同任务时准确率较低

通过代码生成答案相比直接通过数据库查询具有更高的灵活性。传统智能体在处理任务时类似于第一天上班的员工，需要阅读海量材料并确定数据位置，耗费大量 token 且速度较慢。Nexus 显著减少了接口指定所需的提示量，解决了上下文过载带来的低效问题。

企业实测性能提升与成本缩减

  • 跨领域企业测试显示，转向 Nexus 范式可普遍降低 77% 至 90% 的 token 消耗
  • 系统执行速度获得了 20% 到 77% 不等的提升
  • Nexus 结束早期体验阶段，正式面向市场开放公开预览

早期体验客户的数据表明，Nexus 范式在各种业务场景下均能保持显著优势。系统不仅大幅度压缩了 token 成本并提高了响应速度，更关键的是克服了传统模式下的准确度瓶颈。目前 Nexus 已完成早期体验，进入公开预览阶段。

Community Posts

No posts yet. Be the first to write about this video!

Write about this video