Pinecone 2.0 — Edo Liberty, Pinecone

AAI Engineer
컴퓨터/소프트웨어AI/미래기술

스크립트

00:00:00Interface. Es gibt viele, viele coole Ideen, die das ermöglichen, aber ich
00:00:06möchte Ihnen nur von einer davon erzählen, okay? Was Sie hier sehen,
00:00:11ist die Benutzeroberfläche für Nexus. Oben sehen Sie die Frage, die der
00:00:17Agent gestellt hat, und links sehen Sie die verschiedenen Schritte, die er
00:00:23durchlaufen hat. Was Sie unten rechts sehen, ist wahrscheinlich am interessantesten:
00:00:28Sie sehen generierten Code unten rechts. Was Nexus tut, was sich sehr
00:00:34von anderen Systemen unterscheidet, ist ein sogenannter Runtime-Coding-Agent, okay?
00:00:40Anders als bei anderen Coding-Systemen, die Sie gewohnt sind, wo die Aufgabe darin besteht, eine große Codebasis zu nehmen
00:00:49und dann bei der Bearbeitung zu helfen – aber wenn die Bearbeitungen fertig sind, hat man
00:00:55ein Stück Software, das bereitgestellt wird, das ist das Artefakt, okay? Was dann läuft,
00:01:00enthält das Modell nicht mehr, es ist nur noch der Code, okay? Das ist nicht das,
00:01:05was hier passiert. Zur Laufzeit der Anfrage müssen Sie sich vorstellen, dass die Engine
00:01:10im Grunde etwas wie ein Jupyter Notebook oder ein Python-Repo baut, richtig?
00:01:16Und sie schreiben buchstäblich Code, führen ihn aus, schreiben Code und führen ihn aus. Und wenn sie
00:01:20die Antwort erhalten, wissen sie, was damit zu tun ist. Und wenn es nicht das ist,
00:01:24was sie erwartet haben, schreiben sie diesen Teil des Codes neu. Am Ende erhält man
00:01:30ein Stück Code, das die Aufgabe abschließt und die gewünschten Informationen beschafft,
00:01:36okay? Das lässt sich speichern und erneut ausführen, okay? Es ist aber auch unglaublich flexibel,
00:01:42weil die Antwort jetzt nicht durch eine Datenbankabfrage gewonnen wird, sondern
00:01:50durch Code geschrieben wird, was natürlich unglaublich flexibel ist, okay? Dieser Code ist übrigens...
00:01:57Interessanterweise, wenn man Software auf diese Weise schreibt, reduziert sich
00:02:05die Menge an Prompting erheblich. Wir sind von etwa
00:02:08150.000 Tokens, um unseren Agenten alle benötigten Tools zu geben,
00:02:12auf weniger als 1.000 Tokens heruntergegangen, um alle Schnittstellen
00:02:16zu definieren, die sie benötigen, um Informationen aus Nexus zu erhalten, okay? Und wenn man
00:02:23es ausführt, sieht das Ganze so aus, okay? Links sehen Sie natürlich
00:02:29Nexus mit noQL, das die Frage beantwortet. Und rechts ist dieselbe Aufgabe,
00:02:38die einem Agenten mit allen Tools zur Erledigung gegeben wurde, okay? Aber denken Sie daran:
00:02:43Das auf der rechten Seite ist stark benachteiligt. Es ist wie der Mitarbeiter am ersten Arbeitstag:
00:02:48Er muss viel lesen, herausfinden, wo die Daten liegen,
00:02:51herausfinden, was die Aufgabe ist, und eine Menge Code schreiben. Es ist
00:02:55einfach stark benachteiligt. Und das hier – ich weiß nicht, ob es gestoppt hat, aber
00:03:02unsagbar ist, dass dies bei Weitem langsamer ist. Es ist viel teurer bezüglich
00:03:08des Token-Verbrauchs, aber interessanterweise ist es auch verdammt viel weniger
00:03:12genau, weil wieder der richtige Kontext, die richtigen Ziele und so weiter
00:03:17in Ihrem Unternehmen fehlen. Ich kann nur sagen, dass wir offensichtlich schon mit einigen
00:03:25Early-Access-Kunden arbeiten. Sie sehen hier einige Ergebnisse, aber ich fliege da mal kurz
00:03:30drüber und sage, dass man über verschiedene Domänen, Unternehmen
00:03:35und Arten von Aufgaben hinweg universell das Gleiche sieht:
00:03:40Wenn man zu diesem Paradigma wechselt, erzielt man erhebliche Kosteneinsparungen. 77 bis 90
00:03:50Prozent Token-Reduktion sind ziemlich üblich. Es wird verdammt viel
00:03:58schneller, irgendwo zwischen 20, 30 Prozent bis hin zu manchmal 77 Prozent schneller, okay?
00:04:07Und das Wichtigste ist, dass es gleichzeitig auch noch viel genauer wird.
00:04:11Das ist also wirklich ein Volltreffer. Ich schließe ab mit den Worten, dass
00:04:20Nexus aus dem Early Access herauskommt und buchstäblich morgen in der Public Preview ist. Probieren Sie es also aus!
00:04:50Vielen Dank.

핵심 요약

Der Runtime-Coding-Agent Nexus ersetzt klassische Datenbankabfragen durch dynamisch generierten Code zur Laufzeit, was den Token-Verbrauch um bis zu 90 Prozent senkt und die Ausführungsgeschwindigkeit massiv erhöht.

하이라이트

  • Nexus reduziert die benötigte Prompting-Menge von etwa 150.000 Tokens auf weniger als 1.000 Tokens für die Definition der erforderlichen Schnittstellen.

  • Der Einsatz des Runtime-Coding-Agenten senkt den Token-Verbrauch bei Unternehmenskunden um 77 bis 90 Prozent.

  • Laufzeiten verkürzen sich durch das neue Paradigma um 20 bis 77 Prozent bei zeitgleicher Steigerung der Genauigkeit.

  • Nexus verlässt die Early-Access-Phase und geht direkt in die Public Preview über.

타임라인

Funktionsweise des Runtime-Coding-Agenten Nexus

  • Nexus arbeitet als Runtime-Coding-Agent und unterscheidet sich damit grundlegend von herkömmlichen Programmierassistenten.
  • Die Engine erstellt zur Laufzeit einer Anfrage eine Ausführungsumgebung ähnlich einem Jupyter Notebook.
  • Code wird iterativ geschrieben, ausgeführt und bei Bedarf angepasst, bis das gewünschte Ergebnis vorliegt.

Herkömmliche Systeme nutzen Sprachmodelle zur Erstellung von statischem Code, der nach der Bereitstellung ohne Modellunterstützung läuft. Nexus hingegen baut während der Anfrageverarbeitung dynamisch eine Programmierumgebung auf. Das System schreibt und testet Code fortlaufend in einer Schleife. Das Endprodukt ist ein funktionsfähiger Codeblock, der spezifische Daten beschafft, gespeichert und beliebig oft wiederholt ausgeführt werden kann.

Token-Effizienz und Leistungsvergleich

  • Die Erstellung von Software über Code-Schnittstellen reduziert den Prompt-Aufwand von 150.000 auf unter 1.000 Tokens.
  • Klassische Agenten mit vollem Tool-Zugriff leiden unter immensem Leseaufwand und unzureichendem Unternehmenskontext.
  • Herkömmliche Ansätze arbeiten langsamer, verursachen höhere Token-Kosten und liefern ungenauere Ergebnisse.

Statt einem Agenten sämtliche Werkzeuge und umfangreichen Kontext per Prompt zu übergeben, definiert Nexus lediglich die notwendigen Schnittstellen im Code. Standard-Agenten verhalten sich wie neue Mitarbeiter am ersten Arbeitstag: Sie müssen große Datenmengen einlesen und aufwendig suchen. Dieser Prozess führt zu hohem Token-Verbrauch, langer Laufzeit und fehlerhaften Antworten aufgrund fehlender Kontextanpassung.

Messergebnisse aus der Praxis und Veröffentlichung

  • Praxistests bei Early-Access-Kunden zeigen universelle Leistungsgewinne über verschiedene Branchen hinweg.
  • Die Token-Reduktion liegt typischerweise zwischen 77 und 90 Prozent.
  • Die Antwortzeiten sinken um 20 bis 77 Prozent.
  • Nexus startet unmittelbar in die öffentliche Testphase.

Ergebnisse aus der Praxis belegen deutliche Effizienzgewinne unabhängig vom jeweiligen Einsatzgebiet oder der Aufgabenstellung. Die Token-Kosten sinken dramatisch, während sich die Systemgeschwindigkeit signifikant erhöht. Gleichzeitig steigt die Genauigkeit der ausgegebenen Informationen. Nach dem Abschluss der Early-Access-Phase steht Nexus ab sofort als Public Preview zur Verfügung.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기