Iinen Agenten fehlt der Kontext: So behebst du „Du hast völlig recht!“ – Brandon Waselnuk, Unblocked
AAI Engineer
컴퓨터/소프트웨어AI/미래기술
스크립트
00:00:00Guten Tag. Ich hoffe, Sie haben alle einen schönen Tag hier bei der AIE. Wir hatten tolles
00:00:17Wetter, auch wenn der UV-Index bei etwa neun lag. Ich hoffe also, Sie haben Sonnencreme aufgetragen
00:00:20und verhalten sich wie vernünftige Erwachsene. Ich bin hier, um mit Ihnen über Context
00:00:24Engineering zu sprechen, und ich habe das Glück, auf AJ von LinkedIn zu folgen, denn er
00:00:27hat viel über das System gesprochen, das wir tatsächlich entwerfen und an andere
00:00:29Lösungen verkaufen. Ich werde Ihnen eine Reihe von Open-Source-Tools vorstellen. Wenn Sie also
00:00:33den letzten Vortrag direkt vor mir gesehen haben, bekommen Sie eine Reihe von Toolchains, die Sie
00:00:36selbst ausprobieren können, und ich werde Ihnen heute einige Techniken beibringen. Das Ziel
00:00:39ist natürlich zu beheben... Sie haben völlig recht. Ich glaube, sie haben das mittlerweile aus
00:00:44den Prompts entfernt, sodass dort jetzt nur noch steht, du hast recht, oder andere Dinge, aber ich bin sicher,
00:00:47Sie waren alle schon mal in dieser Situation. Also, ich bin Brandon, ich arbeite bei Unblocked – ja, ich habe eine Kokosnuss,
00:00:53wir haben diese für frischen Kontext verschenkt, frische, frische Kokosnüssen –, aber worüber ich
00:00:57mit Ihnen sprechen möchte, ist Folgendes: Bei diesen Modellen, besonders bei Claude-Klassen-Modellen,
00:01:01ich glaube Fable 5 kommt heute zurück, also können sie sich meine Grain-Anrufaufzeichnung ansehen
00:01:05und versuchen, das zu buchen – wir ignorieren das einfach. Aber was ich möchte, dass Sie sich vor Augen führen,
00:01:11ist die Tatsache, dass sich KI-generierter Code bei diesen Werkzeugen so anfühlen sollte, als wäre er
00:01:15von jemandem geschrieben worden, der schon seit Jahren in Ihrem Team ist. Um sich in diese jahrelange Verfassung zu versetzen,
00:01:23müssen Sie bedenken, dass Sie bisher die Kontext-Engine waren. Wie haben Sie das gemacht?
00:01:27Sie haben Kontext aufgebaut, indem Sie zur Arbeit gingen, Fragen gestellt, PRs eingereicht und
00:01:34sie abgelehnt bekommen haben, zu Meetings gegangen sind und all das hat im Laufe der Zeit langsam
00:01:39die Engine aufgebaut, die Ihr Gehirn ist. Sie verstehen, wie es hier funktioniert, Sie wissen, wie Dinge
00:01:42veröffentlicht werden, Sie hatten in jener Nacht Rufbereitschaft, als Sie die Produktion lahmgelegt haben, und wissen, warum das passiert ist.
00:01:48Das Problem ist, dass diese Agenten genau dasselbe Problem haben: Jedes Mal, wenn Sie eine neue Terminal-Session
00:01:53mit einem Agenten darin starten, ist er zwar sehr intelligent, hat aber keinerlei Kontext
00:01:57über die Abläufe in Ihrem Unternehmen, sodass er sich diesen irgendwie beschaffen muss. Das
00:02:02Problem ist, wenn Sie diese Agenten im Maßstab hochskalieren, multiplizieren sich diese Kosten, wenn man es
00:02:07zu Beginn falsch macht. Die Hebelwirkung von Kontext und Inhalt – wir korrigieren das nur kurz,
00:02:13weil die Leute anscheinend ein paar Fotos machen wollen. Perfekt. Dieses Kontextproblem wird sich
00:02:20verstärken. Ganz links erinnern wir uns alle an die uralte Zeit vor zwei Jahren,
00:02:25in der wir Tab-Completion-Modelle hatten, die ziemlich cool waren. Was passierte?
00:02:29Sie ploppten auf und sagten: Hey, willst du das mit Tab übernehmen?, und man ging im Kopf
00:02:32mit seinem Kontext kurz durch: Nein, das ist schlecht. Oder man dachte: Oh, süß, und drückte Tab. Schön.
00:02:37Wenn wir uns weiter entlang der Akzeptanzkurve für Agenten bewegen, geraten wir in immer
00:02:41mehr Situationen, in denen Agenten ohne einen Menschen im Entscheidungskreis laufen oder
00:02:46man sich zumindest wünscht, man müsste nicht Teil dieses Kreises sein. Was sie brauchen, ist eine Möglichkeit,
00:02:50die nötigen Fragen zu stellen, wenn sie auf Hindernisse stoßen, um Code zu schreiben oder
00:02:54das Problem zu lösen beziehungsweise zu beheben und letztendlich Code auszugeben, der in Ihre
00:02:58Codebasis integriert werden kann – insbesondere da viele hier an Bestands-Codebasen (Brownfield)
00:03:02arbeiten, die schon lange existieren und echten Umsatz generieren, und nicht nur an neuen
00:03:06Spielwiesen-Projekten (Greenfield). Die Kosten für schlechten Kontext, die sich am Anfang summieren,
00:03:12sind gering, wenn man wie beim Shift-Left-Ansatz denkt: Ein Defekt oder Bug soll so früh wie möglich
00:03:17gefunden werden. Mit Kontext verhält es sich genauso, denn je weiter man voranschreitet,
00:03:22desto öfter gerät man in Endlosschleifen. Man bittet seinen Agenten meistens etwas zu tun und er sagt:
00:03:26Hey, ich hab's erledigt. Man selbst erwidert: Nee, Mann, und dann korrigiert und korrigiert man.
00:03:29Das ist verschwendete Such-Token und auch verschwendete Nacharbeitszeit, und das ist
00:03:34angesichts der kommenden Tokenomik inakzeptabel. Wenn man dann zu parallelen Agenten übergeht
00:03:39usw., stößt man auf eine Art Review-Steuer. Wir versuchen zwar, diese KI-Codeprüfer zu nutzen,
00:03:43aber auch hier ist wichtiger Kontext entscheidend, damit diese Code-Reviews in der Lage sind,
00:03:48die Geschäftsabläufe zu verstehen, sodass sie die Geschäftslogik und mehr begreifen.
00:03:52Und wenn es schließlich Ihr Ziel ist, den Menschen komplett aus dem Loop zu nehmen und zu sagen:
00:03:57Hintergrundagenten, erledigt das ohne Fehler, müssen Sie unbedingt sicherstellen, dass Sie eine
00:04:02Kontext-Engine haben, damit diese Agenten Abfragen stellen und alle Antworten erhalten können,
00:04:05die sie brauchen, um weiterhin effektiv zu arbeiten.
00:04:08Es gibt einige gängige Ansätze, die nicht funktionieren; sie stellen im Grunde ein lokales Maximum dar. Zwei davon,
00:04:16die wir bei unseren Hunderten von Unternehmenskunden und mittelständischen Firmen am häufigsten sehen, sind die
00:04:21kuratierte Kontext-Falle: Wenn Sie jemals da saßen und ein virtuelles Dateisystem oder ein lokales
00:04:26Dateisystem genommen und ein paar Markdown-Dateien hineingepackt haben und meinten: Hier ist der gesamte Kontext dieses Projekts,
00:04:30so funktioniert es, und Sie dann Ihrem Agenten erlauben, das zu durchsuchen, kriegt er eine Menge guter Daten und performt besser.
00:04:35Das Problem ist erstens, dass Sie das verteilen müssen – vielleicht laden Sie es auf GitHub hoch, damit Ihr Team es sich holen kann –, aber zweitens verrottet dieses Repository genau wie all die anderen Dokumente, die Sie jemals verfasst haben. Und wer in Ihrer Organisation ist der Allmächtige, der das Feingefühl besitzt, diese Datei oder dieses Repository buchstäblich für jeden im Unternehmen zu kuratieren?
00:04:52Man stößt also unweigerlich auf diese Probleme. Das nächste ist das MCP-Plateau. Das ist ziemlich klar: Wir haben MCPs, sie sind großartig, man kann sie seinem Agenten geben, und er kann nun im Grunde Informationen aus einem anderen Quellsystem beziehen. Das Problem liegt natürlich darin, dass Ihr Agent basierend darauf, wie Sie die Serverbeschreibung und die Tool-Beschreibungen verfassen, das Tool möglicherweise niemals aufruft, obwohl er es hätte tun sollen. Oder wenn er es tut, gibt es einen bekannten Bias, den sogenannten Suchsättigungs-Bias (Satisfaction of Search Bias). Das bedeutet, dass der Agent, wenn er
00:05:22die erste Information findet, die er für richtig hält, denkt: Oh, ich habe, was ich brauche, und macht einfach weiter. In den meisten Unternehmen gibt es ein Slack-Gespräch von letzter Nacht, in dem steht, dass man A statt B machen sollte, und der Agent wird das niemals finden, wenn er zuvor auf einen Architekturdatensatz gestoßen ist, sodass er nicht den gesamten Kontext berücksichtigt.
00:05:40Das Problem hierbei ist: Zugriff auf Informationen ist noch lange kein Verstehen. Um einem Modell Verständnis zu vermitteln, muss man andere Techniken anwenden. Was ich im Grunde sagen möchte: Was Ihr Agent nicht sehen kann, ist alles unterhalb der Wasseroberfläche. Er kann zu 100 % Code liefern, der kompiliert, aber dieser kompilierende Code legt die Produktion lahm, und Sie haben um ein Uhr nachts einen P0-Vorfall, weil er übersehen hat, dass es ein bestimmtes Rollout-Verfahren gibt – dass man ein Feature-Flag ausschalten muss oder was auch immer.
00:06:10Daher braucht Ihr Team eine Kontext-Engine. Sie sollte nämlich verstehen, wer Sie sind und wo Sie in einem Unternehmen arbeiten. Wenn ich also zu Ihnen sage, dass ich Authentifizierung aufsetzen möchte, weiß das System, wo ich arbeite, es kennt meine Git-Commits, es weiß, wer diese Commits überprüft, und es versteht meinen Kontext. Es kann mich fokussieren und diesen Punkt als Auslöser nutzen, um den Rest der Informationen zu finden.
00:06:33Es löst Konflikte – wie bereits erwähnt: ein altes Architekturdiagramm und das Slack-Gespräch mit dem CTO von letzter Nacht. Welches davon hat recht? Man muss eine Reihe von Techniken anwenden, um das herauszufinden.
00:06:44Es respektiert natürlich Berechtigungen und Governance. MCP erlaubt uns zwar die Verwendung von OAuth und anderen Scopes sowie SSO, aber wenn jemand hier drüben eine Frage stellt, der eigentlich nichts über das geheime Projekt A wissen darf, muss sichergestellt werden, dass das nicht in die Antwort durchsickert.
00:06:58Und schließlich: Bereitstellung des richtigen Kontexts zum richtigen Zeitpunkt für das Modell auf eine token-optimierte Weise.
00:07:03Wir haben mehrere Oberflächen, da menschliche Entwickler nach wie vor ständig mit Unblocked sprechen, um die benötigten Informationen in Slack oder auf andere Weise zu erhalten.
00:07:09Aber wenn man rein von Maschine zu Maschine kommuniziert, möchte man token-optimierte Antworten, um nicht eine Menge Geld für unnötiges Token-Volumen zu verschwenden.
00:07:17So funktioniert eine Engine. Ich halte mich kurz, aber im Grunde sehen Sie auf der linken Seite alle einströmenden Datenquellen.
00:07:26Wir konzentrieren uns auf Engineering-Teams – das sind diejenigen, die uns nutzen – sowie auf die technisch versierten Teams in ihrem Umfeld wie Support, Vertrieb und andere.
00:07:34Sie verarbeiten all diese Daten und erhalten Echtzeitdaten von Tools wie Ihrer Incident-Management-Toolchain.
00:07:39Das Ganze fließt in die Engine ein, wo die eigentliche Verarbeitung stattfindet – ich werde diese Folie gleich noch genauer erläutern.
00:07:45Aber im Grunde nutzt sie diese sechs Hauptmerkmale, und auf der rechten Seite geben Sie den Kontext genau für den jeweiligen Workflow und in der benötigten Form aus.
00:07:53Diese sechs Kernpunkte: wie erwähnt, einheitlicher Systemkontext, man muss sich über das gesamte System hinweg bewegen.
00:08:01In großen Organisationen, Unternehmen vom Kaliber von LinkedIn, Workday, General Motors oder ähnlich, benötigen sie diese Art von Daten.
00:08:08Sie müssen alles verstehen, was vor sich geht.
00:08:10Und Tharik sprach heute Morgen tatsächlich darüber, dass Fable möglicherweise noch heute erscheint.
00:08:15Er erwähnte, dass man eigentlich eine Landkarte bereitstellen und Fable dann das Terrain erkunden lassen muss.
00:08:21Der Weg, um dies einzugrenzen, besteht darin, sicherzustellen, dass diese Modelle Zugriff auf den gesamten Kontext haben, da sie Ihre unbekannten Unbekannten aufdecken werden.
00:08:29In Ihrem Unternehmen passieren definitiv Dinge, von denen Sie schlicht nichts wissen, die aber für die Aufgabe, an der Sie arbeiten, extrem nützlich wären.
00:08:35Das wird die Dinge beschleunigen.
00:08:37Was die gezielte Abfrage (targeted retrieval) angeht: Wenn man schnell einen Link bereitstellt, sollte man ihn entfalten, das Dokument zurückbekommen und weitermachen können.
00:08:43Also zwei Aufgaben: Deep Research, tief einsteigen, das ist in Ordnung.
00:08:46Aber man braucht auch Geschwindigkeit, wenn Geschwindigkeit gefragt ist.
00:08:49Konfliktlösung, darüber haben wir bereits gesprochen.
00:08:51Das eine sagt, tu A, das andere sagt, tu B – wer hat recht?
00:08:55Personalisierte Relevanz: Wer bin ich, wo arbeite ich, woran arbeite ich?
00:08:59Dann Token-Optimierung: Sicherstellen, dass die Antwort gut und effektiv ist und das Fenster nicht aufbläht.
00:09:04Und natürlich Berechtigungsdurchsetzung – OAuth: Wenn du es nicht sehen darfst, sollst du es auch nicht sehen.
00:09:10Bei einigen Tests haben wir genau denselben Prompt an dasselbe Modell geschickt, einmal mit Kontext und einmal ohne.
00:09:17Das ist die Zeiteinsparung an der Wanduhr, und das waren zwei Stunden, was großartig ist.
00:09:21Und dazu noch die Token-Einsparung.
00:09:23Es war also eine beträchtliche Aufgabe.
00:09:25Es dauerte etwa 21 Millionen Token ohne und 18 – sorry, 10,8 Millionen Token mit Kontext.
00:09:31Das ist die Art von Erfahrung, die man typischerweise macht, wenn man eine Kontext-Engine verwendet, weil die Mehrheit dieser verschwendeten Such-Token, die zu Beginn jeder Sitzung anfallen, um Dinge zu verstehen und zu entdecken, wegfällt, sobald das System mit Kontext versorgt ist.
00:09:45Hydriert.
00:09:47Und wenn man so weitermacht, erzielt man genau diese Ergebnisse.
00:09:5050 % weniger Token, eine schnellere Triage und eine tatsächlich bessere Antwortqualität, weil das System wusste, was innerhalb des Unternehmens vor sich ging.
00:09:57Für den nächsten Teil möchten Sie jetzt wahrscheinlich ein Foto machen.
00:10:01Falls Sie es noch nicht wussten: Sie können tatsächlich ein Foto von einem QR-Code machen, später in Ihren Fotos darauf tippen und den Link laden, sodass Sie nicht hier vorne verweilen müssen, da ich Ihnen drei QR-Codes zeigen werde.
00:10:09Der erste ist für das Social Comment Network.
00:10:12Ich blende das ein, damit Sie ein Foto machen können.
00:10:14Aber das ist ein Open-Source-Tool von uns, das unter Verwendung ausschließlich deterministischer Programmierung Ihr GitHub durchsucht und versteht, wer in Ihrem Team arbeitet.
00:10:22Das ist mein echtes Team.
00:10:23Wir nennen Rasheen die Maschine, weil er wie verrückt Code ausliefert.
00:10:26Aber rechts sehen Sie, was er committet, wo er committet, wer seine Arbeit überprüft.
00:10:30Und in diesen Tabs finden Sie ein Diagramm der Experten.
00:10:33Sie erhalten eine vollständige Übersicht darüber, was in Ihrem Unternehmen vorgeht.
00:10:35Und wenn Sie optional einen der API-Schlüssel für OpenAI oder Anthropic hinzufügen, ermittelt das Tool durch automatische Kategorisierung, welche Teams Sie haben.
00:10:44Es ist ein wirklich tolles Tool, um zu verstehen, wo Ihr Team arbeitet, und dieses soziale Netzwerk zu nutzen, um eine Kontext-Engine darauf auszurichten, wenn Sie solche Tools selbst bauen möchten.
00:10:52Das nächste nennt sich Repo-Rules-Agent.
00:10:55Dies ist ein Ausschnitt aus unserer echten Codebasis.
00:10:57Ich blende das sowieso gleich ein, Sie müssen also nicht mit dem Ding reden.
00:11:00Kurz gesagt: Es findet alle Stellen, an denen Ihr Team Regelsateien geschrieben hat, überprüft sie alle und zeigt Ihnen dann, welche Schweregrade und anderen Vorgaben Sie vergeben haben.
00:11:11Soll ich einfach hierzu wechseln?
00:11:13Es sagt Ihnen was – oh, hallo.
00:11:15Schön, Sie alle kennenzulernen.
00:11:17Im Grunde findet es alle Regeln in Ihrem Repo und teilt Ihnen dann mit, ob Sie doppelte Probleme oder andere Fehler haben.
00:11:24Und dann können Sie als Index darüber grepchen.
00:11:26Dieser Index kann also aufgerufen werden, um Duplikate zu entfernen, was die Kontextabfrage verbessert.
00:11:32Und schliesslich haben wir am Montag diesen Workshop gehalten, der über RAG hinausging, und gezeigt, wie man eine relationale Kontext-Engine von Grund auf baut.
00:11:40Wenn Sie das scannen, erhalten Sie das vollständige Arbeitsbuch.
00:11:43Es enthält sechs aufeinander aufbauende PRs, die Schritt für Schritt erklären, wie das geht.
00:11:46Kurz gesagt: RAG ist eine unglaubliche Technik, und die wollen Sie auch haben.
00:11:49Aber die andere Hälfte des Problems ist, dass die Leute eigentlich fragen:
00:11:53Was sind die offenen PRs, an denen ich in der letzten Woche zum Thema Authentifizierung gearbeitet habe?
00:11:57RAG kann diese Frage allein nicht beantworten.
00:12:00Sie brauchen Abfragen.
00:12:01Das hier zeigt also, wie man im Grunde ein schemaloses Nachschlagen durchführt, bei dem der Agent ein Schema ermittelt
00:12:08und dann deterministisch Abfragen darauf ausführt, um diese Art von relationalen Daten zu erhalten.
00:12:13Äusserst nützliche Technik.
00:12:15Anwendungsfälle für eine Kontext-Engine gehen natürlich weit über die Codegenerierung hinaus.
00:12:21Hier verbringen wir viel Zeit.
00:12:22Hier verbringen viele unserer Kunden ihre Zeit.
00:12:24Aber es ist erstaunlich zu sehen, was passiert, wenn andere Teams im Unternehmen beginnen, diese Tools zu nutzen.
00:12:30Customer-Success-Mitarbeiter lösen Tickets genau in dem Moment, in dem sie vom Kunden eingehen.
00:12:35Wir haben Vertriebsmitarbeiter, die Deals früher im Quartal abschliessen, weil sie die Unblocked-Kontext-Engine vor Ort einfach spontan abfragen können.
00:12:44Und so vieles mehr.
00:12:45Was Sie auch tun können – wenn Sie vorhin das Kurvendiagramm mit den Stufen gesehen haben –:
00:12:51Wir haben ein kleines, unterhaltsames Tool gebaut, bei dem Sie ein LLM quasi befragt und wissen möchte, was bei Ihnen los ist.
00:12:55Dann ordnet es Sie genau Ihrem Stand zu und zeigt Ihnen Techniken, wie Sie sich weiterentwickeln können,
00:13:01wenn Sie Ihre Fähigkeiten ausbauen und KI-Tools im Grossen einsetzen möchten.
00:13:07Es lautet readiness.getunblocked.com.
00:13:11Der Engpass ist nicht länger die Intelligenz.
00:13:13Es ist der Kontext.
00:13:14Wir werden weiterhin unglaubliche Modelle bekommen, so wie Mythos, das von Anthropic entwickelt wurde,
00:13:19und sicher auch Sol, sobald ich es sehen darf.
00:13:22Frohen Canada Day übrigens.
00:13:24Es geht vielmehr darum, mit welchem Kontext Sie diese Modelle umgeben, damit sie effektiv
00:13:30und token-effizient in Ihrem Unternehmen arbeiten können.
00:13:35Ich habe zwar eine Frage-Folie, aber ich bin mir nicht sicher, ob ich darf.
00:13:40Nein.
00:13:41Treffen Sie mich also einfach am Stand P16.
00:13:44Ausschau nach der Kokosnuss halten.
00:13:46Es wäre toll, mit Ihnen allen Zeit zu verbringen und bei Bedarf ins Detail zu gehen.
00:13:49Vielen Dank für Ihre Zeit.
00:14:00Vielen Dank.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기