Mach deine KI-Agenten mit Graph Engineering vorhersehbar – Zachary Blumenfeld, Neo4j

Highlights

• Graphen-Engineering fungiert als Evolution von Prompt- und Kontext-Engineering, bei der Agentenarbeit als expliziter Graph entworfen wird, in dem Knoten Arbeit verrichten und Kanten den Zustand weiterleiten.

• Durch das Kompilieren von Prosatexten in deterministische Skripte und Graphenstrukturen steigen der Aufgabenbelohnungswert und die Leistung selbst bei der Verwendung kleinerer Modelle erheblich.

• Der Einsatz von prozeduralen Graphen und kompilierten Skills im Rahmen eines Kreditgenehmigungsprozesses verkürzte die Ausführungszeit von ehemals viereinhalb Minuten auf etwa eine halbe bis zwei Minuten.

• Die Umstellung auf deterministische Formate und optimierte Modelle senkt die Ausführungskosten drastisch, da der Agent nicht mehr jeden Routing-Schritt eigenständig im LLM berechnen muss.

Timeline

1. 00:00:00 - 03:03:00

   Einführung in das Graphen-Engineering und Definitionen

   Der Begriff Graphen-Engineering hat sich Anfang des Jahres als Weiterentwicklung aus Prompt- und Kontext-Engineering etabliert. Während Zustandsmaschinen und Workflow-Graphen in der Informatik bekannt sind, verändert sich dadurch die Art und Weise, wie über Agentenlogik nachgedacht wird. Ein Graph schränkt den Pfad eines Agenten ein, sorgt für korrekte Antworten und ermöglicht eine effiziente Trennung zwischen Laufzeitumgebung und einer persistenten Wissensebene.

   • Graphen-Engineering ist die Praxis, Agentenarbeit als expliziten Graphen zu entwerfen.
   • Es wird zwischen allgemeinen Ausführungsgraphen, Kontextgraphen und prozeduralen Graphen unterschieden.
   • Graphen verleihen Agenten Vorhersagbarkeit, bessere Steuerbarkeit und Portabilität über verschiedene Laufzeitumgebungen hinweg.
2. 03:03:00 - 06:02:00

   Die Rolle der Wissensebene und des Neo4j Agent Memory Service

   Die Architektur von Neo4j verbindet die Kerndatenbank mit einer Schicht für agentische Intelligenz. Daten aus externen Quellen wie Dokumenten, Markdown-Dateien oder Data Warehouses werden in eine Graphenstruktur überführt. Dies erlaubt es, den Verlauf von Agentenentscheidungen nachzuvollziehen und das gesammelte Wissen unabhängig von der konkreten Ausführungsumgebung zu nutzen.

   • Neo4j positioniert eine Wissensebene zwischen Datensystemen wie Databricks oder Snowflake und den Agentenlaufzeiten.
   • Kontextgraphen speichern Kurzzeitgedächtnis, Langzeitgedächtnis in Form von Entitäten sowie Entscheidungstraces.
   • Standardprotokolle und Artefakte ermöglichen es, Graphen-Prozesse portabel für verschiedene Agenten-Frameworks bereitzustellen.
3. 06:02:00 - 10:50:00

   Kompilierung von Fertigkeiten und Leistungssteigerung

   Forschungen des Labs-Teams zeigen, dass das Überführen von Prosatexten und Fertigkeiten in strukturierte Graphen die Zuverlässigkeit von Agenten erhöht. Anstatt dem LLM die gesamte Ablaufsteuerung zu überlassen, folgt der Agent einem vorgegebenen Graphen mit festen Entscheidungspunkten und Skripten. Dies ermöglicht eine transparente Überprüfung durch Menschen und sichert die Einhaltung von Compliance-Vorgaben.

   • Prozedurales Wissen aus Dokumenten und Skripten lässt sich in deterministische Graphenstrukturen kompilieren.
   • Die Ausführung solcher Graphen durch den Agenten führt zu einer höheren Leistungsbelohnung bei gleichzeitiger Nutzung kleinerer Modelle.
   • Jeder Schritt bleibt versioniert und nachverfolgbar, was die Governance und die Erkennung von Abweichungen erleichtert.
4. 10:50:00 - 20:25:00

   Praxisbeispiel und Demo zum Kreditgenehmigungsprozess

   Anhand eines Beispiels für die Kreditprüfung bei einem Unternehmen wird demonstriert, wie Richtliniendokumente und Transaktionsdaten aus Databricks in einen Graphen eingespeist werden. Durch die Auslagerung des Routings und der harten Prüfungen in programmatische Skripte und typsichere Modelle entfällt die rechenintensive Entscheidungsfindung des LLMs. Dies führt zu deutlich schnelleren und stabileren Durchläufen.

   • Ein Kreditantragsprozess erfordert die strikte Einhaltung von Richtlinien und die Auswertung von Unternehmensdaten.
   • Durch das Kompilieren der Richtlinien in eine YAML-Grafikstruktur werden harte Regeln programmatisch geprüft.
   • Der Einsatz dieser Methode reduziert die Rechenzeit im Schnitt von viereinhalb Minuten auf unter zwei Minuten und senkt die Kosten drastisch.