00:00:00Seitdem Modelle immer leistungsfähiger werden, entwickeln viele Leute wirklich coole Produkte,
00:00:04integrieren Modelle darin und lösen damit etliche Probleme für uns. Aber diese Systeme verbrauchen viele
00:00:09Token, besonders wenn man ein Modell über eine API einbindet. Die Lösung hierfür ist viel
00:00:15einfacher, als man denkt. Die beste Architektur ist keine extreme Pipeline oder hochskaliertes Tuning,
00:00:20sondern eigentlich eine alte Philosophie, die die Basis von Unix-Systemen bildet: Alles ist eine Datei.
00:00:25Ich weiß, damals ging es nicht um Modellkosten, sondern um Geräte und Dateien. Aber
00:00:30erstaunlicherweise ist die Lösung für dieses Kostenproblem genau dasselbe Prinzip. Und das ist
00:00:35genau das, worüber ein Software-Ingenieur bei Vercel spricht. Bevor wir klären, warum Dateien die Lösung sind,
00:00:41schauen wir uns kurz an, wie diese Modelle eigentlich funktionieren. Modelle wurden
00:00:46mit riesigen Mengen an Code trainiert. Genau deshalb können sie Code,
00:00:50Verzeichnisstrukturen und native Bash-Skripte so gut verstehen, mit denen Entwickler Dateien navigieren.
00:00:56Wenn ein Agent Befehle wie grep oder ls nutzt, macht er nichts Neues. Er tut einfach das,
00:01:01was er bereits kann, nur in einer kontrollierteren Art und Weise. Das ist nicht auf Code beschränkt – Agenten können
00:01:06jedes beliebige Verzeichnis durchsuchen, egal ob mit Code oder ohne, da sie
00:01:11mit Befehlen vertraut sind und Dateisysteme verstehen. Wann immer ein Agent etwas braucht, sucht er im
00:01:17Dateisystem mit nativen Bash-Befehlen wie ls und find. Sobald der Agent die exakte Datei mit find gefunden hat,
00:01:23sucht er nach relevanten Inhalten innerhalb dieser Datei mittels Pattern-Matching durch grep und cat.
00:01:27Nur ein kleiner, relevanter Ausschnitt wird an das Modell gesendet, während der Rest nicht im Speicher landet.
00:01:32So bleibt das Kontextfenster sauber. Das bedeutet, wir verschwenden keine Token für irrelevante
00:01:36Daten, die das Modell gar nicht braucht. Mit diesem Ansatz liefert der Agent eine strukturierte Ausgabe.
00:01:41Dieses Muster funktioniert so gut, dass Vercel ein speziell darauf ausgelegtes Bash-Tool Open Source gemacht hat,
00:01:46das Agenten erlaubt, Dateisysteme genau wie ein Entwickler zu erkunden.
00:01:51Beim Bau von LLM-Systemen gibt es zwei Wege, dem Modell die richtigen Informationen zu liefern:
00:01:56Entweder über einen detaillierten System-Prompt, in der Hoffnung, dass der Agent ihn befolgt,
00:02:00oder indem man Daten in eine Vektordatenbank speist und semantische Suche nutzt. Aber beide
00:02:06Ansätze haben Grenzen. System-Prompts haben ein begrenztes Token-Fenster, was die Datenmenge
00:02:10pro Anfrage einschränkt. Für größere Datensätze nutzen wir die semantische Suche,
00:02:15die Informationen basierend auf der Bedeutung einer Anfrage findet. Aber Vektorsuche ist eher für
00:02:20semantische Ähnlichkeit als für exakte Suchen gedacht. Sie liefert Daten-Chunks, die zum allgemeinen
00:02:25Kontext passen, aber nicht unbedingt den spezifischen Wert enthalten. Das Modell muss dann selbst extrahieren.
00:02:30Dateisysteme bieten hier einen anderen Weg. Bei Dateisystemen bildet die Struktur tatsächlich die Domain ab.
00:02:35Oft spiegeln die Beziehungen zwischen Dateien in der Ordnerstruktur die Hierarchien wider.
00:02:40Bei Dateisystemen muss man diese Beziehungen nicht in Vektor-Chunks für das Modell flachklopfen.
00:02:45Das hilft dabei, den Verlust von Zusammenhängen zu vermeiden, der bei semantischer Suche oft auftritt.
00:02:49Diese hierarchischen Verbindungen bleiben natürlich erhalten und wahren die organisatorische Logik
00:02:54Ihrer Daten. Ein weiterer Vorteil ist, dass die Abfrage präzise ist, da grep und Bash-Tools
00:02:59exakte Treffer liefern – im Gegensatz zur Vektorsuche, die alle grob passenden Chunks zurückgibt.
00:03:05Dort muss das Modell entscheiden, was relevant ist. Mit Bash bekommt man nur den benötigten Wert.
00:03:10Der Kontext bleibt minimal, da Agenten nur den spezifischen Abschnitt erhalten, den sie brauchen.
00:03:15Andere Daten-Chunks landen gar nicht erst im Speicher. So bleibt der Agent fokussiert
00:03:20und verliert sich nicht in unzusammenhängenden Daten. Diese Idee ist Ihnen sicher nicht ganz neu.
00:03:25Sie wird bereits in Claude Code und allen CLI-Agenten genutzt, die Bash-Funktionen verwenden,
00:03:30um Ergebnisse mittels Pattern-Matching einzugrenzen. Wir nutzen das Dateisystem und
00:03:36die Fähigkeiten von Claude Code bereits für Recherchezwecke bei jeder Idee, die wir evaluieren.
00:03:41Normalerweise schicken wir neue Software-Tools durch diese Pipeline, die mehrere Phasen mit
00:03:46unseren Evaluierungskriterien umfasst. Alles ist in einer Markdown-Datei definiert,
00:03:51die Anforderungen, Ziele, das Format des finalen Dokuments und alle Infos für jede Phase enthält.
00:03:56Wir geben Claude auch Beispieldokumente als Orientierung für den Stil mit,
00:04:01und das finale Dokument wird in einem Ordner für Recherche-Ergebnisse gespeichert.
00:04:06Zur Steuerung dient eine Claude.md-Datei, die erklärt, wie die Idee Phase für Phase geprüft wird,
00:04:11bis am Ende ein Dokument steht, das alle unsere Kriterien erfüllt.
00:04:17Wenn wir etwas zu recherchieren haben, sage ich Claude einfach, um welche Idee oder welches Tool es geht.
00:04:22Es durchläuft dann den sechsstufigen Validierungsprozess – erst verstehen, dann Schritt für Schritt prüfen.
00:04:27Sobald alle Phasen durchlaufen sind, erstellt Claude einen Abschlussbericht, anhand dessen
00:04:32wir das Potenzial der Idee bewerten können. Dieser Dateisystem-Ansatz spart uns viel Zeit,
00:04:37da er einen Prozess automatisiert, den wir sonst mühsam manuell erledigen müssten.
00:04:42Wenn Sie diese Pipeline für Ihre eigenen Zwecke ausprobieren möchten, finden Sie eine fertige Vorlage
00:04:47in unserer neu gestarteten Community namens AI Labs Pro. Dort gibt es für dieses und
00:04:52alle vorherigen Videos direkt nutzbare Vorlagen, Prompts und alle Befehle für Ihre Projekte.
00:04:57Wenn Ihnen unsere Arbeit gefällt und Sie den Kanal unterstützen möchten, ist das der beste Weg.
00:05:03Links dazu in der Beschreibung. Ich habe mir deren Fallstudie angesehen, in der erklärt wurde,
00:05:08wie man mit dieser Architektur einen Sales-Summary-Agenten baut. Sie haben es auch Open Source gemacht,
00:05:12was mich auf eine interessante Idee für ein eigenes Projekt gebracht hat. Ich habe an einem
00:05:17Unternehmens-Wiki gearbeitet, mit vielen Daten als JSON, Markdown und TXT, getrennt nach Abteilungen.
00:05:22Normalerweise hätte ich dafür eine Vektordatenbank wie Chroma genutzt, aber ich wollte dem Tool eine Chance geben.
00:05:27Ich habe diese Architektur also implementiert. Im Backend habe ich den Pfad zum Datenordner
00:05:32hinterlegt und dem Agenten Zugriff auf ls, cat, grep und find gegeben, sowie eine Anleitung,
00:05:39wann welcher Befehl zu nutzen ist. Ich habe das Gemini 2.5 Flash Modell verwendet,
00:05:44das Bash-Tool von Vercel eingebunden und den Pfad zu den Dokumenten im Tool hinterlegt.
00:05:49Als ich den Agenten mit Fragen zu den Daten testete, antwortete er basierend auf den exakten
00:05:55Inhalten der Unternehmensrichtlinien, inklusive Handbuch und Urlaubsregelungen.
00:06:01Um die Funktionsweise zu prüfen, habe ich die Tool-Nutzung im Terminal mitgeloggt. Der Agent nutzte erst
00:06:06den ls-Befehl für die Übersicht und dann grep mit Pattern-Matching, um nach Urlaubstagen zu suchen.
00:06:11Diese Befehle haben die Anfrage präzise beantwortet – mit derselben Genauigkeit wie ein RAG-System.
00:06:16Den Quellcode für dieses Projekt finden Sie in unserer Community zum Download und Ausprobieren.
00:06:21Die erste Frage, die ich mir bei diesem Tool stellte, war: Ist es wirklich sicher,
00:06:27Agenten Befehle auf dem Server ausführen zu lassen? Wir haben erst im letzten Dezember eine
00:06:32Schwachstelle in React Server Components gesehen, die mit 10.0 bewertet wurde – das Maximum auf der Skala.
00:06:38Es ging um Code-Ausführung auf dem Server. Das ist also eine extrem mächtige und potenziell gefährliche Fähigkeit.
00:06:43Warum vertraue ich diesem Tool also? Weil es in einer Sandbox läuft und isoliert ist.
00:06:47Es greift nur auf das angegebene Verzeichnis zu und verändert sonst nichts. Im Artikel wurde auch erwähnt,
00:06:52dass der Agent Dateien ohne Zugriff auf das Produktionssystem erkundet. Ihr Live-Code bleibt also sicher,
00:06:57selbst wenn der Agent versucht, schädliche Befehle auszuführen. Es gibt zwei Arten der Isolation:
00:07:03Die erste ist eine In-Memory-Umgebung. Hier nutzt er nur das Bash-Tool auf den freigegebenen Dateien,
00:07:08genau wie wir es bei unserem Agenten gemacht haben. Der zweite Typ ist eine voll kompatible
00:07:14Sandbox-Umgebung mit vollständiger VM-Isolation über die Vercel Sandbox.
00:07:19Man kann je nach Bedarf wählen. Der In-Memory-Ansatz ist leichter und schneller für einfache Fälle,
00:07:24während die VM-Isolation besser ist, wenn man höchste Sicherheitsgarantien benötigt.
00:07:29Auch wenn dieser Ansatz hilft, Kosten pro Modellaufruf zu sparen, ist er nicht für alle Probleme ideal.
00:07:35Er eignet sich weniger, wenn es um die Bedeutung von Wörtern geht, da Bash-Tools auf exakte Treffer setzen.
00:07:40Wie wir gesehen haben, nutzt der Agent spezifische Keywords, um Daten zu finden.
00:07:46Es ist auch nicht für unorganisierte Dateistrukturen geeignet, da der Agent sich sonst in Tool-Aufrufen verstrickt.
00:07:51Eine Struktur, die der Agent leicht navigieren kann, ist viel besser. Mein persönlicher Rat:
00:07:56Nutzen Sie das Bash-Tool bei hochstrukturierten Daten und klaren Anfragen.
00:08:01Nutzen Sie RAG, wenn die Bedeutung wichtig ist oder die Anfragen eher vage ausfallen.
00:08:06Bevor wir zum Ende kommen, ein Wort von unserem Sponsor: Brilliant. Die besten Ingenieure kennen nicht nur Syntax.
00:08:11Sie lösen Probleme von Grund auf. Deshalb sind wir Partner von Brilliant. Deren Philosophie ist,
00:08:17dass man durch Tun am besten lernt. Aktives Problemlösen steht im Vordergrund, statt nur auswendig zu lernen.
00:08:22Im Kurs “How AI Works” zum Beispiel liest man nicht nur, sondern manipuliert die Logik selbst.
00:08:27Man befasst sich direkt mit Details wie der Verlustberechnung und Visualisierungen,
00:08:32was eine Intuition schafft, die kein Video bieten kann. Durch diese interaktiven Kurse
00:08:37meistern Sie die besprochenen Konzepte am effektivsten. Zudem erhalten Sie 20 % Rabatt
00:08:42auf das Jahres-Premium-Abo, was den Zugriff auf den gesamten Katalog für Mathe, Daten und Informatik freischaltet.
00:08:47Klicken Sie auf den Link in der Beschreibung oder scannen Sie den QR-Code für eine kostenlose 30-Tage-Testversion.
00:08:52Damit sind wir am Ende des Videos. Wenn Sie den Kanal unterstützen und uns helfen möchten,
00:08:57können Sie das über den “Super Thanks”-Button unter dem Video tun. Wie immer, danke fürs Zuschauen!
00:09:02visualizing interpolation, building a deep intuition you just can't get from a video lecture. Through
00:09:07their interactive technical courses, you get the most effective way to truly master the concepts
00:09:12we talk about. You'll also get 20% off on annual premium subscription, unlocking their entire catalog
00:09:17of math, data, and CS courses, giving you a complete roadmap to upskill. Click the link in the description
00:09:22or scan the QR code on your screen to claim your free 30-day trial. That brings us to the end of
00:09:28this video. If you'd like to support the channel and help us keep making videos like this, you can
00:09:32do so by using the super thanks button below. As always, thank you for watching and I'll see you in the next one.