ShipSF Workshops – V, von Grund auf

하이라이트

• Vercel betreibt V als zentralen Orchestrierungsagenten auf Basis des Frameworks Eve, um spezialisierte Agenten wie D0, v0 und externe Tools für alle Abteilungen zentral erreichbar zu machen.

• Ein Wechsel des zugrunde liegenden LLMs innerhalb von V erfordert dank AI Gateway lediglich die Anpassung einer einzigen Konfigurationszeile.

• Der Test eines extrem kostengünstigen Minimalmodells für die Reasoning-Schleife von V führte zu einem massiven Einbruch der Routing-Qualität und wurde sofort rückgängig gemacht.

• Negatives Nutzerfeedback über Daumen-nach-unten-Buttons in Slack generiert automatisch Testfall-Entwürfe über ein LLM-as-a-Judge, die vor der Aufnahme in die Eval-Suite eine menschliche Prüfwarteschlange durchlaufen.

• Die Trace-Richtlinie von V entfernt Eingabe- und Ausgabedaten bei privaten Zielgruppen wie DMs und leitet diese Erfassungsbeschränkungen über Eve an aufgerufene Remote-Agenten weiter.

타임라인

1. 00:00 - 04:19

   V als zentraler Einstiegspunkt für verteilte Fachagenten

   Vercel entwickelte zahlreiche isolierte Agenten für Fachbereiche wie Daten, Abrechnung und Incident-Analysen. Für Mitarbeiter entstand dadurch das Problem, für jede Fragestellung den passenden Bot manuell identifizieren zu müssen. V löst diesen Fragmentierungsaufwand als koordinierende Eingangstür auf Basis des Frameworks Eve. Nutzer stellen natürliche Anfragen, während V Quellen aus Notion, Slack und Dokumentationen bündelt.

   • V fungiert als primäre Schnittstelle in Slack und Web-App für unternehmensweite Aufgaben.
   • Geplante Workflows erstellen automatisiert Berichte und To-Dos vor Beginn des Arbeitstages.
   • Die Vielzahl spezialisierter Bots erschwerte die Auffindbarkeit für neue Mitarbeiter.
   • Eine interne Plattform ermöglicht Teams das Teilen und Wiederverwenden von Workflows als Fähigkeiten.
2. 04:20 - 09:21

   Spezialist D0 und das Remote-Agenten-Protokoll

   D0 beantwortet Geschäftsfragen direkt im Kanal Ask D0 und lieferte in einer Abfrage 450 Millionen npm-Downloads über acht Wochen inklusive Trendanalyse. Durch das Remote-Agenten-Protokoll von Eve behält das Datenteam die volle Verantwortung über die Definitionen und Datensätze im eigenen Repository. V delegiert Aufgaben anhand präziser Routing-Beschreibungen, ohne dass der Hauptprompt das gesamte Unternehmenswissen enthalten muss.

   • D0 liefert semantische Abfragen und statistische Interpretationen für Unternehmensdaten.
   • Remote-Agenten laufen als eigenständige Dienste mit eigenen Werkzeugen, Prompts und Evals.
   • Ein Routing-Vertrag pro Spezialist definiert über eine Beschreibungsdatei die Zuständigkeitsgrenzen.
3. 09:22 - 15:52

   Verkettung von D0, v0 und Notion zu einem Workflow

   Eine Gesamtanfrage verlangt die Erstellung eines Download-Reports mit Diagramm in Notion. V ruft nacheinander D0 für die Datenanalyse auf, erzeugt über ein MCP-Tool in v0 ein interaktives Dashboard und hinterlegt den fertigen Bericht via Notion-API. Die Ausführung stützt sich auf Claude Opus 5.5 Fast, wobei das Modell bei Bedarf über eine einzige Zeile in der AI-Gateway-Konfiguration ausgetauscht werden kann.

   • Eve steuert Sitzungen, Tasks, Identitäten und Berechtigungen während mehrstufiger Abläufe.
   • V orchestriert eine serielle Abfolge aus Datenanalyse, Visualisierung und Berichterstellung.
   • Die Anbindung von Modellen und Tools erfolgt flexibel über AI Gateway und MCP-Verbindungen.
4. 15:53 - 20:07

   Koordinationskosten und durchgängige Workflows

   Um Latenzen und Kontextbrüche zwischen Remote-Diensten zu reduzieren, migriert die Architektur zunehmend zu Eve-Erweiterungen im Monorepo. Bei mehrstufigen Workflows drohen semantische Fehler, wenn Randbedingungen wie Zeitfenster oder Berechnungsdefinitionen zwischen den Einzelschritten verloren gehen. Die reine technische Erfolgsquote einzelner Aufrufe reicht daher als Qualitätskriterium für komplexe Agentenketten nicht aus.

   • Eve-Erweiterungen bündeln Skills und Tools direkt innerhalb der Ausführungsumgebung von V.
   • Erfolgreiche Tool-Aufrufe garantieren keine inhaltlich korrekte Weitergabe von Kontext und Annahmen.
   • Informationsverlust bei Übergaben verfälscht Kennzahlen wie Downloadzahlen zu angeblichem Nutzerwachstum.
5. 20:08 - 24:02

   Evaluierungsarchitektur und LLM-as-a-Judge

   Workflow-Tests verifizieren Randfälle wie Datenlücken oder fehlende Berechtigungen, damit Artefakte nicht stillschweigend verfälscht werden. Klicks auf Feedback-Schaltflächen in Slack erfassen fehlerhafte Antworten mitsamt Prompt und Kontext. Ein Richter-LLM analysiert das Routing sowie die inhaltliche Qualität und übermittelt Testfall-Entwürfe in eine Warteschlange, bevor Entwickler sie dauerhaft in die Testsuite aufnehmen.

   • Tests prüfen Einzelfähigkeiten von Teams sowie das finale Endergebnis des Gesamt-Workflows.
   • Fehlende Datenpunkte müssen in Diagrammen als Lücken statt als Nullen dargestellt werden.
   • Ein LLM-as-a-Judge verarbeitet negatives Nutzerfeedback zu vorgeschlagenen Testfällen.
6. 24:03 - 29:52

   Sicherheitsgrenzen, Identitätsweiterleitung und Trace-Schutz

   Wenn ein Agent interne Systeme abfragt, bestimmt die Nutzeridentität die Datenfreigabe an der Quelle. Die Entscheidung über die Bereitstellung verhindert, dass vertrauliche Zusammenfassungen in öffentlichen Slack-Kanälen landen. Fehlende Berechtigungen fängt das System über temporäre Slack-Nachrichten mit OAuth-Links ab. Zudem werden sensible Eingaben in Traces für private Umgebungen maskiert und diese Beschränkungen an nachgelagerte Remote-Agenten durchgereicht.

   • Dienst-Authentifizierung und Nutzeridentitätsweiterleitung sind strikt getrennte Mechanismen.
   • Die Quellautorisierung schützt vertrauliche Dokumente vor einer Veröffentlichung in falschen Zielgruppen.
   • Trace-Richtlinien entfernen Ein- und Ausgaben bei privaten Kanälen und DMs vollständig.
7. 29:53 - 43:08

   Leitfaden für unternehmenseigene Agentensysteme und Fragerunde

   Der Aufbau eines unternehmensweiten Assistenten gelingt am besten durch die schrittweise Automatisierung bestehender Team-Workflows und deren Verknüpfung über gemeinsame Tools. In der Fragerunde wird betont, dass V als Orchestrator eng an Eve gekoppelt bleibt, während externe Systeme über MCP oder Remote-Protokolle angebunden werden können. Bei unklaren Benutzerfragen fordert das System aktiv Zusatzinformationen an, um Fehlroutings zwischen Support-, Daten- und Incident-Spezialisten zu vermeiden.

   • Neue Implementierungen beginnen bei einem konkreten, wiederkehrenden Arbeitsablauf statt bei einem Allzweck-Bot.
   • Sensible Datenbestände verbleiben exklusiv in dedizierten Diensten wie D0.
   • V stellt bei mehrdeutigen Nutzeranfragen klärende Rückfragen zur Eingrenzung des Kontexts.