Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Wenn man dem Projekt ein Open-Source-Skillset hinzufügt, treten aufgrund von Versionsunterschieden zwischen Python- und Node-Laufzeiten sofort Fehler auf. Zuerst muss im lokalen Terminal überprüft werden, ob die Node-Version 24 LTS oder höher ist. Erstelle im Stammverzeichnis des Projekts eine virtuelle Python-Umgebung, aktiviere sie und installiere die Pakete in einem isolierten Zustand neu. Wenn dieser Schritt übersprungen wird, tritt ein Endlos-Suchschleifenfehler auf, und API-Kosten in Höhe von 150 bis 400 US-Dollar pro Monat sind im Handumdrehen weg. Produktionsdaten von Dataherald zeigen, dass die Einhaltung von Umgebungsisolieregeln die Debugging-Zeit um 66 Prozent verkürzt hat.
Um Konfigurationsdateien gemeinsam mit Teammitgliedern zu nutzen, sollte eine hierarchische Konfigurationsverwaltungsstruktur verwendet werden. Der Coding-Agent liest Konfigurationsdateien in folgender Reihenfolge: lokales Systemstammverzeichnis, Git-Repository-Stammverzeichnis und aktuelles Arbeitsverzeichnis. Teamweite Standardoptimierungsregeln werden in der Datei .aider.conf.yml festgehalten. Persönliche API-Schlüssel oder lokale Debugging-Optionen werden in eine .env-Datei ausgelagert und von der Git-Verfolgung ausgeschlossen. Durch die Verwendung dieser Struktur entfällt das Problem, dass Ergebnisse aufgrund unterschiedlicher Entwicklungsumgebungen bei Teammitgliedern voneinander abweichen.
Wenn Fehlermeldungen einströmen und eine Wiederherstellung innerhalb von 10 Minuten gelingen soll, müssen die Rollback-Kriterien klar sein. Wenn Laufzeitabhängigkeiten kollidieren, werden alle lokalen Pakete innerhalb von 5 Minuten komplett neu installiert. Wenn der Agent dreimal oder öfter hintereinander dieselben Schritte zur Korrektur wiederholt, wird der Prozess sofort abgebrochen und in den vorherigen Zustand zurückversetzt. Wenn mehr als 5 Dateien berührt wurden, werden die Änderungen vollständig rückgängig gemacht und das Skillset wird neu geladen. Nur mit diesem Prinzip kann man einen klaren Kopf bewahren, wenn das System beschädigt wird.
Um eine unerwartet hohe Rechnung zu vermeiden, muss die tägliche Token-Obergrenze passend zur Projektgröße berechnet werden. Der monatliche geschätzte Token-Verbrauch ergibt sich aus der Gesamtzahl der Anfragen multipliziert mit den Basis-Tokens pro Anfrage, gefolgt von einem Budget-Multiplikator zwischen 1,7 und 2,0, der Wiederholungen und die Ansammlung des Kontexts berücksichtigt. Für kleine Ein-Personen-Projekte wird eine tägliche Token-Obergrenze von 1 Million Tokens festgelegt und das Monatsbudget auf 30 Millionen Tokens begrenzt. Durch die Anwendung dieser Berechnungsmethode lassen sich die monatlichen KI-API-Kosten um mindestens 40 Prozent senken.
Einfache Code-Autovervollständigungen und die Generierung von Unit-Tests werden günstigen, kleinen lokalen Modellen überlassen. Für High-Level-Architekturen oder schwieriges Debugging kommt ein Cascaded-Routing-Pattern zum Einsatz, bei dem nur für diese Aufgaben Frontier-Modelle aufgerufen werden. Die Aufteilung der Modellebenen über ein Open-Source-Gateway wie LiteLLM spart im Vergleich zur Nutzung des leistungsstärksten Modells über 97 Prozent der Kosten.
Ohne Budgetüberschreitungswarnungen lässt sich ein Budgetüberzug kaum verhindern. Die Slack-Webhook-URL wird in der Konfigurationsdatei des LiteLLM-Gateways eingetragen. Bei der Ausstellung temporärer API-Schlüssel werden die Parameter max_budget und budget_duration verwendet, um das Budget festzulegen. Wenn das Budget zu 80 Prozent ausgeschöpft ist, wird eine Warnung an Slack gesendet, und bei 100 Prozent werden weitere Aufrufe durch eine HTTP-429-Ausnahme blockiert. In Produktionsanwendungsfällen von LinkedIn wurden die Kosten pro einzelnem Debugging-Durchlauf auf diese Weise um 87,7 Prozent gesenkt.
Wer versucht, den gesamten Code auf einmal zu ändern, bringt das System zum Stillstand. Die Ponytail-Optimierungs-Skills werden zuerst auf unabhängige Bibliotheken mit geringer Domänenabhängigkeit und auf Datenkonvertierungs-Dienstprogramme angewendet. Sobald die Stabilität in unabhängigen Modulen nachgewiesen ist, wird der Bereich auf die Business-Logik-Schicht ausgedehnt. Erst nachdem die Ausgabengenauigkeit verifiziert wurde, geht man zum Code der Kerndomäne über und wirft alle bisherigen langen Prompt-Vorlagen komplett weg. Nur in dieser 3-Schritt-Reihenfolge lässt sich verhindern, dass große Repositories beschädigt werden.
Um bestehende Prompt-Vorlagen und neue Optimierungslogiken gemeinsam zu nutzen, ist eine Kontext-Blockierungsschicht erforderlich. Alle langatmigen, beschreibenden Textpassagen in hartcodierten Prompts werden gelöscht. Die Ponytail-Constraint-Regeln werden ganz oben in den System-Prompt eingefügt. Bei der Anbindung eines RAG-Systems (Retrieval-Augmented Generation) wird anstelle des Ladens kompletter Dateien die semantische Chunking-Methode kombiniert, um die Menge der Kontext-Tokens drastisch zu reduzieren. Allein durch diese Bereinigungstechnik sinkt die Anzahl der Agenten-Tool-Aufrufe um durchschnittlich 41,6 Prozent pro Aufgabe.
Nach Abschluss der Migration wird ein Open-Source-Evaluierungsframework wie Promptfoo in der Entwicklungsumgebung installiert. Es wird ein identischer Satz repräsentativer Testfälle erstellt und eine Konfigurationsdatei geschrieben, um die Leistung vor und nach der Optimierung zu vergleichen. Durch die Durchführung von Regressionstests wird sichergestellt, dass die Erfolgsquote bei über 90 Prozent liegt. Laut LinkedIn-Produktionsdaten lag die Erfolgsquote der Regressionsests nach der Optimierung bei 94,5 Prozent.
Unterschiede bei den Ergebnisse, die durch unterschiedliche Tool-Versionen bei Teammitgliedern entstehen, werden durch die strikte Fixierung von Paketversionen verhindert. Bei der Einrichtung der Entwicklungsumgebung wird das Promptfoo-CLI passend zur Node-24-LTS-Umgebung installiert. Um eine Verunreinigung der Lifecycle-Skripte zu verhindern, wird die Option ignore-scripts erzwungen. Python-basierte Agenten-Tools binden ihren Abhängigkeitsbaum über eine requirements.txt-Datei ein. Erst durch diese Standardisierung erzielt das gesamte Team exakt dieselbe Ausgabe.
Mit GitHub Actions wird eine Pipeline erstellt, die in der PR-Phase automatisch prüft, ob die Optimierungsregeln eingehalten wurden. Dazu wird die Workflow-Datei .github/workflows/ai-governance-eval.yml erstellt. Der statische Analysator LLM-Armor wird ausgeführt, um den Code für API-Aufrufe auf das Risiko eines unbegrenzten Token-Verbrauchs zu untersuchen. Über die Integration der Promptfoo-Evaluierungsengine wird das Zusammenführen von Pull Requests (PRs) automatisch blockiert, wenn die Erfolgsquote der Regressionsests unter 90 Prozent fällt. Diese Automatisierungspipeline eliminiert den Aufwand für die Einhaltung interner Sicherheitsstandards.
Es muss eine Dokumentation erstellt werden, damit neue Teammitglieder ihre Entwicklungsumgebung innerhalb eines Tages ohne zusätzliche Erklärungen einrichten können. Im Stammverzeichnis des Repositorys wird eine AGENTS.md-Datei abgelegt, die die Erkennungspfade des Agents und die Optimierungsbeschränkungen beschreibt. Zudem wird das automatisierte Ausführungsskript scripts/setup-ai-environment.sh erstellt. Neue Teammitglieder müssen im Terminal lediglich dieses eine Skript ausführen, um die Ponytail-Skills und die Kontrollumgebung innerhalb einer Stunde zu initialisieren.
