Wie eine Handelsfirma neue KI-Modelle am selben Tag veröffentlicht – Noyan Tokgozoglu, Optiver

Highlights

• Das Handelsunternehmen Optiver führt täglich über 10 Millionen Trades aus, preist Millionen von Finanzinstrumenten ein und verarbeitet täglich Petabytes an Daten.

• Jede bei Optiver implementierte Änderung wird für Trader und Quants ausgerollt und zeigt ihre Gewinnauswirkungen buchstäblich innerhalb von Stunden.

• Um Unabhängigkeit von bestimmten Cloud-Anbietern zu wahren und regulatorische Vorgaben zu erfüllen, läuft fast die gesamte KI-Infrastruktur lokal vor Ort mit eigenen GPUs.

• Durch den Einsatz von Self-Service-Modellen stiegen die Token-Ausgaben im Sommer nach großen Modellveröffentlichungen massiv an, konnten jedoch durch gezielte Optimierungen wie MCP-Tool-Suche und CLI-Wiederverwendung wieder unter Kontrolle gebracht werden.

• Das Engineering-Team setzt Entwickler direkt neben die Trader, um Arbeitsabläufe zu verstehen und plattformübergreifenden Mehrwert zu generieren.

• Neue Frontier-Modelle werden über ein ausgereiftes Evaluierungsframework am selben Tag des Releases an internen goldenen Datensätzen gebenchmarkt.

Timeline

1. 00:00 - 02:52

   Hintergrund und Ökonomie des KI-Einsatzes im Eigenhandel

   Das Unternehmen setzt seine Bilanz zu Beginn jedes Tages auf null und ermittelt den Gewinn am Tagesende unmittelbar. Diese unmittelbare Feedbackschleife führt zu einer hohen Bedeutung von schnellen Entscheidungen und einer ausgeprägten Tendenz zum Handeln. Verpasste Marktgelegenheiten sind extrem kostspielig, weshalb die Infrastruktur auf maximale Performanz und Geschwindigkeit ausgelegt ist.

   • Optiver agiert als globaler Market Maker ohne Kunden und handelt ausschliesslich mit eigenem Kapital an über zehn weltweiten Standorten.
   • Die täglichen Operationen umfassen über 10 Millionen Trades, Millionen bewertete Finanzinstrumente und die Verarbeitung von Petabytes an Daten.
   • Im Gegensatz zu klassischen Softwareunternehmen mit monatelangen Engagement-Metriken zeigt sich der finanzielle Effekt von Änderungen bei Optiver innerhalb von Stunden.
2. 02:52 - 07:06

   Aufbau der eigenen KI-Plattform und Sicherheitsarchitektur

   Um den Herausforderungen einer dezentralen und schnelllebigen Technologielandschaft zu begegnen, setzt das Team auf einen Forward-Deployment-Ansatz. Dabei arbeiten KI-Engineers direkt mit den Trading-Teams zusammen. Die Architektur umfasst ein Inferenz-Gateway für das Routing zwischen verschiedenen Modellen sowie eine zentrale Agentenplattform mit registrierten Skills und Tools.

   • Eine eigene KI-Plattform wurde auf Basis von Modularität, hoher Geschwindigkeit und umfassenden internen Benchmarks entwickelt.
   • Sämtliche Kernprozesse laufen aus regulatorischen Gründen und zum Schutz des geistigen Eigentums lokal vor Ort auf eigenen GPUs.
   • Die Kommunikation nach aussen beschränkt sich rein auf Modellinferenz von Drittanbietern unter strikten Vereinbarungen zur Datenaufbewahrung wie Zero-Data-Retention.
3. 07:06 - 10:04

   Same-Day-Veröffentlichungen und Modellunabhängigkeit

   Durch die Trennung über ein Inferenz-Gateway ist das System unabhängig von spezifischen Cloud-Anbietern oder Regionen. Interaktionsdaten werden automatisch erfasst und an ein Evaluierungssystem weitergeleitet. Dies ermöglicht es dem Unternehmen, flexibel zwischen On-Premises-Modellen und externen Anbietern zu wechseln und gleichzeitig Ausfallsicherheit zu garantieren.

   • Neue Frontier-Modelle werden noch am selben Tag ihrer Veröffentlichung in Produktionsabläufe integriert, sofern sie einen echten Mehrwert bieten.
   • Ein umfassendes Evaluierungsframework testet neue Modelle direkt an internen Datensätzen und kundenseitigen Trading-Benchmarks.
   • Ein regionales Support-System stellt rund um die Uhr eine hohe Verfügbarkeit der globalen Systeme sicher.
4. 10:04 - 13:58

   Kostenkontrolle und Optimierung des Token-Konsums

   Nach starken Kostenanstiegen bei grossen Modellveröffentlichungen im Sommer griff das Team regulierend ein, ohne den Innovationsdrang zu bremsen. Ergänzend dazu fördert der gezielte Einsatz von Open-Source-Modellen und intelligentem Modell-Routing eine wirtschaftliche Ressourcennutzung. Das Hauptziel bleibt dabei, einen höheren Return on Investment aus denselben Token-Mengen zu generieren.

   • Unkontrollierte Self-Service-Nutzung führte zeitweise zu extrem hohen Kontextlängen von über 200k Token pro Sitzung.
   • Die Implementierung einer MCP-Tool-Suche, effizienter CLIs und angepasster Caching-Mechanismen senkte die Token-Kosten spürbar.
   • Transparenz und automatisierte Benachrichtigungen versetzen die Teams in die Lage, ihre Budgets und Limits eigenständig zu verwalten.
5. 13:58 - 16:01

   Benutzeroberflächen und kollaborative Agenten-Workflows

   Um zu verhindern, dass Entwickler isolierte Einzellösungen aufbauen, stellt die Plattform standardisierte und komfortable Benutzeroberflächen bereit. Diese Integration fördert die Akzeptanz im gesamten Unternehmen und bindet die Endnutzer direkt in die Weiterentwicklung der internen Tools ein.

   • Eine unternehmensweite Weboberfläche zur Sitzungsverwaltung bündelt diverse maßgeschneiderte Testumgebungen an einem zentralen Ort.
   • Trader steuern aktiv eigenen Code und Pull Requests bei, wodurch kollaborative Dokumentenbearbeitung ermöglicht wird.
   • Multiplayer-Räume erlauben die Vernetzung verschiedener menschlicher und automatisierter Agenten.
6. 16:01 - 23:13

   Fragerunde zu Wissensdatenbanken, Tool-Evaluierung und Skalierung

   In der abschliessenden Fragerunde diskutiert der Sprecher die praktischen Hürden beim Speichern und Abrufen von Kontextwissen. Zudem wird erläutert, warum Optiver auf Eigenentwicklungen anstelle von Standard-Plattformen setzt, um Vendor Lock-in zu vermeiden. Zum Thema Skalierung betont er, dass Agenten zur Wahrung der Messbarkeit besser spezialisiert und über ein zentrales Ledger verknüpft werden sollten.

   • Hybride Ansätze aus Vektorsuche und strukturierten Daten bilden die aktuelle Grundlage für Wissensdatenbanken, bleiben jedoch optimierungsbedürftig.
   • Das Protokollieren von Tool-Aufrufen unterstützt die Evaluierung, stösst jedoch bei externen Systemzuständen an Grenzen.
   • Komplexe Agenten werden künftig über ein zentrales Gateway modular aufgeteilt, anstatt sie durch monolithische Funktionserweiterungen aufzublähen.