Unser kleineres Modell schlägt Opus bei Finanzaufgaben – Alexander Shevchenko, Ramp
Original · Our Smaller Model Beat Opus on Finance Tasks - Alexander Shevchenko, Ramp
Key Takeaway
Durch gezieltes Post-Training und den Einsatz von Agentenschwärmen lassen sich spezialisierte KI-Modelle entwickeln, die bei geringeren Kosten und minimaler Latenz etablierte Frontier-Modelle übertreffen.
Highlights
Die Anzahl der Anwendungsfälle für LLMs ist im vergangenen Jahr um 123 % gestiegen.
Das nachgetrainierte Modell QAN 3.5 mit 35 Milliarden Parametern übertrifft Opus 4.6 bei der exakten Aufgaben-Genauigkeit.
Zehntausend parallele Agenten deckten sieben kritische Schwachstellen bei einem vollständigen Penetrationstest auf.
Open-Weight-Modelle kosten bis zu fünfmal weniger als führende Reasoning-Modelle, liefern im Schwarm jedoch eine vergleichbare Erkennungsrate.
Timeline
Einführung und Kontext von Ramp Labs
Alex Kaplan erläutert die Entwicklung von Ramp Labs und erklärt, warum angewandte Forschung innerhalb eines Anwendungsintegrators trotz schneller Modellfortschritte notwendig bleibt. Während im Jahr 2023 noch restriktive Leitplanken und minimale Kontexte notwendig waren, ermöglichen moderne Modelle eine breitere Integration. Dennoch ist zusätzliche Forschungsarbeit erforderlich, um maßgeschneiderte Erfahrungen für Finanzexperten zu schaffen.
- Ramp agiert als ein stark von der Bitter Lesson geprägtes Unternehmen im Anwendungsbereich.
- Ständig neu veröffentlichte Frontier-Modelle senken die Token-Kosten auf Stückkostenbasis.
- Agentenanwendungen erfordern im Jahr 2026 dank fortgeschrittener Modelle und MCPs deutlich weniger komplexe Leitplanken als noch 2023.
Entwicklung eines spezialisierten Finanzmodells
Um die Reibung bei komplexen Finanzmodellierungen in Tabellenkalkulationen zu verringern, wurde ein spezialisiertes Abfrage- und Frage-Antwort-Modell entwickelt. Anstatt rechenintensive Frontier-Modelle für den gesamten Prozess zu nutzen, dient ein schnelleres QAN 3.5-Modell als effiziente Ergänzung für den intelligenten Orchestrator.
- Ramp Sheets startete als früher Tabellenkalkulations-Agent für Finanz- und Buchhaltungsfachleute.
- Opus 4.6 erwies sich bei der Erstellung von DCF-Modellen als zu langsam und teuer.
- Das in Partnerschaft mit Prime Intellect trainierte Modell QAN 3.5 erreicht die Genauigkeit von Opus bei der Latenz von Haiku.
KV-Cache-Tricks und Cartridges
Durch die Nutzung von Cartridges lässt sich das Problem wiederkehrender Aufgaben wie dem monatlichen Buchabgleich lösen. Große Mengen an Hauptbüchern und Dokumenten werden im Voraus komprimiert bereitgestellt, sodass der Agent zu Beginn des Monats sofort ohne zeitaufwändige Datenabrufe agieren kann.
- Cartridges komprimieren umfangreiche Kontextdaten offline im KV-Cache.
- Der Monatsabschluss lässt sich durch vorbereitete Kontexte über Nacht automatisieren.
- Diese Technik erfordert weniger Aufwand als ein vollständiges Post-Training.
Agentische Schwärme und MapReduce
Das Cloud-Agentensystem Ramp Inspect demonstriert den Einsatz von agentischem MapReduce im großen Stil. Zehntausend parallele Instanzen untersuchten die Infrastruktur auf Schwachstellen und reproduzierten diese adversarial, wodurch komplexe Fehler wie Lua-Skriptinjektionen vollständig automatisiert aufgedeckt wurden.
- Zehntausend parallele Agenten führten einen automatisierten Penetrationstest bei Ramp durch.
- Das System identifizierte und patchte sieben Schwachstellen mit dem höchsten Schweregrad.
- Open-Weight-Modelle bieten innerhalb von Schwärmen eine kostengünstige Alternative mit hoher Erkennungsrate.
Produkte und Ausblick von Ramp Labs
Die gewonnenen Forschungserkenntnisse fließen direkt in kommerzielle Produkte wie das Token-Ausgabenmanagement und Ramp Router ein. Abschließend verweist der Vortrag auf weitere Veröffentlichungen zu Themen wie semantisches Tagging und automatisierte Monitoring-Systeme auf dem Ramp Labs-Blog.
- Das Token-Ausgabenmanagement analysiert die LLM-Nutzung anhand semantischer Taxonomien.
- Ramp Router optimiert die Latenz und die Token-Kosten durch verschiedene Routing-Strategien.
- Der Ramp Labs-Blog veröffentlicht fortlaufende Forschungen zu Wissenstransfer und selbstrektifizierendem Monitoring.
Description
Alexander Shevchenko of Ramp Labs explains why an application company still runs applied research instead of waiting for the next frontier model. He walks through three projects now in production: a post-trained Qwen 3.5 model that beat Opus 4.6 on financial question answering at Haiku-level latency, KV cache "cartridges" that pack 20 to 30 times more context into an agent ahead of time for tasks like month-end close, and swarms of 10,000 parallel agents that pen-tested Ramp and found seven high-severity vulnerabilities, with cheaper open-weight models catching nearly as much. Chapters: 0:00 Intro 0:36 A bitter-lesson company 1:15 Why not just wait? 1:29 Building agents in 2023 vs 2026 3:06 Project 1: A specialist model for Ramp Sheets 5:16 Beating Opus at Haiku speed 5:58 Project 2: KV cache cartridges 7:50 Project 3: 10,000 agents pen-testing Ramp 9:30 Cheaper open-weight models in swarms 10:08 Saving time and money 10:36 Token spend management and Ramp Router 12:03 More from the Ramp Labs blog Alexander Shevchenko https://ramp.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!