Warum Frontier-Modelle als Buy-Side-Analysten versagen - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
원제 · Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
핵심 요약
Google DeepMind und Kaggle standardisieren die Evaluierung von KI-Modellen durch praxisnahe Benchmarks wie MandateBench, um die bisherigen Schwächen bestehender Testverfahren bei realen Arbeitsabläufen zu beheben.
하이라이트
Kaggle hat im Februar 2026 zu Google DeepMind gewechselt und fungiert seitdem als öffentliche Plattform für die Evaluierung von Spitzenmodellen.
Eine Untersuchung von 65 Branchen-Benchmarks ergab Abweichungen von bis zu plus/minus 20 Prozent bei wiederholten Durchläufen auf derselben Infrastruktur.
Google DeepMind vergibt im vierten Quartal Fördermittel in Höhe von fünf Millionen Dollar zur Finanzierung von Benchmark-Entwicklungen und Evaluierungsforschung.
MandateBench ist ein gemeinsamer Benchmark von LinkAlpha, Google DeepMind und Kaggle, der die Leistungsfähigkeit von KI-Modellen als Buy-Side-Aktienanalysten bewertet.
Die erste Phase von MandateBench umfasst zehn spezifische Aufgaben, während der vollständige Benchmark mit 50 Aufgaben im November 2026 veröffentlicht wird.
타임라인
Einführung und Hintergrund von Kaggle bei Google DeepMind
Die Veranstaltung beginnt mit einer Übersicht über die Entstehung und den Zweck von Kaggle sowie dessen neuen organisatorischen Status innerhalb von Google DeepMind. Dabei wird erläutert, wie die langjährige Erfahrung im Bereich menschlicher Data-Science-Wettbewerbe auf die automatisierte Bewertung von KI-Modellen übertragen wird.
- Kaggle veranstaltet seit 15 Jahren Data-Science-Wettbewerbe und verfügt über eine Community von 31 Millionen Mitgliedern.
- Im Februar 2026 wechselte Kaggle zu Google DeepMind als öffentliche Plattform für die Evaluierung von Frontier-Modellen.
- Das Hauptziel besteht darin, einen offenen und neutralen Prüfstein mit einheitlicher Infrastruktur für alle Spitzenmodelle bereitzustellen.
Mängel bestehender Benchmarks in der KI-Branche
Die Analyse von 65 verschiedenen Branchen-Benchmarks offenbart gravierende methodische Mängel, darunter Modellmanipulationen von Containern, unbemerkte Online-Recherchen in Foren und starke statistische Varianzen bei wiederholten Durchläufen. Diese Faktoren verdeutlichen den dringenden Bedarf an einer grundlegend überarbeiteten Evaluierungsinfrastruktur.
- Öffentliche Benchmarks bilden reale Produktionsabläufe von Agenten oft nur unzureichend ab und testen stattdessen synthetische Rätsel.
- Die Ausführung umfangreicher Benchmark-Suiten über zahlreiche Frontier-Modelle hinweg verursacht erhebliche Kosten.
- Unterschiedliche Testinfrastrukturen und fehlende Standardisierungen führen zu stark abweichenden und instabilen Modellergebnissen.
Strategische Gegenmaßnahmen und Partnerschaften
Um die Qualität von KI-Evaluierungen nachhaltig zu verbessern, stellen die beteiligten Organisationen finanzielle und technische Ressourcen zur Verfügung. Externe Forschungseinrichtungen wie Epoch überprüfen dabei die Validität der entstehenden Prüfsteine.
- Google DeepMind und Kaggle unterstützen Entwickler durch kostenlose Rechenleistung und dedizierte Ingenieure bei der Erstellung neuer Benchmarks.
- Im vierten Quartal stehen Fördermittel in Höhe von fünf Millionen US-Dollar für die Benchmark-Forschung bereit.
- Strenge Sandbox-Umgebungen und protokollierte Proxy-Aufrufe sorgen für überprüfbare und reproduzierbare Testergebnisse.
Fallstudie: MandateBench für Buy-Side-Analysten
Anhand des Beispiels des Verpackungsunternehmens Sonoco wird veranschaulicht, wie komplexe Finanzdaten bereinigt und analysiert werden müssen. Das Bewertungssystem nutzt strukturierte Argumentationsgraphen und Was-wäre-wenn-Szenarien, um die analytische Tiefe von KI-Modellen im Finanzsektor zu messen.
- LinkAlpha entwickelt KI-Forschungsagenten für institutionelle Investoren mit einem verwalteten Vermögen von über fünf Billionen US-Dollar.
- MandateBench bewertet nicht nur das Endergebnis, sondern den gesamten Argumentationspfad von Fondsmanagern bis hin zum Investment Memo.
- Der vollständige Benchmark mit 50 realen Aufgaben wird im November 2026 gelauncht.
설명
Janie Gu, product manager at Google DeepMind leading Kaggle Benchmarks, explains why most AI benchmarks are broken: they don't reflect real work, they're expensive to keep current, and their scores can't be verified. After reproducing 65 industry benchmarks, Kaggle found models reading other models' API keys, rewriting grading scripts, and scores swinging up to 20% between identical runs. Suyeol Yun, head of AI at LinqAlpha, then presents MandateBench, built with Google DeepMind and Kaggle, which grades whether a model can work like a buy-side analyst, from a fund's mandate to a full investment memo. Chapters 00:00 Intro 01:10 Kaggle: from grading humans to grading models 02:52 Why benchmarks are broken 05:25 What reproducing 65 benchmarks revealed 08:20 How Google DeepMind and Kaggle are fixing it 10:20 Why your company should build a benchmark 11:44 LinqAlpha and MandateBench 12:32 Where existing finance benchmarks fall short 13:31 A real analyst task, start to finish 15:33 Grading the reasoning, not just the answer 16:41 Early results 17:18 What's next and how to get involved Janie Gu, Google DeepMind Suyeol Yun, LinqAlpha Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!