78 % wollten dieses KI-Feature. Fast niemand hat es genutzt – Supriya Subudhi, Bumble

Highlights

• 78 Prozent der befragten Nutzer gaben an, sie würden sich KI-Foto-Feedback für ihr Dating-Profil wünschen, doch nach der Veröffentlichung nutzten nur 10 bis 15 Prozent das Feature tatsächlich.

• Das erste verwendete Sprachmodell war etwa zehnmal so teuer wie ein einfacherer Ansatz, wodurch die Betriebskosten bei wachsender Nutzerzahl extrem anstiegen.

• Regulatorische Hürden und unterschiedliche globale KI-Gesetze führten dazu, dass das neu entwickelte Feature zunächst ausschließlich in den USA gelauncht werden konnte.

Timeline

1. 00:00 - 01:57

   Einführung von A/B-Tests und KI-Produkten

   Produktmanager vertreten die Nutzer und versuchen, deren Probleme im Rahmen der verfügbaren Ressourcen zu lösen. Bei KI-Produkten und Large Language Models reichen klassische A/B-Test-Metriken oft nicht aus, um den langfristigen Wert und die tatsächlichen Herausforderungen im Betrieb korrekt abzubilden.

   • A/B-Tests vergleichen zwei Versionen einer Funktion oder E-Mail, um die bessere Variante zu ermitteln.
   • Ein positives Testergebnis bei generativer KI markiert lediglich den Beginn des Prozesses und nicht das Ende.
   • Bumble ist eine Dating-App mit über 20 Millionen monatlich aktiven Nutzern und begrenzten Ressourcen.
2. 01:57 - 05:18

   Nutzerverhalten und nahtlose Integration

   Die Diskrepanz zwischen geäußertem Interesse und tatsächlicher Nutzung zeigt, dass Offenheit gegenüber KI kein Garant für Akzeptanz ist. Isolierte Funktionen werden von Anwendern häufig übersehen. Erst durch die kontextbezogene Integration an den Stellen, an denen Nutzer ohnehin agieren, steigt die Verwendung der Funktion spürbar an.

   • 78 Prozent der Nutzer äußerten in Interviews den Wunsch nach Feedback für ihre Profilfotos.
   • Lediglich 10 bis 15 Prozent der Nutzer verwendeten das neue KI-Foto-Feedback nach dem A/B-Test tatsächlich.
   • Die Einbettung des Features direkt in bestehende Abläufe erhöhte die Akzeptanz signifikant.
3. 05:18 - 07:56

   Durchschnittswerte, Leitplanken und der Long Tail

   Ein positiver Durchschnittserfolg reicht bei KI-Anwendungen nicht aus, da unvorhersehbare Ausreißer existieren. So riet die KI beispielsweise manchen Nutzern zum Lächeln, obwohl diese auf den Fotos bereits lächelten. Mithilfe von Evaluations-Tools und klaren Leitplanken ließ sich die Qualität der Ergebnisse über verschiedene Sprachen und demografische Segmente hinweg absichern.

   • Positive Durchschnittswerte verschleierten fehlerhafte Empfehlungen im Long Tail der Daten.
   • Strenge Leitplanken verhinderten, dass die KI vorschlug, körperliche Merkmale wie Hautfarbe oder Körpergröße zu verändern.
   • Evaluierungs-Frameworks ermöglichten tiefe Einblicke in das tatsächliche Feedback, das verschiedene Nutzergruppen erhielten.
4. 07:56 - 11:48

   Kostenstruktur und Modellwahl

   Der wirtschaftliche Erfolg eines KI-Features hängt stark von den Gesamtkosten inklusive Evaluierungen ab. Unternehmen müssen genau definieren, ob der Einsatz kurzfristigen Umsatz oder langfristige Markenbindung unterstützen soll. Um eine wirtschaftliche Skalierung zu ermöglichen, ist intensives Testen verschiedener Modelle und Prompts notwendig.

   • Die Nutzung des qualitativ besten Sprachmodells verursachte zehnmal höhere Kosten als einfachere Alternativen.
   • Im Gegensatz zu klassischem Machine Learning skalieren die Betriebskosten bei generativer KI linear mit der Anzahl der Nutzer und der Nutzungshäufigkeit.
   • Der Wechsel zu einem günstigeren Modell reduzierte die Kosten, senkte jedoch gleichzeitig die Genauigkeit der Ergebnisse.
5. 11:48 - 14:36

   Regulierung und weltweite Verfügbarkeit

   Nationale Vorschriften bergen finanzielle und rechtliche Risiken bei der internationalen Bereitstellung von KI-Funktionen. Entweder konzentrieren sich Unternehmen auf einzelne Kernmärkte wie die USA oder sie nehmen die zusätzlichen Kosten für länderspezifische Anpassungen auf sich. Das traditionelle Vorgehen rein nach dem gewonnenen A/B-Test reicht in der modernen KI-Entwicklung nicht mehr aus.

   • Unterschiedliche und sich ständig ändernde KI-Regulierungen weltweit erschweren globale Produkteinführungen.
   • Das Foto-Feedback-Feature konnte nach dem Start in den USA nicht direkt in anderen Ländern veröffentlicht werden.
   • Produktmanager und Entwickler müssen rechtliche Compliance und länderspezifische Einschränkungen von Beginn an in die Entwicklung einbeziehen.