78%がこのAI機能を求めていた。しかし、実際に使った人はほとんどいなかった - スープリヤ・スブディ（Bumble）

Highlights

• Bumbleの写真フィードバック機能に関する事前調査では78%のユーザーが利用を希望したものの、実際のA/Bテストでの利用率は10%から15%にとどまった。

• 最高性能の大規模言語モデルの採用はシンプルモデルと比較して約10倍のコストがかかり、スケーリングの大きな障害となった。

• 平均値の評価では、すでに笑顔で写っているユーザーに対してAIがさらに笑顔を増やすよう指示を出すというロングテールな問題が見落とされた。

• Metaの「Muse AI」が米国とカナダでのみ利用可能であるように、AI機能のグローバル展開は地域ごとの規制の違いによって制限される。

• AIプロダクトの開発初期段階から法的な影響やコンプライアンスについて考慮する必要がある。

Timeline

1. 00:00 - 03:53

   AIプロダクトにおけるA/Bテストの難しさ

   プロダクトマネージャーはユーザーの課題を解決する役割を担うと同時に企業の損益にも責任を負う。Bumbleではプロフィール写真の改善をサポートするAI機能を導入し、事前のリサーチでは多くのユーザーが強い関心を示した。

   • AI機能のA/Bテストにおけるポジティブな結果は旅の始まりに過ぎない。
   • Bumbleは月間アクティブユーザー数が2,000万人を超えるマッチングアプリである。
   • ユーザーが自身の写真の良し悪しを判断できないという課題を解決するためにAI写真フィードバック機能が開発された。
2. 03:53 - 05:19

   ユーザーの需要と実際の利用率のギャップ

   ユーザーがアプリ内で自発的に見つけ出す単体の機能ではなく、写真の追加時やマッチングが成立しない壁にぶつかった際に自然と促す動線設計を行った。これにより実際の利用率を向上させることができた。

   • 事前調査で78%のユーザーがフィードバックを求めたが、実際の利用率は10%から15%であった。
   • AIへのオープンな姿勢は実際の利用を予測するものではない。
   • 機能単体を構築するのではなく既存の動線に組み込むことが利用率の向上につながる。
3. 05:19 - 07:54

   平均値の裏に隠れるロングテールな問題とガードレール

   成功の基準を全体の緑の結果だけに置くのではなく、データのロングテールや異なるセグメントごとの出力を詳細に確認することが求められる。適切な評価ツールの構築によりプロンプトの動作や出力品質を担保する必要がある。

   • トップラインの結果が良好であっても平均値の裏に問題が隠れている。
   • AIがすでに笑顔の写真に対してさらに笑顔を増やすよう指示を出す事象が発生した。
   • ユーザーがコントロールできない領域に踏み込まないための強力なガードレールが必要である。
4. 07:54 - 11:49

   コストとモデル選定のトレードオフ

   初期段階で最高モデルに飛びついた結果コストが高すぎてスケールできなくなったため、より安価なモデルへの移行が行われた。何のためにAIを使っているのかという目的を明確にすることが予算の妥当性を決める。

   • 最高性能の大規模言語モデルはシンプルモデルの約10倍のコストがかかる。
   • 生成AIは利用頻度が増えるほど請求額が増加するコスト構造を持つ。
   • より安価なモデルへの切り替えによってコストは下がったが精度の低下も伴った。
5. 11:49 - 14:36

   グローバル展開における規制の壁

   米国でリリースした機能であってもそのまま他の国々には展開できない事例が存在する。最高のものを作ったとしてもユーザーの手に届けられなければ意味がないため、法的なクリアランスと市場の選択が重要となる。

   • AI規制が世界中で異なるため全ての国で同じ機能を展開できるとは限らない。
   • 初期段階から構築しているプロダクトの法的な影響について考える必要がある。
   • 特定の国に絞るか、国ごとに異なるバージョンのアプリを作るかの決断が求められる。