78%的人想要这个AI功能，但几乎没人用过 - Supriya Subudhi, Bumble

Highlights

• 78%的用户在调研中表示愿意接收AI照片反馈，但在实际的A/B测试中，只有10%到15%的用户真正使用了该功能。

• 采用最好的大语言模型会使生成式AI的运营成本比简单方法高出大约10倍。

• AI照片反馈功能的平均测试数据表现良好，但细查发现它会建议已经在笑的用户笑得再多一点。

• 生成式AI应用随着用户使用频率的增加，账单会水涨船高，这与传统机器学习的成本结构截然不同。

• 由于全球各地AI监管政策不断变化，Meta的Muse AI目前仅在美国和加拿大可用。

Timeline

1. 00:00 - 05:18

   AI功能A/B测试的特殊性与用户采用率落差

   产品经理负责理解用户痛点并在有限资源下交付解决方案。Bumble通过用户调研发现许多人不知道如何选择交友照片，于是开发了AI照片反馈功能。然而，用户对AI的开放态度并不能真正预测其实际使用行为。为了提升采用率，必须将AI旅程融入用户已有的应用行为流程中，例如在添加照片或匹配受挫时主动提供反馈入口，而不是让用户到处摸索孤立的功能。

   • A/B测试是评估两个版本表现差异的方法，但在涉及AI时往往会变得复杂。
   • 约会软件Bumble推出了为用户上传照片提供AI生成改进建议的功能。
   • 78%的用户在调研中表达了对AI照片反馈的热烈兴趣，但上线后的实际使用率仅为10%到15%。
2. 05:19 - 07:53

   平均数据掩盖长尾问题与安全护栏的重要性

   虽然整体数据显示用户添加照片的频率和修改次数增加，但深入细节会发现AI输出的不合理之处。为此，必须为生成式AI设定强有力的安全护栏，明确规定诸如肤色和身高之类用户无法控制的因素绝对不能成为修改对象。同时，通过建立评估机制来阅读真实的输出结果，并关注不同性别、语言和国家等长尾群体的体验满意度。

   • 整体正向的平均测试数据无法真实反映所有细节，可能掩盖长尾问题。
   • AI生成的建议曾出现过让照片里本来就在笑的人再笑多一点的情况。
   • 不同应用对容错空间的要求完全不同，金融预算类应用和娱乐推荐类的安全护栏有本质区别。
3. 07:54 - 11:48

   绿色仪表盘背后的高额账单与模型成本权衡

   追求最高质量和准确率导致初期选择了最好的模型，但随之而来的运行评估成本让人难以承受。企业需要明确引入AI是为了短期财务收益还是长期的品牌资产与留存。面对高昂账单，团队做出了转换决策，通过测试不同数据集、成本差异和提示词版本，最终选择了能够实现可持续发展的较便宜模型方案。

   • 生成式AI的成功伴随着成本，使用最好的大语言模型比简单方法贵大约10倍。
   • 传统机器学习的前期训练成本高但增量成本低，而生成式AI的使用频率越高账单越高。
   • 换用更便宜的模型虽然降低了成本，但也导致了准确率和结果影响力的下降。
4. 11:49 - 14:36

   全球合规限制与多国上线挑战

   AI产品不仅面临技术和成本的考验，还受到法律和监管框架的严格约束。无法做到合规会导致企业面临财务和法律风险。因此，无论是产品经理还是工程师，都需要在项目初期就成为多面手，评估是在限制框架内构建全球产品，还是优先在能获得最大影响力的特定国家推出最好版本。

   • 由于世界各地AI监管政策不断变化，产品无法做到全球同步上线。
   • Meta的Muse AI目前由于合规原因仅在美国和加拿大可用。
   • 团队需要尽早考虑法律合规应用，在单一市场推出最优产品或承担额外成本开发多版本之间进行权衡。