78% хотели эту ИИ-функцию. Почти никто ею не воспользовался — Суприя Субудхи, Bumble
원제 · 78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble
핵심 요약
Положительные результаты опросов и A/B-тестов для ИИ-продуктов не гарантируют реального использования функции, поскольку разработчики сталкиваются с высокими затратами на модели, проблемами длинного хвоста и региональными ограничениями комплаенса.
하이라이트
Около 78% пользователей дейтинг-приложения Bumble заявляют о необходимости подсказок для профиля, но реальный уровень использования внедренной ИИ-функции составляет всего 10–15%.
Использование передовых языковых моделей обходится примерно в 10 раз дороже по сравнению с базовыми подходами при создании потребительских ИИ-продуктов.
Развертывание ИИ-функций усложняется из-за постоянных изменений регионального законодательства, что ограничивает их глобальный запуск и требует учета юридических рисков на старте.
타임라인
Отказ от использования функций при высоком спросе
Исследования пользовательского опыта выявляют ключевую боль клиентов, состоящую в неуверенности насчет качества собственных анкет. Интеграция ИИ-подсказок в привычные сценарии добавления фотографий и тупиковых ситуаций с поиском пары помогает повысить вовлеченность и преодолеть разрыв между обещаниями пользователей в опросах и реальным поведением.
- Положительный исход A/B-тестирования в сфере генеративного ИИ представляет собой лишь начальную стадию работы.
- Почти 78% респондентов выражают желание получать ИИ-рекомендации для улучшения профиля знакомств.
- A/B-тест запущенной функции оценки фотографий выявляет реальное использование только у 10–15% аудитории.
Ограничения средних показателей и защитные барьеры
Общий рост добавления фотографий сопровождается сбоями, когда ИИ советует улыбаться людям, которые уже улыбаются на снимках. Применение ИИ в финансовых сервисах требует гораздо более строгих ограничений по сравнению с рекомендациями музыки, исключая советы по изменению параметров, неподконтрольных пользователю.
- Средние показатели успеха маскируют проблемы в длинном хвосте распределения данных.
- Качество работы моделей оценивается с помощью специальных систем эвалов.
- Цена ошибки различается в зависимости от сферы применения, что требует жестких защитных рамок для ИИ.
Финансовая устойчивость и выбор языковых моделей
В отличие от классического машинного обучения с высокими первоначальными затратами на обучение, генеративный ИИ требует постоянных расходов при каждом запросе пользователя. Понимание долгосрочной или краткосрочной цели внедрения ИИ определяет допустимый бюджет и выбор подходящей модели.
- Расходы на генеративный ИИ масштабируются пропорционально росту аудитории и частоте использования.
- Переход на наиболее производительную языковую модель увеличивает затраты примерно в 10 раз.
- Снижение стоимости за счет дешевых моделей приводит к падению точности и эффективности результатов.
Регулирование и комплаенс на мировых рынках
Запуск функций вроде Muse AI от Meta ограничивается отдельными регионами вроде США и Канады из-за различий в нормативно-правовой базе. Разработчики выбирают между созданием адаптированных версий для разных стран или сосредоточением усилий на одном первичном рынке.
- Изменяющееся законодательство в сфере ИИ приводит к ограничениям глобального релиза продуктов.
- Юридические и финансовые риски несоответствия требованиям заставляют ограничивать запуск отдельными странами.
- Продуктовые команды вынуждены заранее учитывать регуляторные ограничения при проектировании функций.
설명
Bumble product manager Supriya Subudhi shares five lessons from A/B testing an AI photo feedback feature in a dating app with over 20 million monthly users. 78% of surveyed users said they wanted feedback, but only 10-15% used it; the average win hid odd outputs like telling smiling people to smile more; the best model cost about 10x more; switching to a cheaper model also shrank the results; and regulation meant the feature couldn't ship outside the US. She closes with five questions to ask before you call any AI test a win. Chapters: 0:00 Intro 1:31 Bumble's AI photo feedback feature 2:38 1. Users ask for it, then ignore it 5:19 2. The average win hides the tail 7:54 3. Green dashboard, red bill 10:37 4. The win came from the model 11:49 5. There may be no global rollout 13:54 Five questions to ask Supriya Subudhi https://bumble.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!