78% लोग चाहते थे यह AI फीचर। लगभग किसी ने इसका इस्तेमाल नहीं किया - सुप्रिया सुबुधि, बम्बल
Original · 78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble
Key Takeaway
एआई उत्पादों के लिए ए/बी परीक्षण का सकारात्मक परिणाम केवल शुरुआत है, क्योंकि वास्तविक उपयोग, सुरक्षा उपाय, और विधिक अनुपालन सफलता तय करते हैं।
Highlights
सर्वेक्षण में 78 प्रतिशत उपयोगकर्ताओं ने एआई फीडबैक सुविधा की मांग की, लेकिन जब इसे लॉन्च किया गया तो केवल 10 से 15 प्रतिशत उपयोगकर्ताओं ने वास्तव में इसका उपयोग किया।
बम्बल के एआई फोटो फीडबैक फीचर ने उपयोगकर्ताओं को उनकी तस्वीरों के बारे में सुझाव दिए, जिससे यह पता चला कि सकारात्मक औसत सफलता का मूल्यांकन करने के लिए पर्याप्त नहीं था।
शीर्ष मॉडल का उपयोग करने पर लागत एक सरल दृष्टिकोण की तुलना में लगभग 10 गुना अधिक हो गई, जिसके लिए सस्ते मॉडल पर स्विच करने की आवश्यकता पड़ी।
एआई नियमों के लगातार बदलते रहने और दुनिया भर में अलग-अलग होने के कारण अमेरिका में लॉन्च किए गए फीचर को अन्य देशों में तुरंत उपलब्ध नहीं कराया जा सका।
Timeline
उपयोगकर्ताओं की मांग और वास्तविक उपयोग के बीच का अंतर
उत्पाद अनुसंधान के दौरान उपयोगकर्ताओं ने डेटिंग प्रोफाइल में सुधार के लिए फीडबैक की आवश्यकता बताई थी। जब बम्बल ने एआई फोटो फीडबैक फीचर लॉन्च किया, तो सर्वेक्षण के उच्च आंकड़ों के विपरीत वास्तविक उपयोग काफी कम रहा। इस समस्या को हल करने के लिए स्टैंडअलोन फीचर बनाने के बजाय उपयोगकर्ताओं को उनके मौजूदा कार्य प्रवाह के दौरान ही फीडबैक के विकल्प दिए गए।
- लगभग 78 प्रतिशत उपयोगकर्ताओं ने सर्वेक्षण में एआई समर्थन पाने की इच्छा व्यक्त की।
- ए/बी परीक्षण के दौरान केवल 10 से 15 प्रतिशत लोगों ने उस फीचर का उपयोग किया।
- एआई उपयोग को मौजूदा ऐप सफर में एकीकृत करना अपनाने की दर को बढ़ाता है।
सकारात्मक औसत और वास्तविक आउटपुट की जाँच
सफलता का मूल्यांकन करने के लिए केवल सकारात्मक औसत देखना पर्याप्त नहीं था क्योंकि जनरेटेड युक्तियाँ कभी-कभी गलत सलाह दे रही थीं। विभिन्न उत्पादों में त्रुटि का दायरा अलग होता है, इसलिए सुरक्षा उपाय आवश्यक हैं। सटीक मूल्यांकन टूल के माध्यम से वास्तविक आउटपुट की गहराई से जाँच करने पर प्रॉम्प्ट के प्रदर्शन में सुधार हुआ।
- शीर्ष स्तर के परिणाम बेहतर थे, लेकिन विवरण में अजीब विसंगतियाँ सामने आईं।
- एआई ने उन लोगों से भी मुस्कुराने के लिए कहा जो पहले से मुस्कुरा रहे थे।
- मजबूत गार्डरेल्स और मूल्यांकन टूल स्थापित करना बेहद महत्वपूर्ण था।
लागत और मॉडल चयन का संतुलन
उच्च गुणवत्ता और सटीकता के लिए सबसे अच्छे मॉडल को चुनने से शुरुआत में भारी वित्तीय बोझ पड़ा। मशीन लर्निंग की तुलना में जनरेटिव एआई में उपयोग के साथ लागत बढ़ती रहती है। सस्ते मॉडल पर जाने से सटीकता प्रभावित हुई, जिससे यह स्पष्ट हुआ कि विभिन्न मॉडलों और डेटा सेट का लगातार परीक्षण करना जरूरी है।
- सर्वोत्तम एलएलएम का उपयोग करने पर लागत एक सरल दृष्टिकोण से लगभग 10 गुना अधिक हो गई।
- जनरेटिव एआई में उत्पाद की सफलता के साथ लागत भी लगातार बढ़ती जाती है।
- सस्ते मॉडल पर स्विच करने से सटीकता कम हो गई, जिससे परीक्षण और डेटा का महत्व स्पष्ट हुआ।
वैश्विक रोलआउट और विधिक अनुपालन
दुनिया भर में एआई नियम लगातार बदल रहे हैं और अलग-अलग हैं, जिससे अनुपालन न करने पर कानूनी जोखिम होता है। अमेरिका में उत्पाद लॉन्च करने के बाद अन्य देशों में वैसी ही सुविधा उपलब्ध कराना संभव नहीं हो पाया। इसलिए निर्माण के साथ-साथ यह सोचना भी आवश्यक है कि उत्पाद को किन बाजारों में कानूनी रूप से भेजा जा सकता है।
- मेटा के म्यूज एआई जैसे फीचर्स विधिक नियमों के कारण केवल कुछ देशों तक सीमित हैं।
- उत्पाद प्रबंधकों और इंजीनियरों को शुरुआत से ही अनुपालन और कानूनी अनुप्रयोगों पर विचार करना होगा।
- बाजारों के चयन और स्थानीय नियमों के अनुसार निर्णय लेने का स्पेक्ट्रम आवश्यक है।
Description
Bumble product manager Supriya Subudhi shares five lessons from A/B testing an AI photo feedback feature in a dating app with over 20 million monthly users. 78% of surveyed users said they wanted feedback, but only 10-15% used it; the average win hid odd outputs like telling smiling people to smile more; the best model cost about 10x more; switching to a cheaper model also shrank the results; and regulation meant the feature couldn't ship outside the US. She closes with five questions to ask before you call any AI test a win. Chapters: 0:00 Intro 1:31 Bumble's AI photo feedback feature 2:38 1. Users ask for it, then ignore it 5:19 2. The average win hides the tail 7:54 3. Green dashboard, red bill 10:37 4. The win came from the model 11:49 5. There may be no global rollout 13:54 Five questions to ask Supriya Subudhi https://bumble.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!