El 78% quería esta función de IA. Casi nadie la usó - Supriya Subudhi, Bumble

Original · 78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble

14:443 min readAI Engineer10/31/2026Computing/Software · Management

Key Takeaway

Un resultado positivo en una prueba A/B de inteligencia artificial representa únicamente el inicio del proceso de desarrollo debido a los desafíos ocultos de adopción, costos y regulación.

Highlights

  • El 78% de los usuarios expresaron en encuestas que deseaban comentarios de IA para mejorar sus perfiles de citas, pero la adopción real inicial en la prueba A/B se desplomó entre el 10% y el 15%.

  • Los promedios generales positivos ocultan problemas graves en la distribución de cola, como cuando la IA sugería sonreír a personas que ya aparecían sonriendo en las fotografías.

  • El uso de modelos de lenguaje grande de primera categoría provocó que los costos operativos se dispararan hasta diez veces en comparación con enfoques tecnológicos más sencillos.

  • Las restricciones regulatorias y legales de la inteligencia artificial en diferentes países impiden los lanzamientos globales directos, limitando la disponibilidad inicial a regiones específicas como Estados Unidos y Canadá.

Timeline

  1. La brecha entre la demanda declarada y el uso real de la inteligencia artificial

    Las encuestas previas al lanzamiento revelaron un interés masivo por recibir orientación automatizada en los perfiles de citas de Bumble. Sin embargo, al aislar la función de manera independiente, la participación real fue mínima. La solución consistió en incrustar los avisos en momentos críticos de la interacción, como al subir fotografías o al no encontrar coincidencias.

    • El entusiasmo manifestado por los usuarios en las etapas de descubrimiento no garantiza una adopción masiva tras el lanzamiento de la función.
    • La integración de las herramientas de inteligencia artificial directamente en los flujos de trabajo habituales de la plataforma impulsa significativamente la tasa de uso.
  2. Las limitaciones de los promedios y la necesidad de establecer límites estrictos

    Un incremento general en la edición de perfiles ocultaba que el sistema generaba sugerencias contradictorias, como pedir sonrisas a usuarios que ya sonreían. La implementación de herramientas de evaluación detalladas permitió supervisar cómo diferentes segmentos demográficos y regiones experimentaban los resultados, evitando instrucciones sobre características físicas inmodificables.

    • El análisis exclusivo de los promedios globales enmascara fallos graves en los datos y casos marginales específicos.
    • Los sistemas de inteligencia artificial requieren restricciones operativas estrictas para evitar recomendaciones sobre atributos inalterables o errores financieros críticos.
  3. El equilibrio entre la calidad del modelo y los costos operativos crecientes

    El uso del modelo de lenguaje más sofisticado garantizaba máxima precisión pero elevaba drásticamente los gastos operativos mensuales. La distinción entre los costos fijos del aprendizaje automático tradicional y el costo variable por cada ejecución en la IA generativa exige alinear el presupuesto con los objetivos estratégicos a corto o largo plazo de la empresa.

    • Los costos de infraestructura en la inteligencia artificial generativa aumentan de forma proporcional al incremento de usuarios y frecuencia de uso.
    • La elección inicial del modelo más avanzado resultó financieramente insostenible, obligando a migrar hacia alternativas más económicas sin perder el núcleo del concepto.
  4. El impacto de la regulación internacional en los planes de despliegue

    Herramientas avanzadas como las lanzadas por Meta en Norteamérica evidencian las restricciones geográficas derivadas del marco legal vigente. La incapacidad de expandir idénticamente la función a Europa obligó a repensar las estrategias de desarrollo hacia un enfoque generalista donde el cumplimiento normativo define el alcance del producto desde el primer día.

    • Las normativas sobre inteligencia artificial varían radicalmente entre países, imposibilitando los lanzamientos simultáneos a nivel global.
    • Los equipos de producto deben incorporar consideraciones legales y de cumplimiento normativo desde las fases iniciales de diseño técnico.

Description

Bumble product manager Supriya Subudhi shares five lessons from A/B testing an AI photo feedback feature in a dating app with over 20 million monthly users. 78% of surveyed users said they wanted feedback, but only 10-15% used it; the average win hid odd outputs like telling smiling people to smile more; the best model cost about 10x more; switching to a cheaper model also shrank the results; and regulation meant the feature couldn't ship outside the US. She closes with five questions to ask before you call any AI test a win. Chapters: 0:00 Intro 1:31 Bumble's AI photo feedback feature 2:38 1. Users ask for it, then ignore it 5:19 2. The average win hides the tail 7:54 3. Green dashboard, red bill 10:37 4. The win came from the model 11:49 5. There may be no global rollout 13:54 Five questions to ask Supriya Subudhi https://bumble.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!

Write about this video