78% queriam este recurso de IA. Quase ninguém o usou - Supriya Subudhi, Bumble

원제 · 78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble

14:443분 읽기AI Engineer2026. 10. 31.컴퓨터/소프트웨어 · 경영/리더십

핵심 요약

Um resultado positivo num teste A/B para produtos de inteligência artificial representa apenas o ponto de partida, exigindo a validação da utilização real, a análise de custos operacionais e a conformidade regulamentar.

하이라이트

  • Setenta e oito por cento dos utilizadores inquiridos afirmaram que desejavam um recurso de feedback de fotos gerado por IA, mas apenas dez a quinze por cento o utilizaram efetivamente após o lançamento.

  • A integração de ferramentas de IA nas jornadas de utilização existentes impulsionou a adoção real do recurso.

  • As médias estatísticas positivas ocultaram falhas em segmentos específicos, como sugestões para sorrir a utilizadores que já sorriam nas fotografias.

  • A utilização do melhor modelo de linguagem gerou custos dez vezes superiores aos de abordagens mais simples.

  • A regulamentação da IA restringe o lançamento global de produtos, limitando inicialmente a disponibilização a mercados específicos como os Estados Unidos e o Canadá.

타임라인

  1. A divergência entre a intenção declarada e a utilização real

    A investigação inicial realizada pelo Bumble indicou que a incerteza sobre a qualidade das fotografias de perfil constituía um problema universal entre os utilizadores. Contudo, a criação de uma ferramenta isolada resultou numa taxa de adoção reduzida. A integração das sugestões de IA nos momentos em que os utilizadores adicionavam fotografias ou enfrentavam bloqueios nas interações aumentou significativamente a utilização efetiva do recurso.

    • A descoberta de necessidades através de inquéritos revelou que setenta e oito por cento dos utilizadores queriam orientação para melhorar os perfis de encontros.
    • Os testes A/B demonstraram que apenas dez a quinze por cento das pessoas utilizaram efetivamente o recurso autónomo de IA lançado.
    • A abertura teórica à tecnologia não previu o comportamento efetivo dos utilizadores nas plataformas digitais.
  2. A insuficiência das médias globais e a necessidade de limites de segurança

    A análise detalhada dos dados revelou que o sistema gerava orientações desadequadas, como pedir sorrisos a quem já sorria nas imagens analisadas. A verificação rigorosa dos outputs através de ferramentas de avaliação permitiu monitorizar o desempenho em diferentes idiomas, países e segmentos de utilizadores, garantindo a fiabilidade das respostas geradas.

    • Os resultados globais positivos ocultaram recomendações incorretas direcionadas a subgrupos específicos de utilizadores.
    • A margem de erro aceitável difere entre contextos de entretenimento e aplicações críticas como a gestão financeira.
    • O estabelecimento de limites de segurança impediu que a IA gerasse sugestões sobre aspetos incontroláveis como a altura ou a cor da pele.
  3. O impacto financeiro dos modelos de inteligência artificial

    O sucesso de um recurso baseado em IA generativa acarreta despesas recorrentes associadas ao volume de interações. A ponderação entre o retorno de curto prazo e a estratégia de marca a longo prazo determinou a viabilidade orçamental de manter modelos de alta precisão ou adotar alternativas mais acessíveis.

    • A escolha inicial do modelo de linguagem mais avançado elevou os custos operacionais em cerca de dez vezes face a soluções básicas.
    • O custo incremental da inteligência artificial generativa escalou proporcionalmente ao aumento da frequência de utilização por parte dos utilizadores.
    • A transição para um modelo mais económico reduziu os custos operacionais mas diminuiu também a precisão e o impacto dos resultados.
  4. As restrições regulamentares e os desafios do lançamento global

    O lançamento de funcionalidades inovadoras de IA esbarrou em barreiras legais e financeiras distintas em cada país, exemplificado pela restrição inicial de ferramentas a mercados como os Estados Unidos e o Canadá. Esta realidade exigiu que os profissionais assumissem competências generalistas em conformidade jurídica para garantir que os produtos desenvolvidos chegassem efetivamente aos utilizadores.

    • A constante evolução da regulamentação internacional de IA impediu a disponibilização simultânea de recursos em todas as geografias.
    • A conformidade jurídica obrigou as equipas de produto a incorporar requisitos legais desde a conceção inicial do projeto.
    • A tomada de decisão estratégica passou a ponderar o desenvolvimento de versões adaptadas a diferentes jurisdições ou a concentração num único mercado.

설명

Bumble product manager Supriya Subudhi shares five lessons from A/B testing an AI photo feedback feature in a dating app with over 20 million monthly users. 78% of surveyed users said they wanted feedback, but only 10-15% used it; the average win hid odd outputs like telling smiling people to smile more; the best model cost about 10x more; switching to a cheaper model also shrank the results; and regulation meant the feature couldn't ship outside the US. She closes with five questions to ask before you call any AI test a win. Chapters: 0:00 Intro 1:31 Bumble's AI photo feedback feature 2:38 1. Users ask for it, then ignore it 5:19 2. The average win hides the tail 7:54 3. Green dashboard, red bill 10:37 4. The win came from the model 11:49 5. There may be no global rollout 13:54 Five questions to ask Supriya Subudhi https://bumble.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!

이 영상에 대해 글쓰기