78% queriam este recurso de IA. Quase ninguém o usou - Supriya Subudhi, Bumble
Original · 78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble
Key Takeaway
Um resultado positivo num teste A/B para produtos de inteligência artificial representa apenas o ponto de partida, exigindo a validação da utilização real, a análise de custos operacionais e a conformidade regulamentar.
Highlights
Setenta e oito por cento dos utilizadores inquiridos afirmaram que desejavam um recurso de feedback de fotos gerado por IA, mas apenas dez a quinze por cento o utilizaram efetivamente após o lançamento.
A integração de ferramentas de IA nas jornadas de utilização existentes impulsionou a adoção real do recurso.
As médias estatísticas positivas ocultaram falhas em segmentos específicos, como sugestões para sorrir a utilizadores que já sorriam nas fotografias.
A utilização do melhor modelo de linguagem gerou custos dez vezes superiores aos de abordagens mais simples.
A regulamentação da IA restringe o lançamento global de produtos, limitando inicialmente a disponibilização a mercados específicos como os Estados Unidos e o Canadá.
Timeline
A divergência entre a intenção declarada e a utilização real
A investigação inicial realizada pelo Bumble indicou que a incerteza sobre a qualidade das fotografias de perfil constituía um problema universal entre os utilizadores. Contudo, a criação de uma ferramenta isolada resultou numa taxa de adoção reduzida. A integração das sugestões de IA nos momentos em que os utilizadores adicionavam fotografias ou enfrentavam bloqueios nas interações aumentou significativamente a utilização efetiva do recurso.
- A descoberta de necessidades através de inquéritos revelou que setenta e oito por cento dos utilizadores queriam orientação para melhorar os perfis de encontros.
- Os testes A/B demonstraram que apenas dez a quinze por cento das pessoas utilizaram efetivamente o recurso autónomo de IA lançado.
- A abertura teórica à tecnologia não previu o comportamento efetivo dos utilizadores nas plataformas digitais.
A insuficiência das médias globais e a necessidade de limites de segurança
A análise detalhada dos dados revelou que o sistema gerava orientações desadequadas, como pedir sorrisos a quem já sorria nas imagens analisadas. A verificação rigorosa dos outputs através de ferramentas de avaliação permitiu monitorizar o desempenho em diferentes idiomas, países e segmentos de utilizadores, garantindo a fiabilidade das respostas geradas.
- Os resultados globais positivos ocultaram recomendações incorretas direcionadas a subgrupos específicos de utilizadores.
- A margem de erro aceitável difere entre contextos de entretenimento e aplicações críticas como a gestão financeira.
- O estabelecimento de limites de segurança impediu que a IA gerasse sugestões sobre aspetos incontroláveis como a altura ou a cor da pele.
O impacto financeiro dos modelos de inteligência artificial
O sucesso de um recurso baseado em IA generativa acarreta despesas recorrentes associadas ao volume de interações. A ponderação entre o retorno de curto prazo e a estratégia de marca a longo prazo determinou a viabilidade orçamental de manter modelos de alta precisão ou adotar alternativas mais acessíveis.
- A escolha inicial do modelo de linguagem mais avançado elevou os custos operacionais em cerca de dez vezes face a soluções básicas.
- O custo incremental da inteligência artificial generativa escalou proporcionalmente ao aumento da frequência de utilização por parte dos utilizadores.
- A transição para um modelo mais económico reduziu os custos operacionais mas diminuiu também a precisão e o impacto dos resultados.
As restrições regulamentares e os desafios do lançamento global
O lançamento de funcionalidades inovadoras de IA esbarrou em barreiras legais e financeiras distintas em cada país, exemplificado pela restrição inicial de ferramentas a mercados como os Estados Unidos e o Canadá. Esta realidade exigiu que os profissionais assumissem competências generalistas em conformidade jurídica para garantir que os produtos desenvolvidos chegassem efetivamente aos utilizadores.
- A constante evolução da regulamentação internacional de IA impediu a disponibilização simultânea de recursos em todas as geografias.
- A conformidade jurídica obrigou as equipas de produto a incorporar requisitos legais desde a conceção inicial do projeto.
- A tomada de decisão estratégica passou a ponderar o desenvolvimento de versões adaptadas a diferentes jurisdições ou a concentração num único mercado.
Description
Bumble product manager Supriya Subudhi shares five lessons from A/B testing an AI photo feedback feature in a dating app with over 20 million monthly users. 78% of surveyed users said they wanted feedback, but only 10-15% used it; the average win hid odd outputs like telling smiling people to smile more; the best model cost about 10x more; switching to a cheaper model also shrank the results; and regulation meant the feature couldn't ship outside the US. She closes with five questions to ask before you call any AI test a win. Chapters: 0:00 Intro 1:31 Bumble's AI photo feedback feature 2:38 1. Users ask for it, then ignore it 5:19 2. The average win hides the tail 7:54 3. Green dashboard, red bill 10:37 4. The win came from the model 11:49 5. There may be no global rollout 13:54 Five questions to ask Supriya Subudhi https://bumble.com Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!
