78 % voulaient cette fonctionnalité d'IA. Presque personne ne l'a utilisée - Supriya Subudhi, Bumble

Highlights

• Soixante-dix-huit pour cent des utilisateurs interrogés affirment souhaiter des conseils de profil par IA, mais seulement 10 à 15 pour cent utilisent réellement la fonctionnalité lors de son lancement.

• Une moyenne positive lors d'un test A/B masque des anomalies, comme un outil d'IA conseillant aux utilisateurs de sourire alors qu'ils le font déjà.

• L'utilisation d'un grand modèle de langage performant engendre un coût dix fois supérieur à celui d'une approche plus simple.

• L'application de rencontres Bumble compte plus de 20 millions d'utilisateurs actifs par mois.

• La conformité réglementaire varie selon les régions, empêchant le déploiement mondial de certaines fonctionnalités d'IA comme l'outil Muse AI de Meta limité aux États-Unis et au Canada.

Timeline

1. 00:00 - 03:53

   Introduction aux tests A/B en intelligence artificielle

   L'évaluation de deux versions d'un produit sert à déterminer celle qui performe le mieux. Les chefs de produit chez Bumble identifient les besoins des utilisateurs pour concevoir des solutions adaptées tout en respectant les contraintes financières de l'entreprise. Un outil d'avis sur les photos propulsé par l'IA est ainsi développé pour aider les utilisateurs à améliorer leurs profils de rencontre.

   • Les tests A/B permettent de comparer deux versions d'une fonctionnalité ou d'un service.
   • Un résultat positif lors d'un test A/B ne constitue que le début du parcours de développement.
   • Soixante-dix-huit pour cent des utilisateurs interrogés expriment le besoin de recevoir des conseils sur leurs photos de profil.
   • L'application Bumble compte plus de 20 millions d'utilisateurs actifs par mois.
2. 03:53 - 05:19

   Écart entre la demande déclarée et l'utilisation réelle

   L'engouement exprimé lors des enquêtes ne se traduit pas par une utilisation massive de la fonctionnalité isolée. L'intégration des suggestions d'IA directement au moment où les utilisateurs ajoutent des photos ou font face à une absence de match résout ce problème d'adoption. Mesurer précisément les interactions permet d'ajuster l'expérience utilisateur dès le départ.

   • Seulement 10 à 15 pour cent des utilisateurs adoptent la fonctionnalité d'IA en conditions réelles.
   • L'intégration de l'IA directement dans les parcours existants stimule l'utilisation.
   • L'éducation et la sensibilisation des utilisateurs sont indispensables pour l'adoption des outils.
3. 05:19 - 07:56

   Analyse des anomalies cachées par les moyennes

   L'augmentation globale des modifications de profil cache des incohérences, telles que des recommandations de sourire adressées à des personnes souriant déjà. La marge d'erreur varie considérablement selon le secteur, comme le montre la comparaison entre un DJ virtuel et une application bancaire de gestion budgétaire. L'analyse détaillée des résultats par langue et par région garantit la pertinence des réponses générées.

   • Une moyenne de test positive dissimule des erreurs de ciblage des conseils fournis par l'IA.
   • Les garde-fous empêchent l'IA de suggérer des modifications sur des critères incontrôlables comme la taille ou la couleur de peau.
   • Les outils d'évaluation permettent d'analyser la longue traîne des données et les retours selon les segments d'utilisateurs.
4. 07:56 - 11:49

   Coûts de l'intelligence artificielle générative et choix des modèles

   La recherche d'une qualité optimale conduit à l'utilisation initiale de modèles très onéreux dont la facture s'envole avec le succès de l'application. La compréhension des objectifs à court terme ou de la valeur de marque à long terme oriente les décisions budgétaires. L'expérimentation de différents modèles à travers des configurations d'évaluation aide à identifier l'équilibre entre coût et performance.

   • L'utilisation d'un grand modèle de langage performant multiplie les coûts par dix par rapport à une solution classique.
   • Le coût marginal de l'IA générative augmente proportionnellement au nombre d'utilisateurs, contrairement au machine learning traditionnel.
   • Le choix d'un modèle moins cher réduit les coûts mais diminue également la précision des résultats.
5. 11:49 - 14:36

   Conformité réglementaire et déploiement géographique

   L'exemple de l'outil Muse AI de Meta, disponible uniquement aux États-Unis et au Canada, illustre les contraintes géographiques liées aux réglementations sur l'IA. Les professionnels de la tech doivent anticiper les aspects juridiques pour éviter les risques financiers. Cinq questions fondamentales guident désormais la création de fonctionnalités d'IA au-delà de la simple réussite d'un test A/B.

   • Les réglementations changeantes sur l'IA limitent le déploiement mondial de certaines applications.
   • Les équipes produit doivent intégrer la conformité juridique dès le début de la conception.
   • Le choix stratégique se porte soit sur un lancement ciblé dans un seul pays, soit sur le développement de versions adaptées à chaque marché.