78%가 원했던 AI 기능, 하지만 아무도 쓰지 않았다 - 수프리야 수부디 (범블)

하이라이트

• 범블의 리서치에서 사용자 중 78%가 데이팅 프로필 피드백을 원한다고 응답했으나, 실제 기능을 출시했을 때의 채택률은 10~15%에 그쳤다.

• 생성형 AI 기능은 전통적인 머신러닝과 달리 성공하여 사용자가 늘어날수록 호출 비용이 비례해서 증가한다.

• 최고 성능의 LLM을 적용한 초기 피드백 기능은 단순한 모델보다 약 10배 더 비쌌다.

• AI가 생성한 피드백이 사진 속에서 이미 웃고 있는 사람에게 더 많이 웃으라고 요구하는 등 롱테일 영역에서 오작동이 발생했다.

• 국가별로 상이한 AI 규제와 법적 리스크 때문에 미국에서 출시한 기능을 전 세계에 동시에 배포할 수 없었다.

타임라인

1. 00:00:00 - 04:54:00

   AI 제품의 A/B 테스트와 첫 번째 문제

   데이팅 앱 범블은 프로필 사진 개선을 돕는 생성형 AI 피드백 기능을 개발했다. 사전 리서치에서는 대다수의 사용자가 피드백 기능을 원한다고 응답했으나, 막상 50%의 사용자에게 기능을 배포했을 때 실제 이용률은 극히 저조했다. 이를 해결하기 위해 사용자가 사진을 추가하거나 매칭에 난관을 겪을 때 자연스럽게 피드백을 제안하는 방식으로 동선을 재설계하여 채택률을 끌어올렸다.

   • A/B 테스트 결과가 긍정적이라고 해서 AI 기능을 무조건 출시하는 것은 충분하지 않다.
   • 사용자 인터뷰에서는 78%가 프로필 피드백 기능을 원한다고 답했지만 실제 사용률은 10~15%에 불과했다.
   • 독립형 기능 대신 사용자가 이미 앱 내에서 수행하는 여정 속에 기능을 녹여내야 채택률을 높일 수 있다.
2. 04:54:00 - 07:54:00

   평균의 함정과 롱테일 영역의 가드레일

   기능 출시 후 전체 프로필 추가 횟수는 증가했으나, 세부 내용을 확인해보니 AI가 이미 웃고 있는 사람에게 추가로 미소를 지으라는 식의 부적절한 팁을 제공하고 있었다. 긍정적인 평균값만으로는 성공을 평가할 수 없으며, 다양한 사용자 세그먼트와 언어별 반응을 점검하는 평가 체계가 필수적이다. 금융 앱과 데이팅 앱 등 서비스 성격에 따라 허용되는 오류 범위가 다르므로 명확한 금지 규칙을 세워야 한다.

   • 전체적인 지표가 훌륭하더라도 세부 데이터를 살펴보면 롱테일 영역에서 이상 작동이 발생할 수 있다.
   • 생성형 AI의 오류 범위에 따라 엄격한 가드레일과 평가 도구가 필요하다.
   • 신체 특징이나 키, 피부색 등 사용자가 통제할 수 없는 부분을 수정하라는 피드백은 엄격히 차단해야 한다.
3. 07:54:00 - 11:49:00

   생성형 AI의 비용 구조와 모델 선택

   최고 품질과 정확도를 확보하기 위해 최상위 LLM을 도입했으나 평가 실행 비용까지 더해져 감당하기 어려울 정도로 비용이 불어났다. 머신러닝은 초기 학습 비용 이후 추가 비용이 적은 반면, 생성형 AI는 성공할수록 비용이 늘어난다. 이에 따라 더 저렴한 모델로 전환하여 정확도가 일부 떨어지기도 했으나, 데이터 중심적으로 여러 모델을 재테스트하며 최적의 균형점을 찾았다.

   • 전통적인 머신러닝과 달리 생성형 AI는 사용자가 늘어날수록 청구 비용이 선형적으로 증가한다.
   • 가장 성능이 뛰어난 모델은 단순 모델보다 약 10배 비싸서 확장성에 제동이 걸린다.
   • AI 도입 목적이 단기적 수익인지 브랜드 신뢰를 위한 장기적 포석인지 명확히 이해해야 예산과 지출을 정당화할 수 있다.
4. 11:49:00 - 14:36:00

   글로벌 규제와 법적 리스크

   미국과 캐나다 등 특정 지역에서만 AI 기능이 출시되는 것처럼, 법적 리스크와 규제 준수 여부는 제품 출시의 범위를 결정한다. 미국 시장을 타깃으로 먼저 출시했으나 이를 다른 국가에 그대로 적용할 수 없는 문제가 발생했다. 기능을 완성하는 것만큼이나 사용자의 손에 실제로 쥐어줄 수 있는지 법적 한계를 미리 파악하는 것이 중요하다.

   • 끊임없이 바뀌는 국가별 AI 규제로 인해 전 세계 동시 출시는 현실적으로 어렵다.
   • 제품 빌더들은 초기 단계부터 규정 준수 및 법적용을 고민하는 제너럴리스트가 되어야 한다.
   • 단일 국가에 집중해 최고급 제품을 만들 것인지, 국가별 맞춤 버전을 위해 추가 비용을 감수할 것인지 선택해야 한다.