노키아가 무료 Jev 대체재(AnyJev)를 출시했습니다

하이라이트

• 노키아 응용 연구팀에서 개발한 오픈소스 파이썬 라이브러리인 애니제프(AnyJev)는 별도의 추가 학습이나 라벨링 데이터 없이 오픈 가중치 모델에 결정 레이어를 추가한다.

• 호스팅 결정 모델인 제브(Jev)는 100만 토큰당 4.2센트의 비용이 들지만 클로즈드 소스로 직접 실행할 수 없는 반면, 애니제프는 아파치 2.0 라이선스로 사용자 머신에서 무료로 실행된다.

• 애니제프의 L0 레벨은 모델의 위치 편향과 라벨 편향 문제를 해결하기 위해 옵션 순서를 바꿔 질문한 뒤 결과를 평균 내고 쏠림 현상을 상쇄시킨다.

• 500개의 뉴스 헤드라인 테스트에서 제브는 80%의 정확도를 기록한 반면, 원시 큐언(Qwen)은 68.4%, 애니제프 L0는 68.6%의 정확도를 보였다.

• 원시 큐언 모델은 답변의 87%에서 99% 이상의 높은 확신도를 보였으나 그중 30%가 틀려 신뢰도가 실제 정확도를 반영하지 못하는 한계를 드러냈다.

타임라인

1. 00:00:00 - 03:03:00

   애니제프의 개념과 결정 모델의 특징

   뉴스 기사가 실제인지 풍자 매체의 글인지 판별하는 테스트에서 일반 모델, 제브, 애니제프가 서로 다른 결과를 보인다. 애니제프는 노키아 응용 연구팀이 개발하였으며 허깅 페이스 트랜스포머스 및 VLLM 등과 호환된다. 결정 모델은 텍스트를 생성하는 대신 옵션별 확률 값을 직접 산출하므로 처리 과정이 단순하고 효율적이다.

   • 일반 LLM과 달리 결정 모델은 텍스트 생성 없이 입력된 상태와 선택지에 대한 확률 값을 바로 반환한다.
   • 제브(Jev)는 API 기반의 클로즈드 소스인 반면, 애니제프는 사용자의 로컬 머신에서 실행되는 오픈 가중치 모델용 파이썬 라이브러리이다.
   • 애니제프는 모델이 텍스트를 직접 쓰지 않고 특정 문자가 나타날 확률을 계산하므로 파싱 실패 위험이 없다.
2. 03:03:00 - 05:32:00

   편향 제거를 위한 L0 레벨의 작동 방식

   옵션의 순서만 바뀌어도 모델의 답변 확률이 극단적으로 달라지는 위치 편향 현상이 발생한다. 애니제프의 L0는 단 하나의 라벨링된 예시 없이도 이러한 편향을 교정한다. 입력 배치 전반을 살펴보는 배치 사전 확률과 단일 입력 시 사용하는 콘텐츠 무관 사전 확률을 통해 모델의 쏠림을 상쇄한다.

   • 모델의 원시 확률값에는 특정 답변을 선호하는 위치 편향과 라벨 편향이 내재되어 있다.
   • 애니제프의 L0는 모든 순서로 질문을 던져 결과를 평균 내고 라벨 쏠림을 상쇄하여 위치 편향을 해결한다.
   • 편향을 추정하는 방식에는 배치 사전 확률과 콘텐츠 무관 사전 확률 두 가지가 존재한다.
3. 05:32:00 - 09:44:00

   500개 헤드라인 대규모 벤치마크 결과

   실제 뉴스 250개와 풍자 기사 250개로 구성된 500개 헤드라인 데이터셋을 이용해 성능을 비교했다. 제브는 정확도와 보정, 처리 속도 면에서 모두 우위를 차지했다. 애니제프의 L0는 풍자 편향을 완벽히 보정하지 못했으며 확신도 보정 오차 측면에서도 원시 모델과 유사한 수준을 기록했다.

   • 캐글의 뉴스 헤드라인 데이터셋 500개를 활용한 테스트에서 제브가 80%의 정확도로 가장 우수한 성적을 거뒀다.
   • 원시 큐언은 풍자 기사 쪽으로 심하게 치우쳐 전체 헤드라인의 69%를 풍자로 판단하는 편향을 보였다.
   • 원시 모델은 99% 이상의 높은 확신도를 보인 답변 중 30%를 틀려 확신도와 실제 정확도가 일치하지 않았다.
4. 09:44:00 - 01:25:25

   까다로운 헤드라인 테스트와 최종 평가

   어니언 기사처럼 들리는 실제 기사들을 대상으로 한 추가 테스트에서는 애니제프가 70%의 정확도로 선전했다. 하지만 최신 기사 테스트에서는 보정이 역효과를 낳아 오히려 성적이 떨어지기도 했다. 결론적으로 애니제프는 무료이며 데이터 프라이버시가 보장되는 강력한 도구이지만, 데이터 특성에 따라 성능이 달라지므로 도입 전 철저한 검증이 필요하다.

   • 가짜처럼 들리는 실제 뉴스 헤드라인을 모은 테스트에서는 애니제프가 편향 제거 효과를 발휘해 더 높은 정답률을 기록했다.
   • 최신 헤드라인 테스트에서는 균등하게 섞인 상태에서 편향 제거가 오히려 역효과를 내어 정확도가 하락했다.
   • 애니제프는 데이터 유출 없는 로컬 실행과 무료라는 장점이 있으나 프로덕션 배포 전 사전 검증이 필수적이다.