AI 글쓰기가 여전히 싸구려 같은 이유 — 루이프랑수아 부샤드, Towards AI

Highlights

• 생성형 글쓰기의 부실함을 측정하기 위해 새로운 벤치마크인 ToneBench가 공개되었다.

• 슬랍은 인공지능이 과도하게 사용하는 상투적인 표현, 지나친 추상성, 의미 없는 반복, 환각 현상, 그리고 어조의 부재라는 다섯 가지 핵심 요소로 이루어져 있다.

• 모델 내 변동성을 정확히 파악하기 위해 각 프롬프트당 5개의 초안을 생성하는 방식을 사용한다.

• ToneBench의 평가 과정은 어조, 글쓰기 품질, 지시사항 준수 여부, 리서치 정확도, 그리고 부실한 글쓰기 수준을 포함한 9가지 지표를 분석한다.

• 프롬프트의 단 한 줄을 수정하거나 루브릭을 변경하는 데 수천 달러의 비용이 소요될 만큼 벤치마크 실험에는 상당한 비용이 든다.

• 저렴한 모델로 여러 초안을 생성한 뒤 스마트한 평가 모델을 통해 가장 좋은 부분을 병합하는 방식이 비용 효율적이다.

Timeline

1. 00:00 - 03:42

   슬랍의 정의와 ToneBench의 등장 배경

   인공지능이 자주 사용하는 delve나 generaties 같은 상투적인 표현과 지나친 추상성은 읽는 이에게 불쾌감을 준다. 아무런 의미를 전달하지 않으면서 반복되는 문장과 환각 현상 역시 주요 문제로 지적된다. 소규모 교육 콘텐츠 팀을 운영하며 수많은 글을 발행해 온 경험을 바탕으로, 단순한 모델 학습을 넘어 인공지능의 창의적 글쓰기 능력을 정확히 측정할 수 있는 새로운 벤치마크의 필요성이 대두되었다.

   • 인공지능이 생성한 글에서 나타나는 부실한 표현들을 '슬랍(slop)'이라고 정의한다.
   • 모델의 성능이 발전하더라도 슬랍 현상은 사라지지 않고 규모만 커지고 있다.
   • 인공지능 글쓰기의 품질과 부실함을 정량적으로 측정하기 위해 새로운 벤치마크인 ToneBench를 공개한다.
2. 03:42 - 14:15

   ToneBench의 구조와 평가 방법론

   벤치마크 프롬프트에는 필자의 말투와 이전 콘텐츠 예시, 상세한 스토리텔링 지침이 포함된다. 단일 초안 생성 시 발생하는 이상치를 발견하기 위해 5개의 초안을 도출하며, 비용과 변동성 측정 사이의 최적의 타협점을 찾는다. 평가 과정에서는 분량이나 작성 모델 정보를 배제한 채 오직 글의 품질만을 분석하며, OpenAI 모델 패밀리가 자사 모델을 선호하는 등의 평가자 편향을 보완하기 위해 다양한 모델 패밀리를 활용한다.

   • 실제 발행되었거나 검토된 10개의 스크립트를 활용해 데이터 오염 여부를 확인한다.
   • 모델별 성능 편차를 측정하기 위해 각 프롬프트마다 5개의 초안을 생성한다.
   • 어조, 글쓰기 품질, 지시사항 준수, 리서치 정확도, 슬랍 지표를 포함한 9가지 항목을 4명의 LLM 심사위원이 평가한다.
3. 14:15 - 18:55

   구축 비용과 인공지능 글쓰기 최적화 전략

   프롬프트의 단 한 줄을 변경하거나 평가 루브릭을 수정하는 데 수천 달러의 비용이 발생하므로 세심한 접근이 필요하다. 완벽한 단일 모델을 찾는 것보다는 글쓰기 과정에서 가장 번거로움을 줄여주는 모델을 선택하는 것이 현실적이다. 비용 효율성을 극대화하기 위해 GLM 5.3 Flash 같은 저렴한 모델로 여러 초안을 생성한 후 우수한 모델을 통해 병합하고, 최종적으로 사람의 검토를 거치는 워크플로가 권장된다.

   • 벤치마크 초기 구축과 루브릭 정의, 반복 실험에 수천 달러의 비용이 소요된다.
   • 매우 길고 상세한 프롬프트를 작성하고 부정적인 예시를 포함하는 것이 글쓰기 품질 향상에 도움이 된다.
   • 저렴한 모델로 여러 초안을 만든 뒤 사고 능력이 뛰어난 평가 모델로 최적의 부분을 병합하는 방식이 가장 효율적이다.