为什么 AI 写作读起来依然像垃圾内容 — Louis-François Bouchard，Towards AI

Highlights

• 平庸文本主要由过度使用的词汇、宽泛空洞的内容、自我重复、幻觉以及缺乏个人语调等六个方面构成。

• ToneBench 是一个专为衡量人工智能模型创意写作与文本粗糙度而设计的全新基准测试。

• 每个模型的评估过程包括生成 10 个不同的脚本草稿，每个草稿重复 5 次以测量模态内部变异性。

• 初始基准测试的开发耗费了大约 500 美元的工时和四个月的迭代实验成本。

• 提示词或评分标准的微小改动会导致数千美元的测试成本支出。

• 使用 GLM 5.3 Flash 生成多个草稿并由高思考力模型挑选合并，能以极低成本获得优秀的写作效果。

Timeline

1. 00:00 - 03:42

   平庸之作的定义与 ToneBench 的发布

   人工智能生成内容中的平庸感表现为充斥着如 '深入探讨' 等固定词汇，缺乏实际信息量。为了解决这一问题，ToneBench 在此时发布，用于测试模型在创意写作方面的真实表现。基准测试的核心目标是衡量写作的粗糙程度，而不是重新评估现有的通用能力。

   • 人工智能生成文本中的平庸之作由过度使用特定词汇、内容宽泛、言之无物、自我重复、幻觉以及缺乏独特语调六个方面构成。
   • ToneBench 是一个旨在衡量文本粗糙度而非传统指标的全新基准测试。
   • 随着大模型不断演进，低劣和模式化的文本并未消失，而是在规模化扩张。
2. 03:42 - 05:42

   新基准测试的需求背景与团队资质

   由于团队日常需要发布大量视频、文章和书籍，使用人工智能辅助创作时频繁遭遇平庸废话的困扰。社区的积极反馈进一步证实了创建创意写作基准测试的必要性。团队凭借多年在学术界和工业界评估人工智能模型的经验，构建了专门的测试管道。

   • 团队在教育领域制作了大量 AI 工程内容，面临着持续审查和修复平庸内容的繁重工作。
   • 社交媒体平台上充斥着大量由人工智能生成的内容，亟需提升文本质量。
   • 团队由 15 名 AI 工程师以及创意作家和编辑组成，具备评估管道的建设能力。
3. 05:42 - 08:28

   基准测试的架构与多草稿生成机制

   测试通过向模型发送包含详细写作风格、主动语态规则和历史示例的深入提示词来生成脚本。生成 5 个草稿的机制能够有效捕捉模型在创意任务中的异常值和方差。较差的模型通常展现出更大的生成方差，而优秀模型则保持更高的稳定性。

   • 测试包含 10 个不同的脚本任务，涵盖详细的简报、研究资料和写作风格指南。
   • 每个模型针对每个任务生成 5 个草稿以测量模态内部变异性。
   • 四个不同的大模型裁判对生成的文本进行分析并计算排行榜最终得分。
4. 08:28 - 14:10

   九维指标评估与裁判模型偏好问题

   评委通过包含详细指导方针的 14000 词提示词对生成内容进行六类别分类和评分。由于大模型裁判存在偏好自身或特定厂商模型的现象，测试需要使用不同的模型系列交叉验证。团队成员手动比较生成的脚本片段，以确保评估结果的客观性和准确性。

   • 评估体系从基调、文章质量、指令遵循、研究准确性和平庸度等九个不同指标展开测量。
   • 裁判模型对自身系列的模型表现出强烈的偏好倾向。
   • 团队通过结合代码处理与人工对比 1000 个 AB 对来缓解评委偏见。
5. 14:10 - 15:23

   构建成本与实验开销分析

   构建和维护创意写作基准测试伴随着显著的财务和时间成本。由于每次实验都需要大规模调用大模型裁判处理数千个脚本，微小的提示词改动会带来高昂的经济开销。开发者在进行相关测试迭代时必须保持谨慎。

   • 基准测试的初始启动成本包括约 500 美元的工时和四个月的个人迭代时间。
   • 修改评分标准中的评委评分方式会产生超过 2000 美元的费用。
   • 调整模型生成时的输入提示词单行内容成本超过 4000 美元。
6. 15:23 - 18:55

   创意写作的最佳实践与成本优化策略

   针对创意任务，选择最不烦人、能高效辅助创作的模型优于追求完美的一次性生成。利用高思考力评审模型对较便宜模型生成的草稿进行审核和合并，能够实现性价比最高的大规模文本生产。基准测试结果虽为主观数据点，但为寻找优质写作模型提供了重要依据。

   • 创意写作需要极其长且详细的提示词，并包含正反两面的丰富示例。
   • 采用 GLM 5.3 Flash 生成多个草稿并由高思考力模型挑选合并，可以大幅降低成本并提升效果。
   • 自动化的基准测试提供强烈的质量信号，但最终仍然需要人工审核。