Por que a escrita de IA ainda parece lixo — Louis-François Bouchard, Towards AI

Highlights

• O ToneBench mede quão desleixada e genérica é a escrita gerada por inteligência artificial.

• O benchmark utiliza 10 roteiros diferentes e avalia cinco rascunhos por modelo para medir a variabilidade intramodal.

• Avaliações com modelos de linguagem exigem cautela devido à preferência marcante que certas famílias de IA demonstram por si mesmas.

• A criação do ToneBench exigiu um investimento de centenas de horas e milhares de dólares em testes e assinaturas.

• O modelo GLM 5.3 Flash apresenta excelente custo-benefício, custando 50 vezes menos que o Opus 5.5 Extra High com resultados similares.

Timeline

1. 00:00:00 - 03:39:00

   Definição do problema de escrita desleixada

   O texto gerado por inteligência artificial apresenta padrões repetitivos, alucinações e um tom genérico que não reflete a voz humana. Mesmo com o avanço tecnológico dos modelos, esse problema persiste e cresce nas redes sociais. Para solucionar essa questão, a iniciativa introduz o ToneBench, um sistema focado em avaliar a qualidade real e a criatividade da escrita automática.

   • O texto gerado por inteligência artificial repete termos excessivos como delve e carece de autenticidade.
   • Modelos avançados continuam escalando a produção de textos superficiais e genéricos nas redes sociais.
   • O ToneBench surge para medir o nível de desleixo na escrita em vez de focar apenas em métricas superficiais de vocabulário.
2. 03:39:00 - 08:27:00

   Justificativa e construção do ToneBench

   A criação de conteúdo em larga escala gera a necessidade de ferramentas de avaliação confiáveis para filtrar textos automáticos ruins. O ToneBench utiliza roteiros de referência e diretrizes minuciosas baseadas em exemplos reais de comunicação. Gerar cinco rascunhos por modelo permite identificar quais IAs mantêm estabilidade criativa e quais apresentam grande oscilação de qualidade.

   • A Towards AI necessitava de modelos melhores para criar conteúdo educacional sem revisões exaustivas.
   • O processo de avaliação utiliza 10 roteiros e prompts detalhados com exemplos de estilo e tom.
   • Cada modelo gera múltiplos rascunhos para testar a consistência e a variabilidade das respostas.
3. 08:27:00 - 14:15:00

   Métricas e avaliação por juízes de IA

   A quantificação da escrita criativa baseia-se em rubricas detalhadas que pontuam aspectos como tom, engajamento e fidelidade aos dados de pesquisa. Como a automação depende de juízes baseados em modelos, surgem vieses de preferência entre empresas concorrentes. Para mitigar distorções, o processo combina avaliações automatizadas com análises humanas em pares.

   • O sistema avalia nove métricas agrupadas em tom, qualidade geral, cumprimento de instruções, precisão da pesquisa e nível de slop.
   • Quatro juízes de inteligência artificial analisam os textos gerados sem saber qual modelo os produziu.
   • Modelos da OpenAI demonstram forte preferência por conteúdos gerados pela própria família de IAs.
4. 14:15:00 - 18:55:00

   Custos e aprendizados práticos

   O desenvolvimento de benchmarks especializados exige investimentos expressivos de tempo e recursos financeiros em chamadas de API. A experiência prática demonstra que prompts extensos e o uso de revisões cruzadas reduzem drasticamente os defeitos nos textos gerados. Estratégias que utilizam modelos rápidos para rascunhos e IAs de raciocínio avançado para filtragem oferecem o melhor retorno econômico.

   • Alterações em rubricas ou prompts geram custos operacionais elevados durante a fase de testes.
   • Prompts longos e detalhados com exemplos negativos melhoram significativamente o resultado da escrita.
   • A combinação de modelos econômicos para rascunhos e modelos avançados para seleção otimiza custos e qualidade.