Sem Caching, Seu Agente de IA Custa 10x Mais - George Cameron, Artificial Analysis

하이라이트

• A ausência de cache de prompts pode multiplicar o custo de execução de um agente de inteligência artificial de 21 dólares para mais de 200 dólares por tarefa.

• O acesso a um determinado nível de inteligência artificial reduz-se em cerca de 10 vezes no espaço de um ano, acompanhando a evolução dos modelos mais económicos.

• Os custos de conclusão de tarefas variam drasticamente entre os modelos, indo desde mais de 5 dólares até valores iguais ou inferiores a 0,05 dólares.

• A execução de tarefas agênticas de longo prazo é influenciada principalmente pelos preços dos tokens de entrada e pela percentagem de acertos de cache.

• O índice de inteligência desenvolvido pela Artificial Analysis sintetiza 10 avaliações distintas que abrangem áreas como trabalho de conhecimento, programação e raciocínio científico.

타임라인

1. 00:00:00 - 06:52:00

   Apresentação da Artificial Analysis e do panorama de inteligência

   A introdução aborda a importância de analisar todas as camadas da pilha de inteligência artificial, desde os modelos até ao hardware e inferência. O índice de inteligência serve como principal métrica unificada para orientar programadores na escolha de tecnologias. Adicionalmente, destaca-se o papel competitivo dos modelos de pesos abertos no mercado atual.

   • A Artificial Analysis atua como uma empresa independente de benchmarking em toda a pilha de inteligência artificial.
   • O índice de inteligência sintetiza 10 avaliações para medir a capacidade geral dos modelos de linguagem.
   • Os modelos de pesos abertos mantêm uma desfasagem de três a nove meses em relação aos principais modelos proprietários.
2. 06:52:00 - 15:35:00

   Fatores determinantes e composição dos custos de inteligência artificial

   O custo de execução de agentes complexos tornou-se significativamente mais complexo, envolvendo tokens de entrada, saída e raciocínio. A ausência de cache de prompts eleva o custo médio de uma tarefa de 21 dólares para mais de 200 dólares. Além disso, o esforço de raciocínio impacta diretamente o volume de tokens e o número de passos necessários para concluir uma operação.

   • As tarefas individuais de inteligência artificial podem custar desde mais de 5 dólares até menos de 0,05 dólares dependendo do modelo.
   • O custo para aceder a um nível específico de inteligência reduz-se aproximadamente 10 vezes no período de um ano.
   • A taxa de acertos de cache e o número de turnos por tarefa representam os maiores fatores determinantes no custo de execução de agentes.
3. 06:52:00 - 19:32:00

   Estratégias de compensação e tomada de decisão para programadores

   A seleção do modelo adequado exige avaliar se a tarefa beneficia de maior inteligência ou se um modelo mais económico atinge o mesmo resultado. Para cargas de trabalho em produção, recomenda-se a criação de benchmarks próprios. O produto Optima auxilia os programadores a realizarem o upload de contextos e a definirem as melhores escolhas de custo e desempenho.

   • As tarefas dividem-se em categorias de inteligência ilimitada e inteligência limitada para otimizar alocações de orçamento.
   • A fronteira de Pareto auxilia na identificação da melhor relação entre inteligência e custo por tarefa.
   • A ferramenta Optima foi desenvolvida para gerar benchmarks personalizados e curvas de compensação com base no contexto do utilizador.