Nosso Modelo Menor Venceu o Opus em Tarefas Financeiras - Alexander Shevchenko, Ramp

Highlights

• O número de casos de uso da Ramp que utilizam modelos de linguagem aumentou 123% no último ano.

• A parceria com a Prime Intellect resultou no pós-treinamento de um modelo QAN 3.5 de 35 bilhões de parâmetros que superou o Opus 4.6 em precisão de tarefas financeiras com latência em nível Haiku.

• A aplicação de 10.000 agentes paralelos em testes de invasão automatizados permitiu a identificação e correção de sete vulnerabilidades de alta gravidade.

• Modelos de pesos abertos utilizados em enxames custam até cinco vezes menos que modelos de raciocínio de ponta, mantendo uma taxa de detecção quase equivalente.

Timeline

1. 00:12 - 03:19

   Contexto e Evolução dos Agentes na Ramp

   O uso de modelos de linguagem na empresa cresceu 123% no último ano enquanto a economia unitária melhorou com o lançamento constante de novos modelos de fronteira. Em 2023, construir agentes demandava controle rigoroso de prompts e escopo de contexto reduzido devido à ausência de reforço por aprendizado e tokens de pensamento. Atualmente, a facilidade de integração permite explorar abordagens mais avançadas através do Ramp Labs.

   • A empresa Ramp atua fortemente guiada pela lição amarga na aplicação de inteligência artificial.
   • A construção de agentes exigia proteções rígidas e limitação de contexto estrita no ano de 2023.
   • Os modelos atuais conseguem lidar com protocolos MCP e grandes volumes de contexto de forma eficiente.
2. 03:19 - 08:02

   Criação de Modelos Especializados e Truques de Cache KV

   Para solucionar a lentidão do Opus 4.6 em fluxos de caixa e modelagens de planilhas, a equipe treinou um modelo específico de 35 bilhões de parâmetros em parceria com a Prime Intellect. Paralelamente, o uso de cartuchos no cache KV possibilita comprimir grandes volumes de dados de fechamentos contábeis durante a noite, permitindo que o agente inicie o trabalho diário com contexto completo de forma imediata.

   • O modelo QAN 3.5 pós-treinado superou o Opus 4.6 em exatidão mantendo baixa latência.
   • Técnicas de cache KV offline permitem comprimir contexto em até 30 vezes para otimizar processos.
   • O processamento prévio noturno prepara dados contábeis antes do início das atividades mensais dos profissionais financeiros.
3. 08:02 - 14:07

   MapReduce Agêntico, Enxames e Produtos Derivados

   O emprego de enxames com 10.000 agentes em tarefas de MapReduce possibilitou a detecção de falhas complexas, como injeções de script Lua distribuídas em múltiplos componentes. A partir desses aprendizados de pesquisa, a Ramp desenvolveu soluções comerciais voltadas ao monitoramento de consumo de tokens por categorias contábeis e ao roteamento inteligente de chamadas de modelos.

   • Dez mil agentes paralelos executaram testes de invasão e encontraram sete vulnerabilidades graves na infraestrutura.
   • Modelos de pesos abertos em enxames reduzem custos expressivamente sem perda proporcional de eficácia.
   • Ferramentas como o gerenciamento de gastos com tokens e o Ramp Router ajudam empresas a controlar custos e latência.