Por que a Datasite parou de criar seu próprio parsing - Adit Abraham, Reducto & Raj Bakhru, Datasite

Highlights

• A Datasite processa cerca de 60% de todas as transações globais acima de 100 milhões de dólares.

• A plataforma gerencia mais de 500.000 usuários ativos mensais e abriga bilhões de páginas de documentos confidenciais.

• A ingestão de dados em larga escala na Datasite utiliza a ferramenta da Reducto combinada com o banco de dados vetorial TurboPuffer.

• A equipe de engenharia da Datasite prioriza o desenvolvimento de produtos e o GraphRAG em vez de gastar recursos construindo infraestrutura interna de parsing.

• A receita bruta da Datasite cresceu cerca de 40% ao longo de um ano e meio após a integração com a Blue Flame.

Timeline

1. 00:00:00 - 07:18:00

   Trajetória e o desafio de escala na Datasite

   O CTO global da Datasite relata sua transição de fundar a startup Blue Flame até a aquisição pela Datasite. A empresa lida com um volume massivo de dados não estruturados provenientes de transações financeiras de alto valor. A complexidade de analisar documentos financeiros e gráficos exigiu o uso de soluções externas para garantir velocidade, custo e qualidade sem sobrecarregar a equipe interna de engenharia com chamados de suporte.

   • A Datasite gerencia salas de dados virtuais que abrigam bilhões de páginas de conteúdo confidencial para transações financeiras.
   • A equipe inicial construiu sua própria infraestrutura de parsing de forma aguerrida antes de migrar para a Reducto.
   • O parsing de documentos financeiros envolve casos limites complexos, como gráficos de pizza e células mescladas em planilhas do Excel.
   • A decisão de comprar a tecnologia de extração libera engenheiros talentosos para focar em problemas de negócios e na plataforma GraphRAG.
2. 07:18:00 - 12:45:00

   Ajuste estratégico e aquisição pela Datasite

   A decisão de ser adquirido pela Datasite protegeu a startup contra a necessidade de captar centenas de milhões de dólares para competir no espaço de IA vertical. A integração disponibilizou conjuntos de dados proprietários exclusivos para alimentar agentes de IA avançados focados em due diligence e geração de relatórios.

   • A aquisição da Blue Flame pela Datasite ocorreu durante discussões sobre investimento após rodadas de capital com fundos de venture capital.
   • A combinação uniu os dados proprietários de transações da Datasite com o banco de dados de empresas privadas Grata.
   • A receita bruta da Datasite cresceu cerca de 40% no ano e meio seguinte à integração das equipes e tecnologias.
   • A proximidade dos dados com os modelos de IA reduziu custos de tokens e o tempo de execução.
3. 12:45:00 - 19:39:00

   Alocação de engenheiros e prioridades futuras

   A estratégia de engenharia da Datasite evita reinventar rodas tecnológicas já resolvidas pelo mercado, direcionando talentos para impulsionar o crescimento de receita anual. A empresa mede o desempenho de seus modelos através de benchmarks personalizados em salas de dados reais, concluindo que a qualidade da extração inicial determina a precisão de todo o sistema.

   • A organização conta com cerca de 250 engenheiros focados em cinco iniciativas principais geradoras de receita.
   • A otimização contínua equilibra custo, velocidade e qualidade, sendo a qualidade a prioridade máxima para usuários do setor financeiro.
   • O VDR Bench foi desenvolvido internamente para avaliar o desempenho de recuperação de dados em salas de salas virtuais.
   • A extração correta de dados provou ser mais determinante para o sucesso do sistema do que o ajuste posterior das respostas.