Une meilleure recherche a fait passer la précision de cet agent IA de 36 % à 98 % - Aamir Shakir, Mixedbread

하이라이트

• Mixedbread a testé et développé pendant deux ans et demi des solutions pour surmonter les limites de la recherche d'information traditionnelle.

• Un grand fonds de couverture gérant plus d'un milliard de documents a vu la précision de ses agents passer de 36 % à 98 % après l'adoption de Mixedbread.

• L'utilisation d'une recherche qualitative de haute qualité réduit les coûts liés aux LLM par un facteur de trois.

• La pile technologique classique de RAG souffre d'une perte d'information cumulative à chaque étape, allant du découpage à l'incorporation vectorielle unique.

• La plateforme Mixedbread propose des modèles d'interaction latente qui génèrent plusieurs vecteurs contextualisés pour une même page ou un même document.

타임라인

1. 00:00 - 03:32

   Présentation de Mixedbread et des défis de l'ingestion de données

   L'entreprise est née de la volonté d'améliorer la recherche d'information après deux ans et demi de recherche et développement. Les banques et fonds de spéculation utilisent cette technologie en direct avec des milliards de documents, garantissant une stricte confidentialité. Lorsqu'un analyste financier interroge des données complexes via des outils classiques, le système multiplie les lectures de documents non structurés, faisant grimper les coûts de requête de manière excessive.

   • Mixedbread conçoit des modèles de recherche multimodaux et multilingues à partir de zéro pour gérer plus de 100 langues.
   • La solution intègre une conformité SOC 2 et ISO avec un mode à rétention de données nulle et un compartiment personnalisé.
   • Les méthodes traditionnelles comme grep échouent face aux formats binaires et aux scans, ce qui alourdit les coûts en jetons pour les agents.
2. 03:32 - 08:56

   Les limites de la pile de Frankenstein et du RAG traditionnel

   L'assemblage de différents fournisseurs pour l'OCR, l'incorporation et les bases de données vectorielles crée une pile de Frankenstein inefficace en production. Lorsque les corpus de documents s'agrandissent, les embeddings uniques ne parviennent plus à différencier des rapports similaires comme les dossiers SEC de différentes années. Par conséquent, les agents surcompensent en lançant des requêtes agressives qui s'avèrent très onéreuses pour les entreprises.

   • Chaque étape de la pile RAG traditionnelle, de l'OCR au découpage, introduit du bruit et détruit de l'information.
   • Les modèles d'incorporation à vecteur unique réduisent des pages riches à un seul point dans l'espace, rendant la distinction entre rapports financiers difficile.
   • La surcharge des requêtes par les agents sature la fenêtre de contexte et fait exploser les coûts d'exploitation.
3. 08:56 - 15:27

   L'évolution de la recherche et l'approche par interaction latente

   L'analyse historique montre une progression linéaire de la recherche textuelle avant l'introduction récente de modèles d'interaction latente. Cette nouvelle approche génère simultanément plusieurs vecteurs pour une même page tout en conservant le contexte global, tel que l'identité de l'entreprise émettrice. Les démonstrations montrent la capacité du système à extraire des marges opérationnelles à partir de diapositives visuelles et à exécuter des recherches agentiques rapides.

   • Le secteur a mis 27 ans à évoluer de BM25 aux premiers modèles d'incorporation performants en 2022.
   • Le nouveau modèle de Mixedbread utilise des interactions latentes pour attribuer plusieurs vecteurs contextualisés par document.
   • La prise en compte de la multimodalité visuelle permet de traiter directement les graphiques et les tableaux sans perte de données.
4. 15:27 - 16:21

   Étude de cas et bénéfices opérationnels

   L'étude de cas auprès d'un gestionnaire d'actifs illustre l'impact concret de la plateforme sur la précision analytique. En fournissant un contexte de haute qualité directement aux agents, les coûts d'utilisation des LLM diminuent de manière drastique. L'entreprise propose des crédits gratuits et un accompagnement rapide pour configurer les environnements sécurisés des nouveaux utilisateurs.

   • Un grand fonds de couverture a intégré plus d'un milliard de documents sur la plateforme en une semaine et demie.
   • La précision des réponses des agents est passée de 36 % avec l'ancienne architecture à 98 % avec Mixedbread.
   • La diminution du volume de jetons superflus divise par trois les coûts liés aux grands modèles de langage.