Comment créer des agents financiers qui fonctionnent sur tout le Web - Jay Sahnan & Arik Bird, Browserbase

하이라이트

• L'utilisation de navigateurs cloud standards dans un centre de données déclenche des blocages en raison d'une empreinte numérique et d'adresses IP identifiables.

• Un fork personnalisé de Chromium supprime le paramètre webdriver, aligne l'identité sur un navigateur classique et maintient les sessions actives.

• Stagehand réduit le volume de données textuelles de 122 000 à environ 4 000 jetons en convertissant le DOM brut en un arbre d'accessibilité optimisé.

• L'automatisation des reçus chez Ramp a permis d'économiser plus de 30 000 heures de saisie manuelle et de multiplier l'échelle par 5.

• La primitive extract de Stagehand convertit des pages web non structurées en données exploitables grâce à des schémas Zod.

타임라인

1. 00:00 - 03:05

   Introduction aux agents de navigation et aux cas d'usage financiers

   Les agents de navigation agissent comme des outils indispensables pour accomplir des actions en ligne lorsque les interfaces de programmation font défaut. Les entreprises financières manipulent des informations sensibles dissimulées derrière des connexions sécurisées ou des barrières anti-robots. Ramp, par exemple, a initialement employé des équipes humaines pour collecter des reçus de vol sur des portails comme Delta. Cette méthode manuelle se révèle inefficace et bloque l'expansion rapide des entreprises à forte croissance.

   • Les agents de navigation accèdent au Web, lisent les informations et interagissent avec les sites pour automatiser les tâches complexes sans API ni protocole MCP.
   • Des institutions financières comme Ramp, Bill et Stripe traitent de grands volumes de données sur des portails fortement protégés contre les robots.
   • Les entreprises historiques recourent à des équipes humaines pour se connecter et récupérer des reçus ou des documents à grande échelle.
   • L'automatisation par des humains atteint des limites de coût et de rapidité face à la croissance des volumes transactionnels.
2. 03:05 - 09:43

   Le fork de Chromium et les défis des navigateurs cloud

   Les navigateurs exécutés dans le cloud subissent des restrictions strictes de la part des protections anti-robots en raison de leur empreinte numérique de centre de données. Pour contourner ces obstacles, un fork spécifique de Chromium modifie le paramètre webdriver, renomme le processus en Chrome standard et conserve les sessions ouvertes au lieu de les fermer à chaque tâche. Cette infrastructure permet de lancer simultanément des centaines de navigateurs vérifiés capables de naviguer sur des portails complexes sans éveiller de soupçons.

   • Un navigateur standard sur ordinateur portable possède une empreinte numérique complète, un historique et une réputation réseau reconnus par les sites web.
   • Déployer un navigateur cloud sans tête dans un centre de données génère des empreintes variables, des cookies vierges et des adresses IP de serveurs détectables.
   • Un fork personnalisé de Chromium supprime le fanion d'automatisation webdriver, aligne l'identité sur un navigateur classique et maintient les processus actifs.
   • L'utilisation de navigateurs vérifiés hébergés réduit drastiquement le blocage par les systèmes de sécurité et le déclenchement de CAPTCHA.
3. 09:43 - 15:13

   Contrôle des agents et réduction des jetons avec Stagehand

   Les scripts Playwright traditionnels cassent dès qu'un élément de l'interface utilisateur se déplace ou change de nom. Stagehand résout cette instabilité en combinant des règles déterministes et des commandes textuelles en langage naturel interprétées par un agent. En condensant le DOM brut en un arbre d'accessibilité optimisé, le système réduit considérablement la consommation de jetons et les coûts d'inférence. L'intégration directe de Stagehand au sein du navigateur cloud élimine la latence de communication.

   • L'automatisation de milliers de portails différents exige un contrôle unifié et adaptatif plutôt que des scripts Playwright rigides.
   • Stagehand est un SDK open source qui permet de piloter un navigateur à l'aide d'instructions en langage naturel et de primitives comme act, extract et observe.
   • L'utilisation du DOM complet envoie plus de 120 000 jetons aux modèles de langage, tandis que l'arbre d'accessibilité réduit ce volume à environ 4 000 jetons.
   • Placer Stagehand directement à côté du navigateur hébergé supprime les allers-retours réseau et accélère l'exécution des actions.
4. 15:13 - 19:36

   Démonstrations pratiques d'extraction de données financières et d'entreprise

   L'utilisation combinée de Browserbase et de Stagehand simplifie la récupération d'informations financières complexes issues de sources multiples. Les développeurs définissent des schémas Zod pour transformer des pages web désordonnées en données structurées et exploitables. Les démonstrations montrent l'extraction de données sur des entreprises comme Chipotle ou des banques via des rapports boursiers et des documents réglementaires. Cette approche automatise les processus de vérification d'identité et de recherche financière à grande échelle.

   • Les primitives de Stagehand incluent observe pour identifier les éléments, act pour exécuter des actions et extract pour structurer les données non structurées via des schémas Zod.
   • Des extractions simultanées sur plusieurs sources permettent de collecter des informations provenant de sites web d'entreprises, de pages investisseurs et de dossiers SEC.
   • L'automatisation à grande échelle valide les dossiers KYC de dizaines de milliers de marchands de manière fluide et continue.
   • Les navigateurs vérifiés résolvent automatiquement les CAPTCHA et permettent de traiter simultanément vingt entreprises sans interruption.