Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Le code qui fonctionnait bien pendant le développement s'arrête dès l'arrivée des utilisateurs réels. Dans l'environnement de niveau 1 accordé juste après le paiement initial de 5 dollars, les modèles phares sont limités à une bande passante restreinte de 500 rpm et 30 000 tpm. Anthropic limite indépendamment les jetons d'entrée et les jetons de sortie au lieu du total des jetons, et sur un nouveau compte de niveau 1, le modèle Claude Sonnet est contrôlé à 50 rpm, 30 000 itpm et 8 000 otpm.
Pour calculer précisément les coûts d'exploitation mensuels, il faut combiner le volume total du trafic, le taux de réussite du cache et le taux de réessai. Pour 1 million de requêtes de chatbot de support client traitées par mois avec gpt-4o, sans mise en cache, le coût de base atteint 5 000 dollars, et avec un taux de réessai 429 de 10 pour cent, la facture réelle passe à 5 500 dollars.
Selon les statistiques de disponibilité de Datadog, le temps de fonctionnement des principaux fournisseurs cloud est de 99,72 pour cent pour Anthropic, 99,31 pour cent pour OpenAI et 99,14 pour cent pour Google AI. En cas de conflit de planification à l'intérieur du centre de données, le TTFT p99 explose, passant de 800 millisecondes en temps normal à plus de 15 secondes, et un système directement connecté à un seul fournisseur entraîne des pannes en cascade.
Si vous intégrez directement le SDK d'un fournisseur de modèle spécifique dans votre logique métier, vous devrez tout réécrire lorsqu'un nouveau modèle sortira. L'introduction d'un modèle d'adaptateur pour imposer un format de message unifié permet de remplacer le modèle en deux heures sans modifier la logique métier. Il suffit d'écrire une classe de base Python définissant les spécifications des messages unifiés et des réponses LLM, d'implémenter l'adaptateur OpenAI et l'adaptateur Anthropic par héritage, puis de permuter les instances via l'injection de dépendances.
Pour améliorer la fiabilité de la sortie structurée, il faut associer la validation des paramètres à une boucle d'auto-guérison basée sur le retour d'erreurs. Au lieu de renvoyer immédiatement une erreur lorsque le modèle renvoie une sortie mal structurée, le message d'erreur de validation Pydantic est réinjecté dans le contexte pour commander une re-correction jusqu'à 3 fois, ce qui fait passer le taux de réussite du format de 60 pour cent à plus de 95 pour cent.
Pour faire face aux pannes HTTP 429 et 529, il faut vérifier la valeur Retry-After dans les en-têtes de réponse pour effectuer un backoff exponentiel, ou mettre en place un disjoncteur (circuit breaker) pour contourner immédiatement les erreurs 529 lorsque les ressources sont saturées.
Transmettre directement des données d'entreprise à des API LLM externes expose les numéros d'enregistrement résidentiel, les numéros d'enregistrement d'entreprise et les coordonnées des clients, ce qui entraîne des sanctions juridiques. Il convient d'initialiser une classe de moteur de compilation d'expressions régulières pour définir les motifs de données sensibles, de les remplacer par des jetons pseudonymes via une méthode de masquage, et d'exploiter une table de correspondance d'isolation de session qui restaure les données originales à l'aide d'une méthode de dé-masquage après réception de la réponse.
Même dans le cadre des contrats API de base, les invites sont temporairement stockées sur le serveur pendant 30 jours maximum à des fins de surveillance des abus. Par conséquent, dans un environnement d'entreprise, il est nécessaire de conclure un accord de non-conservation des données ou de passer par un pôle cloud prenant en charge les clés de chiffrement gérées par le client.
Pour respecter les directives de la Commission de protection des informations personnelles (PIPC), le texte brut de l'invite réelle doit être totalement supprimé des journaux d'appel, et seuls le hachage à 256 bits, les métadonnées pseudonymisées, l'heure de l'appel et l'identifiant de l'utilisateur doivent être conservés dans le stockage d'audit.
Dans un environnement où les requêtes répétées affluent, transmettre toutes les requêtes en temps réel à un LLM externe est un gaspillage. La mise en place d'une structure à deux niveaux composée d'un cache de correspondance exacte utilisant un hachage à 256 bits et d'un cache sémantique évaluant la similarité cosinus entre les vecteurs d'embedding permet de réduire le nombre d'appels API de 60 à 85 pour cent et d'économiser jusqu'à 73,3 pour cent sur les coûts d'exploitation.
Pour éviter l'explosion du nombre de jetons lors de l'insertion d'images haute résolution dans un modèle multimodal, les octets de l'image doivent être réduits à moins de 1 024 pixels via une bibliothèque de traitement d'images en passant par un pipeline de prétraitement, compressés au format WebP, et les paramètres de détail doivent être configurés automatiquement sur basse ou haute qualité en fonction de la résolution avant d'être envoyés.
Pour éviter l'épuisement du budget dû à un dysfonctionnement des agents ou à des attaques de bots, il faut implémenter des garde-fous budgétaires basés sur Redis pour évaluer avant l'appel si les dépenses de la journée dépassent la limite, et après l'appel, convertir les jetons consommés en coûts en dollars pour bloquer l'accès de manière cumulative.
