Comment obtenir l'approbation du budget et passer la sécurité en premier lors de l'intégration de GPT-6 Astra dans un backend legacy
Ce n'est pas à cause des scores de benchmark que l'adoption d'un nouveau modèle prend du retard à chaque sortie. C'est la structure legacy, qui code en dur le SDK d'un fournisseur spécifique au milieu de la logique métier, et la facture API dont il est impossible d'estimer le montant, qui nous ralentissent.
Si l'on ajoute à cela la remarque de l'équipe sécurité : « Si les données des clients passent dans une région étrangère, cela viole la loi sur la protection des informations personnelles », les ingénieurs se retrouvent à faire des heures supplémentaires chaque soir pour modifier des rapports d'examen. Modifier les points de terminaison est la dernière étape. Il est plus sûr de extraire les chiffres à partir des logs de production réels pour obtenir l'approbation du budget, d'éliminer les audits grâce au masquage des prompts, et ensuite seulement de remplacer le code.
Calculer le budget de l'API Astra avec 30 jours de logs CloudWatch
Soumettre une proposition en se basant uniquement sur la grille tarifaire publicitaire du fournisseur expose à des factures exorbitantes en cas de pic de trafic. Il faut d'abord analyser les logs d'appel des 30 derniers jours du serveur en production pour vérifier la consommation réelle de jetons.
Si vous utilisez CloudWatch Logs Insights, une requête CLI AWS permet d'extraire en 10 secondes la consommation de jetons par requête et le total journalier.