원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
Задержка с внедрением каждой новой модели связана вовсе не с результатами бенчмарков. Наш путь преграждают легаси-архитектура с захардкоженным SDK конкретного вендора прямо посередине бизнес-логики и счета за API, предсказать размер которых невозможно.
Если к этому добавляются замечания службы безопасности в духе «передача пользовательских данных в зарубежный регион нарушает закон о персональных данных», разработчикам приходится ночами сидеть сверхурочно и править отчеты по проверкам. Изменение эндпоинта — это самый последний шаг. Сначала нужно извлечь цифры на основе реальных операционных логов для получения одобрения бюджета, очистить аудит с помощью маскирования промптов и только после этого менять код.
Если подавать заявку на бюджетирование, ориентируясь лишь на рекламные прайс-листы вендора, при росте трафика вы получите гигантский счет. Сначала нужно спарсить логи вызовов работающих серверов за последние 30 дней, чтобы проверить реальное потребление токенов.
Если вы используете CloudWatch Logs Insights, с помощью AWS CLI можно за 10 секунд получить объем потребления токенов на один запрос и общие ежедневные показатели.
