Конкретные способы обеспечения лимитов TPM при создании агентов Claude
makedream٧ مايو ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
Anthropic в партнерстве с дата-центром SpaceX Colossus 1 начала эксплуатацию инфраструктуры из 220 000 графических процессоров (GPU). Масштабирование инфраструктуры означает не просто то, что модель стала умнее. Для нас, разработчиков, это сигнал о фундаментальном изменении лимитов токенов в минуту (TPM), которые раньше были узким местом при эксплуатации сервисов. При развертывании крупномасштабных агентов первой стеной, с которой вы сталкиваетесь, является не производительность модели, а ошибка 429 Too Many Requests.
Чтобы агент мог анализировать сложные кодовые базы или одновременно обрабатывать запросы тысяч пользователей, необходимы как минимум права Tier 4. По состоянию на 2026 год, при переходе на Tier 4 лимит входящих токенов в минуту (ITPM) увеличивается до 4 000 000. Поскольку эта система автоматически определяется на основе накопленной суммы платежей, действовать нужно стратегически.
service_tier в заголовке API-запроса как auto. Это позволит гибко переключаться между зарезервированной мощностью и стандартными квотами, выдерживая пики трафика.После завершения подготовки лимит запросов в минуту (RPM) откроется до 4 000. Теперь, даже при наплыве трафика, сервис не остановится из-за блокировки API.
Увеличенное контекстное окно — это палка о двух концах. То, что вы можете использовать 1 миллион токенов, не означает, что ваш банковский счет выдержит их постоянную отправку. Функция Context Caching от Anthropic фиксирует повторяющиеся системные промпты или справочные документы в памяти сервера. Для Claude Sonnet 4.6 стоимость чтения кэша составляет 0,30 доллара за 1 миллион токенов. По сравнению с обычной стоимостью ввода в 3,00 доллара, это уровень в 1/10.
Подняв коэффициент попадания в кэш (cache hit rate) хотя бы до 80%, фактическая пропускная способность увеличится более чем в 5 раз. Кошелек не опустеет, а агент будет выполнять больше работы.
Не все запросы должны выполняться за одну секунду. Для таких задач, как разметка данных или индексация кодовой базы, скорость ответа в реальном времени не критична. Перенос таких задач в Batch API снижает затраты вдвое. Ключевым моментом проектирования является отбор задач, для которых достаточно получить результат в течение 24 часов.
В среде, потребляющей 100 миллионов токенов в месяц, внедрение такой структуры снижает эксплуатационные расходы с 660 до примерно 320 долларов. Намного выгоднее направить сэкономленные деньги на увеличение количества итераций рассуждений агента.
По мере распределения инфраструктуры по всей Северной Америке, время до генерации первого токена (TTFT) может отличаться на сотни миллисекунд в зависимости от того, к какой конечной точке вы обращаетесь. Использование функции межрегионального вывода (cross-region inference) в AWS Bedrock позволяет объединять и управлять ресурсами нескольких регионов как единым целым. Запросы автоматически перенаправляются туда, где достаточно свободных ресурсов, минуя перегруженные регионы.
Простая настройка сети может сократить время отклика более чем на 35%. Поскольку масштабы инфраструктуры выросли, технология оптимизации маршрутов определяет качество пользовательского опыта.