Квоты и лимиты
Последнее обновление
В сервисе действуют два типа квот:
- количественные квоты;
- квоты на пропускную способность — ограничения, связанные с техническими особенностями модели.
Оба типа квот можно изменить через обращение в техническую поддержку.
Количественные квоты
В GPT Model Hub по умолчанию установлены следующие количественные квоты:
Ограничение | Значение |
|---|---|
Количество развернутых деплойментов в одном проекте | 20 |
Квоты на пропускную способность
В сервисе действуют две квоты на пропускную способность:
| Квота | Что ограничивает | Что учитывается |
|---|---|---|
RPM (Requests per Minute) | Количество запросов в минуту | Запросы к модели |
TPM (Tokens per Minute) | Количество токенов в минуту | Сумма входящих токенов в запросах и исходящих токенов в ответах модели |
Квоты этого типа задаются в проекте на каждую модель. При превышении квоты запрос возвращает HTTP код 429 Too Many Requests (RATE_LIMITED).
Вне зависимости от того, успешен ли ответ или квота была превышена, приходят заголовки:
| Заголовок | Описание |
|---|---|
x-ratelimit-limit-requests | Ограничение количества запросов в минуту |
x-ratelimit-remaining-requests | Остаток количества запросов |
x-ratelimit-reset-requests | Время до сброса ограничения количества запросов |
x-ratelimit-limit-tokens | Ограничение количества токенов в минуту |
x-ratelimit-remaining-tokens | Остаток количества токенов |
x-ratelimit-reset-tokens | Время до сброса ограничения по количеству токенов |
Пример ответа
При превышении квоты TPM сервис возвращает ответ 429 Too Many Requests:
Ответ будет содержать подробное сообщение об ошибке:
В этом примере для модели glm-5-3 исчерпана квота на пропускную способность в 1000 токенов в минуту. Повторить запрос можно через 30 секунд.
Для увеличения квот обратитесь в техническую поддержку.