Документация
Лимиты и credits
Как общий лимит аккаунта ограничивает расход Provider API.
Credits и общий лимит Provider
До запроса сервис резервирует доступный объём, после ответа фиксирует фактический расход. Подписка считает сырые входные и выходные токены в тех окнах, которые заданы в тарифе. Пустая квота не ограничивает объём токенов; срок подписки действует всегда.
При оплате из предоплаченного баланса сервис сам уменьшит максимальную длину ответа, если запрос целиком не помещается в остаток. Настраивать max_tokens ради этого не нужно. Если не хватает даже на вход и один токен ответа, запрос завершится ошибкой до обращения к модели.
Все API-ключи аккаунта используют общий лимит Provider-тарифа. Перед добавлением нового приложения сравните его нагрузку с лимитами выбранного тарифа.
Для модели с весом расход = базовая цена за 1 млн приведённых токенов × вес модели × приведённые токены / 1 000 000 с округлением вверх до 0,000001 credit. Приведённые токены: вход ×1, выход ×5, чтение кэша ×0,1, создание кэша 5m ×1,25 и 1h ×2. Для старой индивидуальной ставки применяются указанные для неё ставки категорий.
Модели и rate cards
Модель доступна, если включена и имеет действующую rate card. Rate card — неизменяемая версия коэффициентов с датой начала действия; новая версия не переписывает прошлые списания.