Перейти к содержимому

Текстовые модели

Последнее обновление

Текстовые модели принимают и возвращают текст. К ним относятся:

Для работы с API модели используют базовый URL:

Авторизация выполняется API-ключом сервисного аккаунта с ролью gpt.inferencer.

Список поддерживаемых моделей и их возможности приведены в разделе Доступные модели.

Чат-модели

Чат-модели (Chat Completions API) генерируют ответ на основе списка сообщений (диалога).

Эндпоинт:

Доступно два режима ответа модели:

  • Опция streaming отключена — модель возвращает ответ одним сообщением в формате json, без разбиения на части.
  • Опция streaming включена — модель возвращает ответ частями по мере генерации в формате Server-Sent Events (SSE).

Параметры запроса

ПараметрТипОписание
model
string
Идентификатор деплоймента с чат-моделью
messages
array
Список сообщений диалога. Каждое сообщение содержит поля role (system, user, assistant) и content — строка с текстом
stream
boolean
(опционально) Включить потоковую передачу ответа в формате SSE. По умолчанию false
stream_options
object
(опционально) Опции потоковой передачи. При include_usage: true в последнем чанке возвращается статистика использования токенов. Используется только вместе с stream: true
max_completion_tokens
integer
(опционально) Максимальное количество токенов в ответе модели
temperature
number
(опционально) Управляет случайностью ответа: чем выше значение, тем более вариативный ответ. По умолчанию 1
reasoning_effort
string
(опционально) Уровень рассуждения. Поддерживаемые значения зависят от модели и указаны в разделе Рассуждения

Запрос без streaming

Пользователям Windows

В PowerShell используйте curl.exe вместо curl и передавайте JSON-тело через файл. Подробности — в разделе Быстрый старт.

Пример ответа от модели

В этом примере в поле usage:

  • prompt_tokens — количество входящих токенов запроса (токенов промпта).
  • completion_tokens — количество исходящих токенов, сгенерированных моделью (токенов ответа).

Входящие и исходящие токены тарифицируются отдельно.

Запрос со streaming

Пример ответа от модели

В этом примере в поле usage:

  • prompt_tokens — количество входящих токенов запроса (токенов промпта).
  • completion_tokens — количество исходящих токенов, сгенерированных моделью (токенов ответа).

Входящие и исходящие токены тарифицируются отдельно.

Примечание

В ответе также присутствуют поля reasoning_content и completion_tokens_details.reasoning_tokens — они относятся к режиму рассуждений. Подробнее — в разделе Рассуждения.

Запрос с изображением

Модели с поддержкой изображений могут обрабатывать изображения, переданные в сообщении пользователя. Признак поддержки отображается в таблице доступных моделей.

Пример ответа от модели

Эмбеддинги

Модель принимает текст или список текстов и возвращает их векторные представления. Используется для семантического поиска, кластеризации и построения RAG-систем.

Эндпоинт:

Параметры запроса

ПараметрТипОписание
model
string
Идентификатор деплоймента с моделью эмбеддингов
input
string
array<string>

Пример запроса

Пример ответа

В этом примере:

  • data — массив векторных представлений. Каждый элемент содержит:
    • embedding — векторное представление текста;
    • index — индекс текста в исходном массиве input, которому соответствует вектор;
  • usage — статистика использования токенов: prompt_tokens — количество входящих токенов, total_tokens — общее количество токенов.

Входящие токены тарифицируются отдельно.