Работа с моделями

GPT Model Hub предоставляет OpenAI-совместимый API для обращения к развернутым моделям. Сервис поддерживает несколько типов моделей, у каждого типа свой эндпоинт и формат запроса.

Для работы с API используется общий базовый URL:

1
https://gpt.mwsapis.ru/projects/<имя проекта>/openai/v1

Авторизация выполняется API-ключом сервисного аккаунта с ролью gpt.inferencer:

1
Authorization: Bearer <API-ключ сервисного аккаунта sa-inferencer>

Типы моделей

Текстовые модели — чат-модели и модели эмбеддингов.
Аудио-модели (ASR/TTS) — распознавание и синтез речи.
Reranker-модели — пересортировка документов по релевантности запросу (bge-reranker-v2-gemma, bge-reranker-v2-m3).

Список всех поддерживаемых моделей и их возможности приведены в разделе Доступные модели.