Быстрый старт

С помощью этой инструкции вы создадите деплоймент языковой модели и проверите ее работу.

1. В веб-консоли выберите нужный проект. Если у вас нет проекта, создайте его.

2. В списке сервисов выберите GPT Model Hub. При первом запуске нажмите кнопку Активировать, для этого необходима роль admin.

3. Создайте сервисный аккаунт с именем sa-inferencer и ролью gpt.inferencer. От имени этого сервисного аккаунта вы будете обращаться к модели.

4. Создайте API-ключ для сервисного аккаунта sa-inferencer и сохраните его.

5. Установите утилиту jq.

1. В веб-консоли выберите нужный проект.
2. В списке сервисов выберите GPT Model Hub и нажмите кнопку Создать.
3. Выберите подходящую вам модель для деплоймента. В этом руководстве в качестве примера используется модель qwen3-32b.
4. Нажмите кнопку Создать.

Выполните тестовый запрос к модели:

1
curl https://gpt.mwsapis.ru/projects/<имя проекта>/openai/v1/chat/completions \
2
-H 'Content-Type: application/json' \
3
-H "Authorization: Bearer <API-ключ сервисного аккаунта sa-inferencer>" \
4
-d '{
5
      "model": "qwen3-32b",
6
      "messages": [
7
        {
8
          "role": "user", "content": "Привет!"
9
        }
10
      ]
11
    }' | jq .

Если вы используете Windows, учитывайте следующие особенности работы с утилитой curl в PowerShell:

• Используйте curl.exe вместо curl.

  В PowerShell команда curl является псевдонимом для Invoke-WebRequest, а не аналогом curl в UNIX-системах. Из-за этого примеры запросов из документации могут работать некорректно.

• Установите корректную кодировку вывода.

  По умолчанию PowerShell выводит текст в кодировке консоли (часто CP866 или Windows-1251), тогда как API отдает текст в кодировке UTF-8. Из-за этого русские символы в ответе превращаются в вопросительные знаки (?????). Чтобы избежать этого, перед выполнением запросов установите кодировку UTF-8:

  1
  $OutputEncoding = [Console]::OutputEncoding = [System.Text.UTF8Encoding]::new()

• Передавайте тело запроса в JSON-файле.

  В PowerShell одинарные кавычки и экранирование работают иначе, чем в bash. Надежнее всего передавать тело запроса через JSON-файл. Например, создайте файл data.json:

  1
  {
  2
    "model": "qwen3-32b",
  3
    "messages": [
  4
      { "role": "user", "content": "Привет!" }
  5
    ]
  6
  }

  После чего выполните запрос, экранировав @ обратным апострофом (`):

  1
  curl.exe -s `
  2
    https://gpt.mwsapis.ru/projects/<имя проекта>/openai/v1/chat/completions `
  3
    -H "Content-Type: application/json" `
  4
    -H "Authorization: Bearer <API-ключ сервисного аккаунта sa-inferencer>" `
  5
    -d '`@data.json' | jq .

  В PowerShell для переноса строк используется обратный апостроф (`), а не обратный слеш (\).

  Пример ответа от модели

  1
  {
  2
    "id": "chatcmpl-c37a7ecbae094877b28654dbbfa14b81",
  3
    "created": 1758740886,
  4
    "model": "qwen3-32b",
  5
    "object": "chat.completion",
  6
    "choices": [
  7
      {
  8
        "finish_reason": "stop",
  9
        "index": 0,
  10
        "logprobs": null,
  11
        "message": {
  12
          "content": "Привет! Как я могу помочь?",
  13
          "role": "assistant",
  14
          "audio": null,
  15
          "refusal": null,
  16
        }
  17
      }
  18
    ],
  19
    "usage": {
  20
      "completion_tokens": 45,
  21
      "prompt_tokens": 72,
  22
      "total_tokens": 117,
  23
    },
  24
  }

  В этом примере в поле usage:

  • prompt_tokens — количество входящих токенов запроса (токенов промпта);
  • completion_tokens — количество исходящих токенов, сгенерированных моделью (токенов ответа).

  Входящие и исходящие токены тарифицируются отдельно.

Попробуйте развернуть и проверить другие модели сервиса GPT Model Hub:

• Текстовые модели — чат-модели и модели эмбеддингов;
• Аудио-модели — распознавание и синтез речи (ASR/TTS);
• Reranker-модели — пересортировка документов по релевантности запросу (bge-reranker-v2-gemma, bge-reranker-v2-m3).