Быстрый старт

С помощью этой инструкции вы создадите деплоймент языковой модели и проверите ее работу.

1. В веб-консоли выберите нужный проект. Если у вас нет проекта, создайте его.

2. В списке сервисов выберите GPT Model Hub. При первом запуске нажмите кнопку Активировать, для этого необходима роль admin.

3. Создайте сервисный аккаунт с именем sa-inferencer и ролью gpt.inferencer. От имени этого сервисного аккаунта вы будете обращаться к модели.

4. Создайте API-ключ для сервисного аккаунта sa-inferencer и сохраните его.

5. Установите утилиту jq.

1. В веб-консоли выберите нужный проект.
2. В списке сервисов выберите GPT Model Hub и нажмите кнопку Создать.
3. Выберите подходящую вам модель для деплоймента.
4. Нажмите кнопку Создать.

Выполните тестовый запрос к модели:

Если вы используете Windows, учитывайте следующие особенности работы с утилитой curl в PowerShell:

• Используйте curl.exe вместо curl.

  В PowerShell команда curl является псевдонимом для Invoke-WebRequest, а не аналогом curl в UNIX-системах. Из-за этого примеры запросов из документации могут работать некорректно.

• Установите корректную кодировку вывода.

  По умолчанию PowerShell выводит текст в кодировке консоли (часто CP866 или Windows-1251), тогда как API отдает текст в кодировке UTF-8. Из-за этого русские символы в ответе превращаются в вопросительные знаки (?????). Чтобы избежать этого, перед выполнением запросов установите кодировку UTF-8:

• Передавайте тело запроса в JSON-файле.

  В PowerShell одинарные кавычки и экранирование работают иначе, чем в bash. Надежнее всего передавать тело запроса через JSON-файл. Например, создайте файл data.json:

  После чего выполните запрос, экранировав @ обратным апострофом (`):

  В PowerShell для переноса строк используется обратный апостроф (`), а не обратный слеш (\).

  Пример ответа от модели

  В этом примере в поле usage:

  • prompt_tokens — количество входящих токенов запроса (токенов промпта);
  • completion_tokens — количество исходящих токенов, сгенерированных моделью (токенов ответа).

  Входящие и исходящие токены тарифицируются отдельно.

Попробуйте развернуть и проверить другие модели сервиса GPT Model Hub:

• Текстовые модели — чат-модели и модели эмбеддингов;
• Аудио-модели — распознавание и синтез речи (ASR/TTS);
• Reranker-модели — пересортировка документов по релевантности запросу (bge-reranker-v2-gemma, bge-reranker-v2-m3).