Развертывание Langflow

Langflow позволяет создавать и тестировать LLM-пайплайны через веб-интерфейс.

В этом руководстве вы установите и запустите Langflow на виртуальной машине с помощью Docker Compose и reverse-прокси Caddy.

1. Создайте виртуальную машину с внешним временным IP-адресом.

2. Разрешите HTTP-трафик для виртуальной машины:

   1. В веб-консоли выберите нужный проект.
   2. В списке сервисов выберите Compute → Виртуальные машины.
   3. Нажмите на имя созданной ВМ и перейдите на вкладку Сетевые интерфейсы.
   4. Нажмите кнопку Настроить, выберите опцию Разрешить HTTP-трафик, после чего нажмите кнопку Сохранить.

3. Создайте деплоймент. Выберите модель и имя деплоймента — qwen3-coder-480b-a35b.

4. Создайте API-ключ и сохраните его значение.

1. Подключитесь к ВМ по SSH.

2. Обновите систему и установите зависимости:

   1
   sudo apt update && \
   2
   sudo apt install -y apt-transport-https ca-certificates curl software-properties-common gnupg lsb-release git nodejs npm

3. Подключите официальный репозиторий Docker:

   1
   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg && \
   2
   echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null && \
   3
   sudo apt update

4. Установите Docker Engine:

   1
   sudo apt install -y docker-ce

5. Добавьте текущего пользователя в группу docker:

   1
   sudo usermod -aG docker $USER

6. Перезагрузите ВМ:

   1
   sudo reboot

7. Подключитесь к ВМ и убедитесь, что Docker перешел в статус active (running):

   1
   sudo systemctl status docker

8. Установите Docker Compose Plugin:

   1
   sudo apt install -y docker-compose-plugin

9. Убедитесь, что плагин установлен. Для этого запросите его версию:

   1
   docker compose version

   Пример вывода:

   1
   Docker Compose version v5.1.3

1. Создайте директорию для проекта и перейдите в нее:

   1
   mkdir langflow && cd langflow

2. Создайте файл docker-compose.yaml с конфигурацией Langflow и Caddy:

   1
   version: "3.8"
   2
   
   3
   services:
   4
     langflow:
   5
       image: langflowai/langflow:latest
   6
       ports:
   7
         - "7860:7860"
   8
       environment:
   9
         - LANGFLOW_HOST=0.0.0.0
   10
         - LANGFLOW_PORT=7860
   11
   
   12
     caddy:
   13
       image: caddy:latest
   14
       ports:
   15
         - "80:80"
   16
         - "443:443"
   17
       volumes:
   18
         - ./Caddyfile:/etc/caddy/Caddyfile
   19
         - caddy_data:/data
   20
         - caddy_config:/config
   21
       depends_on:
   22
         - langflow
   23
   
   24
   volumes:
   25
     caddy_data:
   26
     caddy_config:

3. Создайте файл Caddyfile с настройками reverse-прокси Caddy:

   1
   :80 {
   2
       reverse_proxy langflow:7860
   3
   }

4. Запустите сервисы:

   1
   docker compose up -d

5. Убедитесь, что сервисы langflow и caddy перешли в состояние Up:

   1
   docker compose ps

   Ожидаемый результат:

   1
   NAME                  IMAGE                        COMMAND                  SERVICE    CREATED          STATUS          PORTS
   2
   langflow-caddy-1      caddy:latest                 "caddy run --config …"   caddy      11 minutes ago   Up 11 minutes   0.0.0.0:80->80/tcp, [::]:80->80/tcp, 0.0.0.0:443->443/tcp, [::]:443->443/tcp, 443/udp, 2019/tcp
   3
   langflow-langflow-1   langflowai/langflow:latest   "langflow run"           langflow   11 minutes ago   Up 11 minutes   0.0.0.0:7860->7860/tcp, [::]:7860->7860/tcp

1. Для проверки работы приложения откройте ссылку в браузере:

   1
   http://<публичный IP-адрес ВМ>

   Откроется веб-интерфейс Langflow.

   Совет

   Если вместо интерфейса отображается только черный экран, переключите язык вашего браузера на английский и обновите страницу.

2. Создайте новый поток (flow), следуя указаниям Langflow.

3. Подключите текстовую модель:

   1. В меню слева выберите Bundles → vLLM.

   2. Укажите параметры модели:

      • Model Name — qwen3-coder-480b-a35b;
      • vLLM API Base — https://gpt.mwsapis.ru/projects/<имя вашего проекта>/openai/v1;
      • API Key — API-ключ, полученный на подготовительном шаге.

   3. В поле Input введите запрос к модели, например, Привет! Ты здесь?. Для отправки запроса нажмите значок в виде треугольника (Run component).

   Совет

   Вы можете дополнительно подключить любую из доступных embedding-моделей, например, bge-m3.

4. Для проверки работы приложения попробуйте с помощью веб-интерфейса Langflow создать:

   • чат-бот с поддержкой Retrieval Augmented Generation;
   • чат-бот с поддержкой обработки файлов.

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

1. Удалите виртуальную машину.
2. Удалите деплоймент.