Перейти к содержимому
ИИ и нейросети

Как запустить свою языковую модель на арендованном GPU-сервере: по шагам

Пошагово: подключиться к GPU-серверу по SSH, поставить драйверы и Docker, запустить открытую LLM через vLLM или Ollama и проверить, что она отвечает.

Коротко
  • Подключитесь по SSH и выполните nvidia-smi: если команда показывает карту и версию драйвера, драйвер уже стоит.
  • Поставьте Docker и NVIDIA Container Toolkit, затем проверьте, что контейнер видит GPU.
  • Запустите модель: vLLM даёт API в формате OpenAI и рассчитан на много пользователей, Ollama ставится одной командой.
  • Не открывайте порт модели в интернет: публикуйте его только на 127.0.0.1 и ходите к нему через SSH-туннель.
Содержание13 разделов

На своём сервере модель отвечает так, как вы её настроили, а промпты и документы не уходят во внешние API. Путь от пустого сервера до работающего API — восемь шагов; если драйвер уже стоит, третий можно пропустить. Инструкция рассчитана на Ubuntu 22.04 или 24.04 и одну или несколько видеокарт NVIDIA; все команды взяты из официальной документации NVIDIA, Docker, vLLM и Ollama, ссылки — в конце статьи.

Сколько памяти нужно вашей модели, удобно прикинуть в калькуляторе памяти. Модели до 8B в BF16 или до 14B в FP8 помещаются на одну RTX 5090, до 14B в BF16 — на A100 40 ГБ или H100.

Что понадобится

Перед началом
  1. Сервер с GPU и достаточной памятью: веса модели в 16 битах занимают около 2 ГБ на миллиард параметров, плюс запас под контекст. Как считать память для своей модели, показано в статье «Сколько видеопамяти нужно для LLM».
  2. SSH-ключ. Если ключа нет, создайте его на своём компьютере: ssh-keygen -t ed25519. Публичную часть (файл ~/.ssh/id_ed25519.pub) добавьте к серверу при заказе.
  3. Место на диске под веса: модель на 7B в BF16 — около 15 ГБ, на 70B — около 140 ГБ, плюс образы Docker.
  4. Название модели на Hugging Face, например Qwen/Qwen2.5-7B-Instruct. Для закрытых моделей нужен токен Hugging Face и принятая лицензия на странице модели.

Шаг 1. Подключиться по SSH

bash
ssh -i ~/.ssh/id_ed25519 ubuntu@IP_СЕРВЕРА

Имя пользователя зависит от образа: чаще всего ubuntu или root. Сразу обновите пакеты:

bash
sudo apt update && sudo apt upgrade -y

Шаг 2. Проверить, что GPU видна

bash
nvidia-smi

Если драйвер установлен, команда выведет таблицу: модель карты, объём памяти, версию драйвера и строку CUDA Version. Эта строка показывает старшую версию CUDA, которую поддерживает драйвер, а сам CUDA Toolkit при работе через Docker приходит внутри контейнера. Список карт одной строкой даёт nvidia-smi -L.

Если в ответ command not found или NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver, переходите к шагу 3.

Шаг 3. Драйвер NVIDIA

На Ubuntu Server драйвер для вычислений ставится штатной утилитой:

bash
sudo ubuntu-drivers list --gpgpusudo ubuntu-drivers install --gpgpusudo reboot

Первая команда покажет подходящие версии, вторая поставит рекомендованную. Версию можно указать явно — номер и суффикс -server берутся из вывода первой команды, например sudo ubuntu-drivers install --gpgpu nvidia:580-server. Документация Ubuntu советует поставить и утилиты той же версии: sudo apt install nvidia-utils-580-server. После перезагрузки снова выполните nvidia-smi: таблица с картами означает, что шаг пройден.

Для карт поколения Blackwell — RTX 5090, RTX PRO 6000, B200 и B300 — NVIDIA поддерживает только драйвер с открытыми модулями ядра. В списке ubuntu-drivers list --gpgpu это варианты с суффиксом -server-open; ставьте их, например sudo ubuntu-drivers install --gpgpu nvidia:580-server-open.

Сервер на 8 GPU SXM: Fabric Manager

На серверах с платой HGX карты связаны через коммутаторы NVSwitch, и без службы NVIDIA Fabric Manager CUDA на них не заработает. Пакет ставится той же версии, что и драйвер -server, и запускается до первых задач; на серверах HGX с B200 и B300 ставится ещё пакет nvlsm:

bash
sudo apt install nvidia-fabricmanager-580 libnvidia-nscq-580sudo systemctl enable --now nvidia-fabricmanager

Проверить, что все восемь карт видят друг друга по NVLink, можно командой nvidia-smi topo -m.

Шаг 4. Docker и NVIDIA Container Toolkit

Модель удобнее запускать в контейнере: в образе уже есть CUDA, PyTorch и сам сервер инференса нужной версии, и на систему ничего лишнего не ставится.

Docker Engine из официального репозитория:

bash
sudo apt install -y ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascsudo tee /etc/apt/sources.list.d/docker.sources <<EOFTypes: debURIs: https://download.docker.com/linux/ubuntuSuites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")Components: stableArchitectures: $(dpkg --print-architecture)Signed-By: /etc/apt/keyrings/docker.ascEOFsudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-pluginsudo usermod -aG docker $USER

Последняя команда разрешает запускать docker без sudo. Чтобы она подействовала, выйдите из SSH-сессии и подключитесь заново.

NVIDIA Container Toolkit — он пробрасывает GPU в контейнеры:

bash
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listsudo apt updatesudo apt install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker

Проверка — тестовый контейнер NVIDIA должен вывести ту же таблицу, что и nvidia-smi на сервере:

bash
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

Шаг 5. Запустить модель

Дальше два пути. vLLM — сервер инференса для продакшена: держит много одновременных запросов и отдаёт API в формате OpenAI. Ollama проще: одна команда установки, модели в сжатом формате GGUF и удобная работа с консоли.

Листайте вбок →
 vLLMOllama
Установкаконтейнер vllm/vllm-openaiскрипт установки или контейнер ollama/ollama
Формат моделейвеса с Hugging Face, в том числе FP8 и AWQбиблиотека Ollama, модели в GGUF
APIсовместимый с OpenAI, /v1/chat/completionsсвой /api/generate и совместимый с OpenAI /v1
Одновременные запросыPagedAttention и непрерывная склейка запросов в батчпо умолчанию 1 на модель, больше — переменной OLLAMA_NUM_PARALLEL
Несколько GPU--tensor-parallel-sizeесли модель не помещается в одну карту, раскладывает её по всем
Ключ доступа--api-keyв документации не описан
Кому подходитсервисам и командампрототипам и личной работе
Таблица 1vLLM и Ollama: что выбрать для своего сервера
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Вариант 1. vLLM

Сначала создайте ключ доступа к API и сохраните его — он понадобится в каждом запросе:

bash
export VLLM_API_KEY=$(openssl rand -hex 32)echo $VLLM_API_KEY

Затем запустите контейнер с закреплённой версией образа:

bash
docker run -d --name vllm --restart unless-stopped \  --runtime nvidia --gpus all \  -v ~/.cache/huggingface:/root/.cache/huggingface \  -p 127.0.0.1:8000:8000 \  --ipc=host \  vllm/vllm-openai:v0.33.0 \  --model Qwen/Qwen2.5-7B-Instruct \  --api-key "$VLLM_API_KEY" \  --max-model-len 16384

Главное в этой команде:

  • -p 127.0.0.1:8000:8000 публикует порт только на самом сервере. Без адреса Docker откроет порт на всех интерфейсах.
  • --ipc=host даёт контейнеру общую память хоста: PyTorch передаёт через неё данные между процессами, особенно при работе на нескольких картах.
  • vllm/vllm-openai:v0.33.0 — закреплённая версия: с тегом latest после обновления образа сервер может запуститься уже с другой версией. Образам vLLM на CUDA 13 нужен драйвер R580 или новее — версию драйвера показывает nvidia-smi.
  • -v ~/.cache/huggingface:… сохраняет скачанные веса на диске сервера, и при перезапуске они не скачиваются заново.
  • Для закрытых моделей с Hugging Face добавьте --env "HF_TOKEN=ваш_токен"; Qwen2.5-7B-Instruct открыта, токен ей не нужен.
  • --max-model-len ограничивает контекст. Чем он короче, тем меньше памяти уходит на KV-кэш и тем больше запросов карта держит одновременно.
  • Для модели на нескольких картах добавьте --tensor-parallel-size 2 (или 4, 8 — по числу GPU). На серверах с SXM карты обмениваются данными по NVLink, на картах PCIe — по шине; разница описана в статье «SXM, PCIe, NVL, HGX и DGX».

Первый запуск скачивает веса и занимает несколько минут. Ход загрузки видно в журнале: docker logs -f vllm. Сервер готов, когда в журнале появится адрес http://0.0.0.0:8000.

Вариант 2. Ollama

bash
curl -fsSL https://ollama.com/install.sh | shollama run qwen2.5:7b

Скрипт ставит Ollama как службу systemd, вторая команда скачивает модель и открывает диалог в консоли. API работает на порту 11 434. В контейнере то же самое выглядит так:

bash
docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollamadocker exec -it ollama ollama run qwen2.5:7b

Шаг 6. Проверить, что модель отвечает

Для vLLM — список моделей и пробный запрос:

bash
curl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $VLLM_API_KEY" curl -s http://127.0.0.1:8000/v1/chat/completions \  -H "Content-Type: application/json" \  -H "Authorization: Bearer $VLLM_API_KEY" \  -d '{"model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{"role": "user", "content": "Ответь одним словом: столица Франции?"}]}'

Для Ollama:

bash
curl -s http://127.0.0.1:11434/api/generate \  -d '{"model": "qwen2.5:7b", "prompt": "Ответь одним словом: столица Франции?", "stream": false}'

Ответ в JSON с текстом модели означает, что сервер работает. Подключить его к своему приложению можно любым клиентом OpenAI: в настройках достаточно указать адрес http://127.0.0.1:8000/v1 и ключ.

Шаг 7. Закрыть доступ к модели

Открытый порт модели в интернете — это бесплатная нейросеть для всех, кто его найдёт, и счёт за GPU для вас.

Три правила, которых хватает большинству команд:

  1. Порт — только на 127.0.0.1. Снаружи сервер принимает только SSH.
  2. Доступ через SSH-туннель. С вашего компьютера: ssh -N -L 8000:127.0.0.1:8000 ubuntu@IP_СЕРВЕРА — и API доступен у вас на http://localhost:8000.
  3. Если нужен доступ из приложения, поставьте перед моделью обратный прокси с HTTPS и проверкой ключа или доступом только с адресов вашего приложения. Ключ --api-key в vLLM защищает только пути /v1, /v2, /inference и /cohere, и документация vLLM прямо предупреждает, что полагаться на него одного нельзя. Ollama по умолчанию слушает только 127.0.0.1:11 434 — так и оставьте.

Файрвол для SSH:

bash
sudo ufw allow OpenSSHsudo ufw enable

Шаг 8. Автозапуск и память GPU

Контейнер vLLM из шага 5 запущен с --restart unless-stopped и поднимется сам после перезагрузки сервера. Служба Ollama включается скриптом установки; состояние — sudo systemctl status ollama, журнал — journalctl -e -u ollama.

За памятью и загрузкой карт удобно следить так:

bash
nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -l 5

vLLM сразу занимает почти всю разрешённую ему долю памяти карты под веса и KV-кэш, поэтому высокий memory.used после старта — нормальная картина. Смотрите на utilization.gpu под нагрузкой и на ошибки в журнале.

Выключение сервера и оплата

Списание идёт за каждую секунду работы, у облачных конфигураций выключенный сервер стоит дешевле работающего, а у флагманов H200, B200 и B300 первый месяц — авансом; как из этого складывается счёт, мы разобрали в статье «Сколько стоит аренда сервера».

Частые ошибки

Листайте вбок →
Что видитеПричинаЧто сделать
CUDA out of memory при старте vLLMвеса и KV-кэш не помещаются в картууменьшите --max-model-len, возьмите FP8 или 4-битную версию модели, добавьте карту и --tensor-parallel-size
could not select device driver "" with capabilities: [[gpu]]Docker не видит NVIDIA Container Toolkitповторите sudo nvidia-ctk runtime configure --runtime=docker и перезапустите Docker
NVIDIA-SMI has failed…драйвер не загруженперезагрузите сервер после установки драйвера; проверьте ubuntu-drivers list --gpgpu
401 или 403 при загрузке моделизакрытая модель без токена или без принятой лицензиипримите лицензию на странице модели и передайте HF_TOKEN
ошибки общей памяти, падение при нескольких GPUконтейнеру не хватает shared memoryдобавьте --ipc=host или --shm-size
модель отвечает очень медленночасть модели ушла в память процессора (Ollama)возьмите модель меньше или карту с большей памятью; проверьте ollama ps
Таблица 2Ошибка и что сделать

Что уже стоит на серверах Ampuna

На наших GPU-серверах — Ubuntu с драйвером NVIDIA, CUDA и PyTorch, так что шаги 2–4 уже сделаны. vLLM, Ollama или ваш Docker-образ поставим при запуске — напишите в заявке, какую модель хотите запустить. Облачные RTX 5090, A100 40 ГБ и H100 запускаются за минуты, флагманы H200, B200 и B300 — до 3 рабочих дней после оплаты. Все карты и цены — на странице GPU-серверов.

Вопросы и ответы

Как проверить, что GPU видна на сервере?

Выполните nvidia-smi. Таблица с моделью карты, памятью и версией драйвера означает, что драйвер работает. Чтобы проверить контейнеры, запустите sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi.

Как поставить драйвер NVIDIA на Ubuntu Server?

Командами sudo ubuntu-drivers list --gpgpu и sudo ubuntu-drivers install --gpgpu, затем перезагрузка. CUDA Toolkit отдельно ставить не нужно, если модель работает в контейнере: он уже внутри образа.

Чем vLLM отличается от Ollama?

vLLM — сервер для многих одновременных запросов с API в формате OpenAI и весами с Hugging Face. Ollama проще в установке, работает с моделями в формате GGUF и удобна для прототипов и личной работы.

Как защитить API модели?

Публикуйте порт только на 127.0.0.1 и подключайтесь через SSH-туннель. Для доступа из приложения поставьте перед моделью обратный прокси с HTTPS и проверкой ключа. Помните, что Docker обходит правила ufw для опубликованных портов.

Что делать, если модели не хватает памяти?

Сократите длину контекста (--max-model-len), возьмите версию модели в FP8 или 4 битах или разделите её между несколькими картами через --tensor-parallel-size. Сколько карт нужно крупным моделям, мы посчитали в статье «Какие GPU нужны под модель 70B и 400B+».

Можно ли запустить две модели на одной карте?

Можно, если обе помещаются в память. vLLM по умолчанию занимает почти всю память карты, поэтому каждому экземпляру задайте долю через --gpu-memory-utilization, например 0.45, и разные порты. У Ollama несколько моделей загружаются в одну карту сами, пока хватает памяти.

Подбор GPU

Нужен сервер для запуска — расскажите о модели

Напишите модель, точность и сколько пользователей будет одновременно. Подберём карту, поставим vLLM или Ollama при запуске и предложим 2–3 сервера с ценой. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. Ubuntu Server documentation, «Install NVIDIA drivers» — `ubuntu-drivers list --gpgpu`, `ubuntu-drivers install --gpgpu nvidia:<версия>-server`, пакет `nvidia-utils-<версия>-server`, варианты `-server-open`, Fabric Manager и NSCQ для систем с NVSwitch (`nvidia-fabricmanager-<версия>`, `libnvidia-nscq-<версия>`); пакет `nvlsm` для HGX B200 и B300 — по NVIDIA Fabric Manager User Guide
  2. NVIDIA, документация `nvidia-smi`:; CUDA Compatibility — версия CUDA, которую поддерживает драйвер
  3. Docker, «Install Docker Engine on Ubuntu» — репозиторий `docker.sources`, пакеты, проверка
  4. NVIDIA Container Toolkit, «Installation Guide» — репозиторий, установка, `nvidia-ctk runtime configure --runtime=docker`:; «Running a Sample Workload» — `docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi`
  5. vLLM, «Using Docker» — `vllm/vllm-openai` (последняя версия на 14 ноября 2026 — v0.33.0, Docker Hub), `--runtime nvidia --gpus all`, кэш Hugging Face, `HF_TOKEN`, `-p 8000:8000`, `--ipc=host` или `--shm-size`
  6. vLLM, «OpenAI-Compatible Server» — `--api-key` защищает только `/v1`, `/v2`, `/inference` и `/cohere`, предупреждение не полагаться на ключ одного:; аргументы движка (`--max-model-len`, `--tensor-parallel-size`, `--gpu-memory-utilization`):; требования к GPU — образы на CUDA 13 требуют драйвер R580 или новее
  7. Kwon et al., «Efficient Memory Management for Large Language Model Serving with PagedAttention» — устройство vLLM
  8. Ollama, «Linux» — скрипт установки, служба systemd, журнал `journalctl -e -u ollama`:; «FAQ» — по умолчанию 127.0.0.1:11 434, `OLLAMA_HOST`:; образ `ollama/ollama` с GPU:; совместимость с OpenAI
  9. Docker, «Packet filtering and firewalls» — опубликованные порты контейнеров обходят правила ufw:; «Port publishing» — без указания адреса порт публикуется на всех интерфейсах
  10. NVIDIA Technical Blog, «NVIDIA Transitions Fully Towards Open-Source GPU Kernel Modules» — для Blackwell нужны открытые модули ядра:; NVIDIA Fabric Manager User Guide
  11. Qwen2.5-7B-Instruct, карточка модели — 7,61 млрд параметров, лицензия Apache 2.0