HGX H200 — плата NVIDIA, рассчитанная на 4 или 8 GPU H200 в модулях SXM; здесь речь о варианте на восемь. Каждая GPU — до 900 ГБ/с NVLink, и через коммутаторы NVSwitch любая пара может использовать эту скорость полностью; это более чем в 7 раз быстрее PCIe Gen5. Суммарно в сервере 1 128 ГБ видеопамяти. Такой сервер нужен для полного дообучения и обучения моделей, которым тесно на одной-двух картах; для инференса и LoRA обычно хватает одной H200.
Содержание10 разделов
Плата HGX H200 бывает на 4 или 8 GPU, и вариант на восемь — самый крупный блок, в котором все карты H200 связаны NVLink каждая с каждой. Восемь отдельных H200 в разных серверах и восемь H200 на одной плате HGX — это разные инструменты. На плате карты делят быструю сеть NVLink, и фреймворк обучения может распределить модель между ними так, будто это одна большая GPU с памятью больше терабайта.
Готовые конфигурации и цены «от» на 1, 2, 4 и 8 GPU — на странице аренда H200.
Что внутри сервера на HGX H200
HGX — плата NVIDIA, из которой разные производители собирают серверы со своими процессорами, дисками и сетевыми картами (подробнее о терминах — в статье SXM, PCIe, NVL, HGX и DGX). Самый подробный публичный состав — у собственного сервера NVIDIA DGX H200, построенного на той же плате:
| Компонент | DGX H200 |
|---|---|
| GPU | 8 × H200 SXM, 141 ГБ HBM3e каждая |
| Видеопамять всего | 1 128 ГБ |
| Связь между GPU | 4 коммутатора NVLink / NVSwitch четвёртого поколения, 900 ГБ/с на GPU |
| Процессоры | 2 × Intel Xeon Platinum 8480C, по 56 ядер |
| Оперативная память | 2 ТБ |
| Сеть для обучения | 8 адаптеров ConnectX-7, до 400 Гбит/с InfiniBand или Ethernet на каждый |
| Питание | 6 блоков по 3,3 кВт, максимум 10,2 кВт |
Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.
Оставить заявкуОбратите внимание на сеть: по одному адаптеру на каждую GPU. Это рассчитано на случай, когда серверов несколько и каждой карте нужно своё быстрое соединение с картами в соседних серверах.
каждая GPU — до 900 ГБ/с NVLink, к любой другой через NVSwitch
Зачем коммутаторы NVSwitch
NVLink — прямая шина между GPU. Если соединить восемь карт попарно мостами, каждая будет быстро говорить только с соседями. NVSwitch решает это иначе: все восемь карт подключены к коммутаторам, у каждой GPU — до 900 ГБ/с NVLink, и любая пара может использовать эту скорость полностью.
Для сравнения: по шине PCIe Gen5 у тех же H200 — 128 ГБ/с. Карты в обычных PCIe-слотах обмениваются данными через шину PCIe, часто через процессор, и при обучении на восьми GPU это становится узким местом. NVIDIA оценивает NVLink четвёртого поколения как более чем в 7 раз быстрее PCIe Gen5.
Как восемь GPU делят обучение
Фреймворки обучения раскладывают работу по картам тремя основными способами. На практике их комбинируют.
Параллелизм по данным
Каждая GPU держит копию модели и обрабатывает свою часть батча, а после шага карты усредняют градиенты. Просто и эффективно, но модель целиком должна помещаться в одну карту. Варианты с шардированием — FSDP в PyTorch и ZeRO в DeepSpeed — делят между картами веса, градиенты и состояние оптимизатора, и тогда в восьми GPU помещается модель, которая не влезла бы в одну. Платить за это приходится постоянным обменом данными, и здесь NVLink окупается.
Параллелизм по тензорам
Каждый слой модели режется на части, и каждая GPU считает свою часть матриц. Карты обмениваются результатами на каждом слое, поэтому этот способ требует самой быстрой связи и почти всегда работает внутри одного сервера с NVLink. Подход описан в работе Megatron-LM.
Конвейерный параллелизм
Модель делится по слоям: первые слои на одних картах, следующие — на других, а батч разбивается на микро-батчи, которые идут по конвейеру. Обмен данными меньше, поэтому этот способ подходит и для связи между серверами.
Сколько памяти даёт 8 × H200 и что в неё помещается
8 × 141 ГБ = 1 128 ГБ. Чтобы понять, много это или мало, нужен расчёт памяти под обучение. Для смешанной точности с оптимизатором Adam модельные состояния — веса, градиенты и состояние оптимизатора — занимают 6 + 8 + 4 = 18 байт на параметр (наш подсчёт по Hugging Face), плюс активации, которые зависят от длины последовательности и батча. Как считать память под инференс и обучение по шагам, разобрано в статье сколько видеопамяти нужно для LLM.
Из этой оценки (наш расчёт):
- модель на 13B при полном дообучении требует около 234 ГБ на модельные состояния — сервер на восемь H200 справляется с большим запасом под активации;
- модель на 34B — около 612 ГБ, чуть больше половины памяти сервера, места под активации хватает;
- модель на 70B — около 1 260 ГБ. Это больше всей памяти восьми H200 ещё до активаций, поэтому полное дообучение 70B на одном сервере возможно только с выгрузкой состояния оптимизатора в оперативную память процессора; иначе нужны несколько серверов.
С дообучением через LoRA картина другая: базовые веса заморожены и не требуют градиентов и оптимизатора. Модель на 70B в BF16 занимает 140 ГБ весов, и для LoRA хватает двух H200 — сервер на восемь здесь нужен только ради скорости.
Когда одного сервера мало
Обучение с нуля моделей на десятки миллиардов параметров и полное дообучение моделей от 70B обычно требуют нескольких серверов. Тогда карты внутри сервера общаются по NVLink, а сервера между собой — по сети InfiniBand или Ethernet через те самые адаптеры ConnectX-7. Межсерверная сеть в разы медленнее NVLink (400 Гбит/с — это 50 ГБ/с на адаптер), поэтому между серверами обычно идёт параллелизм по данным или конвейер, а тензорный — внутри.
Если вы планируете обучение на нескольких серверах, топологию сети нужно обсуждать отдельно: от неё зависит, насколько эффективно масштабируется задача.
HGX H100, HGX B200 и HGX B300: чем отличаются от HGX H200
Плата HGX H100 устроена так же, как HGX H200, только карты на ней по 80 ГБ: в сервере DGX H100 суммарно 640 ГБ видеопамяти при тех же 900 ГБ/с NVLink и том же питании. Переход с H100 на H200 внутри одной платформы — это прибавка памяти почти в 1,8 раза без изменения остальной конструкции.
Платы HGX B200 и HGX B300 относятся к поколению Blackwell. Схема та же — восемь модулей SXM и коммутаторы NVLink, — но связь вдвое быстрее (1,8 ТБ/с на GPU, 14,4 ТБ/с суммарно), памяти в сумме 1,4 ТБ и 2,1 ТБ, а питания нужно больше: около 14,3 кВт у DGX B200 и около 14 кВт у DGX B300. Подробнее о картах — на страницах B200 и B300.
Одна карта, четыре или восемь
| Задача | Число H200 | Почему |
|---|---|---|
| Инференс модели до 70B в FP8 или 4 битах | 1 | веса 35–70 ГБ, остальное под контекст |
| QLoRA на 70B | 1 | веса в 4 битах занимают около 35 ГБ |
| Инференс 70B в BF16 | 2 | 140 ГБ весов плюс кэш |
| LoRA на 70B в BF16 | 2–4 | веса 140 ГБ, больше карт — быстрее |
| Полное дообучение 13B | 2–4 | модельные состояния ≈ 234 ГБ плюс активации |
| Полное дообучение 34B | 8 | ≈ 612 ГБ — больше, чем 4 × 141 = 564 ГБ |
| Полное дообучение 70B | больше 8 | ≈ 1 260 ГБ только на модельные состояния |
| Инференс модели на 400B+ в FP8 | 4–8 | от 400 ГБ на веса |
| Обучение с нуля крупных моделей | несколько серверов по 8 | нужен и NVLink, и межсерверная сеть |
Если ваша задача в верхней половине таблицы, сервер на восемь GPU избыточен. Если в нижней — без NVLink между картами обучение будет идти заметно медленнее, чем могло бы.
Что проверить перед заказом сервера на 8 GPU
- Форм-фактор SXM. Восемь карт в одной сети NVLink дают только модули SXM на плате HGX. Версия NVL связывает мостами по две или четыре карты.
- NVSwitch или мосты. Спросите, все ли восемь GPU видят друг друга на 900 ГБ/с. Проверить можно командой
nvidia-smi topo -mпосле запуска: между всеми парами GPU в матрице должна стоять связь NVLink (обозначение NV с числом линий). - Оперативная память и диск. Выгрузка состояния оптимизатора идёт в оперативную память (в DGX H200 её 2 ТБ), а датасет должен читаться с быстрых NVMe-дисков без простоя GPU.
- Сеть, если серверов больше одного. Скорость и тип межсерверной сети обсуждаются до заказа.
- Срок запуска и порядок оплаты. Флагманы запускаются до 3 рабочих дней после оплаты, первый месяц — авансом; планируйте старт обучения с этим запасом.
Сервер на 8 × H200 в Ampuna
Сервер на 8 × H200 у нас — SXM на плате HGX, от 5 040,00 ₽/ч (≈ 3 679 200 ₽/мес). Для долгого обучения подходит контракт на 3, 6 или 12 месяцев: он фиксирует цену на весь срок, цену за срок присылаем в ответе на заявку. Порядок как у всех флагманов: аванс за первый месяц и старт до 3 рабочих дней после оплаты.
8 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия8 × H200: SXM на плате HGXот 5 040 ₽/ч≈ 3 679 200 ₽/месОткрыть H200 →Вопросы и ответы
Что такое HGX H200?
Плата NVIDIA под 4 или 8 GPU H200 в модулях SXM с коммутаторами NVSwitch. Из варианта на восемь производители собирают серверы на 8 GPU; собственный сервер NVIDIA на этой плате называется DGX H200.
Чем 8 GPU с NVLink лучше восьми отдельных карт?
Скоростью обмена. У каждой H200 — до 900 ГБ/с NVLink, и через NVSwitch любая пара может использовать эту скорость полностью; через PCIe Gen5 — 128 ГБ/с. Для обучения, где карты синхронизируются на каждом шаге или каждом слое, это определяет, сколько времени GPU считают, а сколько ждут.
Хватит ли одного сервера на 8 × H200 для модели на 70B?
Инференс и LoRA — да, там и двух карт достаточно. Для полного дообучения 70B модельные состояния занимают около 1 260 ГБ — больше, чем 1 128 ГБ всего сервера, поэтому нужна выгрузка в оперативную память или второй сервер.
Что такое NVSwitch?
Коммутатор NVLink. Он соединяет все GPU сервера между собой так, что любая пара может обмениваться данными на полной скорости NVLink. В DGX H200 таких коммутаторов четыре.
Нужен ли InfiniBand?
Внутри одного сервера — нет, там работает NVLink. InfiniBand или быстрый Ethernet нужен, когда обучение идёт на нескольких серверах сразу.
8 × H200