Перейти к содержимому
Флагманские GPU

NVIDIA H200 для LLM: когда её выбирать и что она даёт на практике

NVIDIA H200 для языковых моделей: чем она отличается от H100, какие модели и контексты помещаются в 141 ГБ и когда хватит одной карты, а когда нужны восемь.

Коротко
  • H200 построена на той же архитектуре Hopper, что и H100. Вычисления у них близки, разница в памяти: 141 ГБ HBM3e против 80 ГБ и 4,8 ТБ/⁠с против 3,35 ТБ/⁠с.
  • Карта нужна, когда в 80 ГБ не помещаются веса модели, длинный контекст или нужное число одновременных запросов.
  • Llama 3.1 70B в FP8 вместе с контекстом 128 тысяч токенов помещается в одну H200. На H100 для этого не хватает памяти.
  • Полное дообучение 70B не помещается даже в сервер на 8 × H200; вместо него берут LoRA или QLoRA, а для полного дообучения — несколько серверов.
Содержание8 разделов

H200 берут ради памяти. Тензорные ядра, набор форматов и NVLink у неё те же, что у H100 SXM, а памяти почти в 1,8 раза больше, и читается она быстрее. Для языковых моделей это главный ресурс: веса, KV-кэш контекста и состояние оптимизатора при обучении живут в видеопамяти, и когда она кончается, задачу приходится делить между картами.

Поэтому вопрос «нужна ли мне H200» сводится к арифметике: сколько гигабайт займёт ваша модель с вашим контекстом. Мы посчитали это для моделей на 13B, 34B и 70B, а конфигурации, цены «от» и условия запуска собраны на странице аренда H200.

Что изменилось по сравнению с H100

H200 вышла как обновление H100 внутри поколения Hopper. NVIDIA поменяла память: HBM3 на HBM3e, 80 ГБ на 141 ГБ. Связь между картами (NVLink 900 ГБ/⁠с на GPU) и предельная мощность SXM-версии (до 700 Вт) остались прежними. Для LLM это значит, что одна и та же модель на H200 считает с той же скоростью, но получает больше места и быструю подачу данных.

Листайте вбок →
 H100 SXMH200 SXMЧто это даёт LLM
Память на GPU80 ГБ HBM3141 ГБ HBM3eБольше модель или длиннее контекст на одной карте
Скорость памяти3,35 ТБ/⁠с4,8 ТБ/⁠сБыстрее генерация токенов: на этапе ответа модель упирается в чтение весов и кэша
NVLink на GPU900 ГБ/⁠с900 ГБ/⁠сБез изменений: обмен между картами при обучении тот же
Мощностьдо 700 Втдо 700 ВтСервер под H100 SXM обычно подходит по питанию и охлаждению
MIGдо 7 × 10 ГБ (SXM)до 7 × 18 ГБ (SXM)В каждый экземпляр H200 помещается модель на 7B в FP16 (≈ 14 ГБ весов)
Таблица 1H100 SXM и H200 SXM: что меняется для языковых моделей (данные NVIDIA)
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Почему скорость памяти важна именно для ответа модели. Когда LLM генерирует текст, на каждый новый токен она заново читает все веса и накопленный кэш. Вычислений на этом шаге мало, а данных много, поэтому время ответа ограничивает пропускная способность памяти, и на генерации прибавка H200 заметнее, чем на обучении.

141 ГБHBM3e на одну H200 [1]
4,8 ТБ/⁠сскорость памяти H200 [1]
80 ГБу H100 SXM [2]

Какие модели помещаются в 141 ГБ

Веса модели занимают «число параметров × байт на параметр». В FP16 и BF16 параметр занимает 2 байта, в FP8 и INT8 — 1 байт, при 4-битном квантовании — половину байта. Для трёх типичных размеров получается так.

Листайте вбок →
МодельFP16 / BF16FP8 / INT84 бита
13B26136,5
34B683417
70B1407035
Таблица 2Сколько занимают только веса модели, ГБ (расчёт редакции: параметры × байт на параметр)

Что из этого следует для одной карты:

  • 13B помещается в любую из двух карт в любой точности. H200 тут выигрывает только запасом под контекст и число запросов.
  • 34B в FP16 на H100 оставляет около 12 ГБ на всё остальное, на H200 — около 73 ГБ. Разница между «работает с коротким контекстом» и «спокойно держит длинные диалоги».
  • 70B в FP8 на H100 оставляет около 10 ГБ, на H200 — около 71 ГБ.
  • 70B в FP16 весит 140 ГБ. Формально это меньше 141 ГБ, но места под кэш и служебные буферы не остаётся, поэтому для неё берут две H200.

Длинный контекст и KV-кэш: где 141 ГБ видны сильнее всего

Во время генерации модель хранит для каждого токена контекста ключи и значения внимания — это KV-кэш. Он растёт линейно с длиной контекста и с числом одновременных запросов. Для Llama 3.1 70B (80 слоёв, 8 KV-голов) кэш в FP16 занимает около 0,33 МБ на токен; формула и расчёт по шагам — в статье сколько видеопамяти нужно для LLM.

Рис. 1Один запрос с контекстом 128 тысяч токенов занимает около 43 ГБ кэша. На H200 он помещается рядом с весами 70B в FP8, на H100 — нет.

Отсюда два практических вывода.

Первый — про длину контекста. Весь кэш одного запроса на 128 тысяч токенов занимает около 43 ГБ. Вместе с весами в FP8 это примерно 113 ГБ: в H200 помещается, в H100 нет. Если продукту нужны длинные документы, договоры, переписка или код целиком, H200 закрывает это одной картой.

Второй — про параллельные запросы. При контексте 8 тысяч токенов на один запрос уходит около 2,7 ГБ. Свободные после весов 71 ГБ вмещают порядка двух десятков таких запросов одновременно, если оставить запас на буферы. На H100 в тех же условиях их будет единицы. Для сервиса с живыми пользователями это прямо переводится в число карт, которые нужно держать.

Обучение и дообучение: одна H200 или восемь

При полном обучении в смешанной точности с Adam на каждый параметр уходит 6 + 8 + 4 = 18 байт (наш подсчёт по Hugging Face: две копии весов, состояние оптимизатора, градиенты) плюс активации. Поэтому полное дообучение 7B ещё помещается в одну H200, модели на 34B нужен сервер на восемь карт, а 70B не помещается и в него. LoRA и QLoRA замораживают базовые веса: QLoRA на 70B идёт на одной H200, LoRA с весами в BF16 — на двух. Расчёт по моделям и устройство сервера на восемь GPU — в статье 8 × H200 на платформе HGX.

Рис. 2Грубая карта задач по числу H200. Точная граница зависит от длины контекста, батча и фреймворка.

Сервер на восемь H200 с NVLink нужен для полного дообучения моделей от 34B, обучения с нуля и инференса моделей, не влезающих в пару карт.

SXM или NVL: какую H200 вы получите

H200 выпускается в двух вариантах. SXM ставится на плату HGX и связана с соседями NVLink через коммутаторы, мощность до 700 Вт. NVL — карта PCIe с мостами NVLink на две или четыре карты, мощность до 600 Вт. Память у обеих одинаковая: 141 ГБ и 4,8 ТБ/⁠с.

Для инференса на одной-двух картах разница почти не видна. Для обучения на восьми картах нужен SXM: только там все восемь связаны в одну быструю сеть. Подробнее про буквы в названиях — в статье SXM, PCIe, NVL, HGX и DGX. Какой вариант стоит у конкретной конфигурации на 1–4 GPU, мы называем в ответе на заявку; сервер на 8 × H200 — это SXM на плате HGX.

Когда H200 не нужна

За память H200 стоит платить, только если вы в неё упираетесь. Признаки, что хватит карты попроще:

  1. Модель до 13B, контекст короткий, пользователей немного. H100 или даже A100 справятся, и час будет дешевле.
  2. Вы дообучаете модель через LoRA или QLoRA и уже укладываетесь в 80 ГБ с нормальным батчем.
  3. Задача упирается в вычисления: например, обучение небольшой модели на большом наборе данных. Здесь H200 почти не отличается от H100 SXM.
  4. Нужны много мелких изолированных сред для команды или учебных стендов. Их проще нарезать из нескольких карт попроще.

А если 141 ГБ на карту уже мало — модель на сотни миллиардов параметров или контекст на миллион токенов, — смотрите поколение Blackwell: у чипа B300 до 288 ГБ, в DGX B300 на карту приходится около 260 ГБ (2,1 ТБ на восемь карт). Как выбирать между H100, A100 и H200 (поколения Hopper и Ampere) под задачу, разобрано в статье H100, A100 или H200.

Как попробовать H200 на своей задаче

В Ampuna H200 доступна в сборках от 1 до 8 GPU. Цена за одну H200 — от 630,00 ₽/⁠ч (≈ 459 900 ₽/⁠мес), сервер на 8 GPU — от 5 040,00 ₽/⁠ч. Оплата — аванс за первый месяц, сервер запускаем до 3 рабочих дней после оплаты.

NVIDIA H200Hopper · 141 ГБ HBM3e · Россия141 ГБ HBM3e на GPUот 630 ₽/ч≈ 459 900 ₽/месОткрыть H200 →8 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия8 × H200: SXM на плате HGXот 5 040 ₽/ч≈ 3 679 200 ₽/месОткрыть H200 →

Вопросы и ответы

Хватит ли одной H200 для модели на 70B?

Для инференса — да, если веса в FP8 или в 4 битах: 70 ГБ или 35 ГБ на веса, остальное уходит под контекст и параллельные запросы. В FP16 веса занимают 140 ГБ, и для работы нужна вторая карта. Для QLoRA одной H200 тоже хватает; полное дообучение 70B требует больше восьми карт или выгрузку состояния оптимизатора в память процессора.

Чем H200 лучше H100 для инференса?

Двумя вещами: на одну карту помещается больше модели и контекста (141 ГБ против 80 ГБ), а генерация токенов идёт быстрее за счёт памяти 4,8 ТБ/⁠с против 3,35 ТБ/⁠с. Вычислительные блоки у карт одного поколения Hopper.

Что значит HBM3e?

Это тип памяти, установленной прямо рядом с чипом GPU. Буква «e» обозначает расширенную версию HBM3 с большей скоростью. У H200 её 141 ГБ со скоростью 4,8 ТБ/⁠с.

Какой контекст поместится в H200?

Зависит от модели. У Llama 3.1 70B кэш в FP16 занимает около 0,33 МБ на токен, и полный контекст 128 тысяч токенов — около 43 ГБ. Вместе с весами в FP8 это помещается в одну карту.

Подбор GPU

Подберём сервер с H200 под вашу задачу

Напишите модель, длину контекста и сколько пользователей ждёте — пришлём 2–3 конфигурации с ценой в час и в месяц. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. NVIDIA H200 Tensor Core GPU — 141 ГБ HBM3e, 4,8 ТБ/⁠с, NVLink 900 ГБ/⁠с, до 700 Вт (SXM) и до 600 Вт (NVL), MIG до 7 × 18 ГБ
  2. NVIDIA H100 Tensor Core GPU — 80 ГБ, 3,35 ТБ/⁠с, NVLink 900 ГБ/⁠с, до 700 Вт (SXM), MIG до 7 × 10 ГБ
  3. Конфигурация Llama 3.1 70B (80 слоёв, 64 головы внимания, 8 KV-голов, hidden 8192, контекст 131 072): (файл `config.json`; зеркало без авторизации
  4. KV-кэш в инференсе трансформеров, документация Hugging Face Transformers
  5. Hugging Face Transformers, «GPU memory usage» (model memory anatomy) — 6 байт на веса, 8 на состояние Adam и 4 на градиенты при обучении в смешанной точности, плюс активации
  6. Dettmers et al., «QLoRA: Efficient Finetuning of Quantized LLMs» — метод дообучения с базовыми весами в 4 битах
  7. vLLM — KV-кэш в FP8