Перейти к содержимому
GPU: выбор и модели

H100, A100 или H200: какую GPU выбрать под вашу задачу

Сравниваем NVIDIA A100, H100 и H200 по памяти, скорости и задачам: обучение, дообучение, инференс LLM. Таблица и правила выбора под размер модели.

Коротко
  • A100 — если модель с запасом помещается в 40 ГБ и важен бюджет: дообучение LoRA и инференс моделей до 13B, классическое машинное обучение.
  • H100 — если модели хватает 80 ГБ, а важна скорость обучения: FP8 и Transformer Engine.
  • H200 — если модель или контекст не помещаются в 80 ГБ: 141 ГБ памяти и 4,8 ТБ/⁠с при той же вычислительной части, что у H100.
Содержание9 разделов

Все три карты — ускорители NVIDIA для дата-центров. A100 относится к поколению Ampere, H100 и H200 — к Hopper. Между A100 и H100 меняется вычислительная часть, между H100 и H200 — только память. Поэтому первый вопрос при выборе — поместится ли модель, второй — сколько вы готовы платить за скорость. Характеристики каждой карты — на страницах H100, A100 и H200.

Сравнение по характеристикам

Листайте вбок →
 A100 40 ГБ (в аренде)H100 SXMH100 NVLH200 SXM
ПоколениеAmpereHopperHopperHopper
Память40 ГБ HBM2 (у NVIDIA есть и вариант 80 ГБ HBM2e, у нас его нет)80 ГБ HBM394 ГБ HBM3141 ГБ HBM3e
Скорость памяти1 555 ГБ/⁠с3,35 ТБ/⁠с3,9 ТБ/⁠с4,8 ТБ/⁠с
NVLink600 ГБ/⁠с (SXM), мост на 2 GPU у PCIe900 ГБ/⁠с600 ГБ/⁠с900 ГБ/⁠с
FP8 на тензорных ядрахнет3 958 TFLOPS*3 341 TFLOPS*3 958 TFLOPS*
Мощность250 Вт (PCIe), 400 Вт (SXM)до 700 Вт350–400 Втдо 700 Вт
Форм-факторыSXM, PCIeSXMPCIeSXM; есть NVL (PCIe)
Таблица 1A100, H100 и H200 по данным NVIDIA

* С разреженностью (sparsity), как указывает NVIDIA.

Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Строка FP8 у H100 SXM и H200 SXM одинаковая. Вычислительно это одна и та же карта, H200 выигрывает памятью — её почти на 76 % больше, и она на 43 % быстрее. Подробнее о том, чем SXM отличается от NVL, — в статье «SXM, PCIe, NVL, HGX и DGX».

80 → 141 ГБпамять H100 SXM и H200 SXM [2] [3]
3,35 → 4,8 ТБ/⁠сскорость памяти H100 SXM и H200 SXM [2] [3]
600 → 900 ГБ/⁠сNVLink A100 SXM и H100 SXM [1] [2]
Рис. 1Между H100 и H200 растёт только память. Между A100 и H100 растёт и память, и вычислительная часть.

Обучение: где H100 даёт прирост

У H100 появился Transformer Engine — блок, который считает слои трансформеров в формате FP8 и сам переключает точность между FP8 и 16 битами там, где это не вредит качеству. По прогнозу NVIDIA, обучение модели GPT-3 175B на H100 идёт до 4 раз быстрее, чем на предыдущем поколении. Это прогноз производителя для большой модели и кластера; на вашей модели прирост будет другим, и чем меньше модель, тем он обычно скромнее.

У A100 FP8 нет: тензорные ядра Ampere работают с TF32, BF16, FP16, INT8 и INT4. Для обучения в BF16 A100 по-прежнему рабочая карта — 312 TFLOPS на FP16 без разреженности, просто медленнее.

Второе отличие — связь между картами. При обучении на 8 GPU NVLink 900 ГБ/⁠с у H100 SXM против 600 ГБ/⁠с у A100 SXM сокращает время обмена градиентами. Для обучения на одной карте это не играет роли.

Дообучение LoRA и QLoRA

При дообучении LoRA веса базовой модели заморожены, обучаются небольшие добавочные матрицы, поэтому памяти нужно ненамного больше, чем на сами веса. Модель 7B в BF16 занимает около 14 ГБ и помещается на A100 40 ГБ с большим запасом под данные и активации. 13B — около 26 ГБ: на 40 ГБ остаётся место для коротких последовательностей и небольшого батча, для длинных удобнее карта на 80 ГБ. QLoRA хранит базовую модель в 4 битах и снижает требования ещё сильнее — сколько именно, посчитано в статье о видеопамяти.

Для таких задач A100 40 ГБ — разумный выбор по цене часа. H100 ускорит работу, но при небольшой модели разница во времени часто меньше разницы в цене.

Инференс LLM: решает память

При запуске модели память делят между собой веса и KV-кэш; объём кэша зависит от длины контекста и от того, сколько запросов обрабатывается одновременно. Модель 70B в BF16 весит около 140 ГБ — это больше, чем у H100 (80 ГБ) и почти весь объём H200 (141 ГБ), так что на KV-кэш места не остаётся. Варианты такие:

  • две H200 или две H100 NVL с NVLink — модель в 16 битах делится между картами;
  • одна H200 и модель в 8 битах — около 70 ГБ весов и примерно 70 ГБ под контекст и запросы;
  • одна H100 80 ГБ и модель в 4 битах — около 35 ГБ весов.

Как посчитать память под вашу модель, контекст и число пользователей, разобрано по шагам в статье «Сколько видеопамяти нужно для LLM».

Сколько GPU понадобится

Число карт считается от памяти: для инференса — веса и KV-кэш на нужное число запросов, делённые на память одной карты, а для полного дообучения требования в разы выше и состояние модели делят между картами по NVLink. Расчёт по шагам с примерами для моделей от 7B до 72B — в статье «Сколько видеопамяти нужно для LLM».

А что с RTX 5090 и RTX PRO 6000

Потребительская RTX 5090 и серверная RTX PRO 6000 построены на архитектуре Blackwell и подходят, когда модель небольшая и связь между GPU не нужна. У RTX 5090 32 ГБ GDDR7 и нет NVLink — этого хватает для инференса моделей 7B–13B в 8 или 4 битах, генерации изображений и экспериментов. У RTX PRO 6000 96 ГБ GDDR7 с ECC — больше, чем у H100 SXM, но память медленнее HBM. Для одиночной карты с большой моделью в 8 битах это сильный вариант; для обучения на нескольких GPU лучше Hopper.

Рис. 2Два вопроса об объёме памяти отделяют A100 от H100 и H100 от H200.

Что выбрать под задачу

Листайте вбок →
Если у вас…БеритеПочему
Дообучение LoRA модели до 13BA100 40 ГБВеса 13B в BF16 — около 26 ГБ, цена часа ниже
Инференс модели 7B–13B для небольшого числа пользователейA100 40 ГБ или RTX 5090Модель помещается в одну карту
Обучение или полное дообучение на 4–8 GPUH100 SXM или H200 на 8 GPUFP8, Transformer Engine, NVLink 900 ГБ/⁠с
Инференс 70B в 16 битах или с длинным контекстомH200141 ГБ на карту, меньше GPU на модель
Модель 70B в 8 битах на одной картеH200Веса около 70 ГБ плюс место под KV-кэш
Модель не помещается даже в 8 × H200B300До 288 ГБ у чипа
Таблица 2Выбор GPU по задаче

Если колеблетесь между арендой и покупкой собственного сервера, посчитайте порог окупаемости по формуле из статьи «Купить или арендовать H200 и H100».

Цены и запуск

Сервер с одной картой: A100 40 ГБ — от 90,00 ₽/⁠ч, H100 — от 383,00 ₽/⁠ч, H200 — от 630,00 ₽/⁠ч. Списание — по секундам работы. H200 запускаем до 3 рабочих дней после оплаты; оплата — аванс за первый месяц. Характеристики, серверы на две, четыре и восемь карт и цены — в разделах аренда H100, аренда A100 и аренда H200, полный список карт — в каталоге аренды GPU-серверов.

NVIDIA A100Ampere · 40 ГБ · Индияот 90 ₽/ч≈ 65 700 ₽/месОткрыть A100 →NVIDIA H100Hopper · 80 ГБ · Россияот 383 ₽/ч≈ 279 590 ₽/месОткрыть H100 →NVIDIA H200Hopper · 141 ГБ HBM3e · Россияот 630 ₽/ч≈ 459 900 ₽/месОткрыть H200 →

Вопросы и ответы

Чем H100 лучше A100?

У H100 есть FP8 и Transformer Engine, память быстрее (3,35 ТБ/⁠с против 1 555 ГБ/⁠с у A100 40 ГБ), NVLink 900 ГБ/⁠с против 600 ГБ/⁠с. Это ускоряет обучение трансформеров, особенно на нескольких GPU. По объёму памяти у H100 SXM 80 ГБ, вдвое больше, чем у A100 40 ГБ, которая есть у нас.

Хватит ли A100 для моей модели?

Модели 7B в 16 битах хватает A100 40 ГБ с запасом. У 13B веса занимают около 26 ГБ: на 40 ГБ она запускается и дообучается через LoRA, но под длинный контекст места мало — тогда удобнее карта на 80 ГБ, например H100. Для 70B в 16 битах одной A100 мало: только веса занимают около 140 ГБ.

Что важнее для LLM — объём памяти или вычислительная мощность?

Объём — условие запуска: веса и KV-кэш должны поместиться в карту. Дальше генерация токенов упирается в пропускную способность памяти, а обучение — в вычислительную часть.

Нужна ли H200 для модели 70B?

Для запуска в 16 битах на одной карте — да, и даже её памяти впритык: веса около 140 ГБ. Удобнее две H200 или одна H200 с моделью в 8 битах. На H100 модель 70B работает в 4 битах на одной карте или в 16 битах на нескольких.

Стоит ли брать RTX 5090 вместо A100?

Если модель помещается в 32 ГБ и не нужна связь между картами, RTX 5090 подойдёт для инференса и экспериментов. Для дообучения моделей крупнее 7B и для работы на нескольких GPU удобнее карта дата-центра: у нас — A100 40 ГБ; если нужны 80 ГБ памяти, берите H100 80 ГБ.

Подбор GPU

Не уверены, какую GPU взять?

Опишите модель, объём данных и ожидаемое число пользователей сервиса — подберём две-три подходящие карты и посчитаем стоимость. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. NVIDIA A100 Tensor Core GPU — память, скорость памяти, NVLink, мощность, FP16 312 TFLOPS, точности от FP32 до INT4:; datasheet
  2. NVIDIA H100 Tensor Core GPU — H100 SXM и H100 NVL, Transformer Engine, прогноз «до 4 раз быстрее обучение GPT-3 175B»
  3. NVIDIA H200 Tensor Core GPU — 141 ГБ HBM3e, 4,8 ТБ/⁠с, FP8
  4. NVIDIA GeForce RTX 5090 — 32 ГБ GDDR7
  5. NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ GDDR7 с ECC
  6. NVIDIA Technical Blog, «Inside NVIDIA Blackwell Ultra» — 288 ГБ HBM3e на GPU (B300)