- A100 — если модель с запасом помещается в 40 ГБ и важен бюджет: дообучение LoRA и инференс моделей до 13B, классическое машинное обучение.
- H100 — если модели хватает 80 ГБ, а важна скорость обучения: FP8 и Transformer Engine.
- H200 — если модель или контекст не помещаются в 80 ГБ: 141 ГБ памяти и 4,8 ТБ/с при той же вычислительной части, что у H100.
Содержание9 разделов
Все три карты — ускорители NVIDIA для дата-центров. A100 относится к поколению Ampere, H100 и H200 — к Hopper. Между A100 и H100 меняется вычислительная часть, между H100 и H200 — только память. Поэтому первый вопрос при выборе — поместится ли модель, второй — сколько вы готовы платить за скорость. Характеристики каждой карты — на страницах H100, A100 и H200.
Сравнение по характеристикам
| A100 40 ГБ (в аренде) | H100 SXM | H100 NVL | H200 SXM | |
|---|---|---|---|---|
| Поколение | Ampere | Hopper | Hopper | Hopper |
| Память | 40 ГБ HBM2 (у NVIDIA есть и вариант 80 ГБ HBM2e, у нас его нет) | 80 ГБ HBM3 | 94 ГБ HBM3 | 141 ГБ HBM3e |
| Скорость памяти | 1 555 ГБ/с | 3,35 ТБ/с | 3,9 ТБ/с | 4,8 ТБ/с |
| NVLink | 600 ГБ/с (SXM), мост на 2 GPU у PCIe | 900 ГБ/с | 600 ГБ/с | 900 ГБ/с |
| FP8 на тензорных ядрах | нет | 3 958 TFLOPS* | 3 341 TFLOPS* | 3 958 TFLOPS* |
| Мощность | 250 Вт (PCIe), 400 Вт (SXM) | до 700 Вт | 350–400 Вт | до 700 Вт |
| Форм-факторы | SXM, PCIe | SXM | PCIe | SXM; есть NVL (PCIe) |
* С разреженностью (sparsity), как указывает NVIDIA.
Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.
Оставить заявкуСтрока FP8 у H100 SXM и H200 SXM одинаковая. Вычислительно это одна и та же карта, H200 выигрывает памятью — её почти на 76 % больше, и она на 43 % быстрее. Подробнее о том, чем SXM отличается от NVL, — в статье «SXM, PCIe, NVL, HGX и DGX».
Источник: NVIDIA, 2026
Обучение: где H100 даёт прирост
У H100 появился Transformer Engine — блок, который считает слои трансформеров в формате FP8 и сам переключает точность между FP8 и 16 битами там, где это не вредит качеству. По прогнозу NVIDIA, обучение модели GPT-3 175B на H100 идёт до 4 раз быстрее, чем на предыдущем поколении. Это прогноз производителя для большой модели и кластера; на вашей модели прирост будет другим, и чем меньше модель, тем он обычно скромнее.
У A100 FP8 нет: тензорные ядра Ampere работают с TF32, BF16, FP16, INT8 и INT4. Для обучения в BF16 A100 по-прежнему рабочая карта — 312 TFLOPS на FP16 без разреженности, просто медленнее.
Второе отличие — связь между картами. При обучении на 8 GPU NVLink 900 ГБ/с у H100 SXM против 600 ГБ/с у A100 SXM сокращает время обмена градиентами. Для обучения на одной карте это не играет роли.
Дообучение LoRA и QLoRA
При дообучении LoRA веса базовой модели заморожены, обучаются небольшие добавочные матрицы, поэтому памяти нужно ненамного больше, чем на сами веса. Модель 7B в BF16 занимает около 14 ГБ и помещается на A100 40 ГБ с большим запасом под данные и активации. 13B — около 26 ГБ: на 40 ГБ остаётся место для коротких последовательностей и небольшого батча, для длинных удобнее карта на 80 ГБ. QLoRA хранит базовую модель в 4 битах и снижает требования ещё сильнее — сколько именно, посчитано в статье о видеопамяти.
Для таких задач A100 40 ГБ — разумный выбор по цене часа. H100 ускорит работу, но при небольшой модели разница во времени часто меньше разницы в цене.
Инференс LLM: решает память
При запуске модели память делят между собой веса и KV-кэш; объём кэша зависит от длины контекста и от того, сколько запросов обрабатывается одновременно. Модель 70B в BF16 весит около 140 ГБ — это больше, чем у H100 (80 ГБ) и почти весь объём H200 (141 ГБ), так что на KV-кэш места не остаётся. Варианты такие:
- две H200 или две H100 NVL с NVLink — модель в 16 битах делится между картами;
- одна H200 и модель в 8 битах — около 70 ГБ весов и примерно 70 ГБ под контекст и запросы;
- одна H100 80 ГБ и модель в 4 битах — около 35 ГБ весов.
Как посчитать память под вашу модель, контекст и число пользователей, разобрано по шагам в статье «Сколько видеопамяти нужно для LLM».
Сколько GPU понадобится
Число карт считается от памяти: для инференса — веса и KV-кэш на нужное число запросов, делённые на память одной карты, а для полного дообучения требования в разы выше и состояние модели делят между картами по NVLink. Расчёт по шагам с примерами для моделей от 7B до 72B — в статье «Сколько видеопамяти нужно для LLM».
А что с RTX 5090 и RTX PRO 6000
Потребительская RTX 5090 и серверная RTX PRO 6000 построены на архитектуре Blackwell и подходят, когда модель небольшая и связь между GPU не нужна. У RTX 5090 32 ГБ GDDR7 и нет NVLink — этого хватает для инференса моделей 7B–13B в 8 или 4 битах, генерации изображений и экспериментов. У RTX PRO 6000 96 ГБ GDDR7 с ECC — больше, чем у H100 SXM, но память медленнее HBM. Для одиночной карты с большой моделью в 8 битах это сильный вариант; для обучения на нескольких GPU лучше Hopper.
Обучение на 4–8 GPU — версия SXM с NVLink
Что выбрать под задачу
| Если у вас… | Берите | Почему |
|---|---|---|
| Дообучение LoRA модели до 13B | A100 40 ГБ | Веса 13B в BF16 — около 26 ГБ, цена часа ниже |
| Инференс модели 7B–13B для небольшого числа пользователей | A100 40 ГБ или RTX 5090 | Модель помещается в одну карту |
| Обучение или полное дообучение на 4–8 GPU | H100 SXM или H200 на 8 GPU | FP8, Transformer Engine, NVLink 900 ГБ/с |
| Инференс 70B в 16 битах или с длинным контекстом | H200 | 141 ГБ на карту, меньше GPU на модель |
| Модель 70B в 8 битах на одной карте | H200 | Веса около 70 ГБ плюс место под KV-кэш |
| Модель не помещается даже в 8 × H200 | B300 | До 288 ГБ у чипа |
Если колеблетесь между арендой и покупкой собственного сервера, посчитайте порог окупаемости по формуле из статьи «Купить или арендовать H200 и H100».
Цены и запуск
Сервер с одной картой: A100 40 ГБ — от 90,00 ₽/ч, H100 — от 383,00 ₽/ч, H200 — от 630,00 ₽/ч. Списание — по секундам работы. H200 запускаем до 3 рабочих дней после оплаты; оплата — аванс за первый месяц. Характеристики, серверы на две, четыре и восемь карт и цены — в разделах аренда H100, аренда A100 и аренда H200, полный список карт — в каталоге аренды GPU-серверов.
NVIDIA A100Ampere · 40 ГБ · Индияот 90 ₽/ч≈ 65 700 ₽/месОткрыть A100 →NVIDIA H100Hopper · 80 ГБ · Россияот 383 ₽/ч≈ 279 590 ₽/месОткрыть H100 →NVIDIA H200Hopper · 141 ГБ HBM3e · Россияот 630 ₽/ч≈ 459 900 ₽/месОткрыть H200 →Вопросы и ответы
Чем H100 лучше A100?
У H100 есть FP8 и Transformer Engine, память быстрее (3,35 ТБ/с против 1 555 ГБ/с у A100 40 ГБ), NVLink 900 ГБ/с против 600 ГБ/с. Это ускоряет обучение трансформеров, особенно на нескольких GPU. По объёму памяти у H100 SXM 80 ГБ, вдвое больше, чем у A100 40 ГБ, которая есть у нас.
Хватит ли A100 для моей модели?
Модели 7B в 16 битах хватает A100 40 ГБ с запасом. У 13B веса занимают около 26 ГБ: на 40 ГБ она запускается и дообучается через LoRA, но под длинный контекст места мало — тогда удобнее карта на 80 ГБ, например H100. Для 70B в 16 битах одной A100 мало: только веса занимают около 140 ГБ.
Что важнее для LLM — объём памяти или вычислительная мощность?
Объём — условие запуска: веса и KV-кэш должны поместиться в карту. Дальше генерация токенов упирается в пропускную способность памяти, а обучение — в вычислительную часть.
Нужна ли H200 для модели 70B?
Для запуска в 16 битах на одной карте — да, и даже её памяти впритык: веса около 140 ГБ. Удобнее две H200 или одна H200 с моделью в 8 битах. На H100 модель 70B работает в 4 битах на одной карте или в 16 битах на нескольких.
Стоит ли брать RTX 5090 вместо A100?
Если модель помещается в 32 ГБ и не нужна связь между картами, RTX 5090 подойдёт для инференса и экспериментов. Для дообучения моделей крупнее 7B и для работы на нескольких GPU удобнее карта дата-центра: у нас — A100 40 ГБ; если нужны 80 ГБ памяти, берите H100 80 ГБ.
