Перейти к содержимому
GPU: выбор и модели

RTX 5090 или A100: какую GPU взять для дообучения небольшой модели

Сравниваем RTX 5090 и A100 для дообучения и инференса небольших LLM: память, форматы, цена за час, ограничения. Таблица и правила выбора.

Коротко
  • RTX 5090 — 32 ГБ быстрой памяти GDDR7 и поддержка FP8 и FP4. Хватает для LoRA и QLoRA моделей 7–8B, для экспериментов и для запуска: модели размером до 8B работают в BF16, до 14B — в FP8.
  • A100 40 ГБ — на 8 ГБ больше памяти, серверное исполнение и деление карты на части через MIG. Удобнее для LoRA модели 13B в BF16.
  • Модели крупнее 14B в 16 битах, длинный контекст и обучение на нескольких картах — уже задачи для карт с 80 ГБ, например H100.
Содержание9 разделов

Небольшую модель — от 1 до 14 млрд параметров — дообучают на одной видеокарте, и выбор часто сводится к двум вариантам: новая потребительская RTX 5090 или серверная A100 предыдущего поколения. У первой новее архитектура и быстрее память, у второй больше памяти и функции дата-центра. Какая подойдёт, зависит от размера модели, метода дообучения и того, нужна ли потом вторая карта.

Обе карты есть в каталоге в сборках по одной, две, четыре и восемь карт: конфигурации и цены — на страницах RTX 5090 и A100 40 ГБ.

Две карты из разных классов

RTX 5090 — видеокарта линейки GeForce на архитектуре Blackwell, вышла в 2025 году. Её делали для рабочих станций и настольных компьютеров, но 32 ГБ памяти и тензорные ядра пятого поколения сделали её популярной для небольших моделей. A100 — ускоритель дата-центра на архитектуре Ampere, NVIDIA выпустила его в 2020 году в версиях 40 и 80 ГБ, в исполнениях PCIe и SXM.

Листайте вбок →
 RTX 5090A100 40 ГБA100 80 ГБ (характеристика)
Память32 ГБ GDDR740 ГБ HBM280 ГБ HBM2e
Пропускная способность памяти1 792 ГБ/⁠с1 555 ГБ/⁠с1 935–2 039 ГБ/⁠с
Форматы тензорных ядерFP4, FP8, BF16, FP16BF16, FP16, TF32, INT8BF16, FP16, TF32, INT8
Связь между картамиPCIe, NVLink нетNVLink 600 ГБ/⁠с — у SXM и через мост NVLink у пары PCIe-картNVLink 600 ГБ/⁠с — у SXM и через мост NVLink у пары PCIe-карт
Деление карты на части (MIG)нетдо 7 частей по 5 ГБдо 7 частей по 10 ГБ
Мощность575 Вт250–400 Вт300–400 Вт
Класспотребительскаядата-центрдата-центр
Таблица 1RTX 5090 и A100: что важно для дообучения
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Главное из таблицы: у RTX 5090 память меньше, но быстрее, а тензорные ядра понимают FP8 и FP4. У A100 больше памяти, но нет аппаратного FP8, зато есть MIG и NVLink — у SXM и через мост у пары PCIe-карт.

Дообучение: что помещается в 32 и 40 ГБ

Память под дообучение складывается из весов модели, активаций и того, что нужно методу обучения. Формулы и пример расчёта — в статье «Сколько видеопамяти нужно для LLM», для прикидки удобен калькулятор памяти. Для двух наших карт картина такая (расчёт редакции: 2 байта на параметр в BF16, полбайта в 4 битах):

  • LoRA модели 7–8B в BF16. Веса занимают 14–16 ГБ, остальное уходит на активации и адаптеры. Помещается и на RTX 5090, и на A100 40 ГБ.
  • LoRA модели 13B в BF16. Одни веса — около 26 ГБ. На RTX 5090 остаётся около 6 ГБ: только короткие последовательности и маленький батч. На A100 40 ГБ запас вдвое больше.
  • QLoRA модели 13–14B. Базовые веса в 4 битах — около 7 ГБ. Свободно помещается на обе карты, остаётся место под длинные примеры.
  • QLoRA модели 30–33B. Веса — около 16 ГБ. Авторы QLoRA дообучали модель 33B даже на карте с 24 ГБ, так что на 32 ГБ RTX 5090 остаётся запас под контекст, а на A100 40 ГБ — ещё больше.
  • Полное дообучение. Модельным состояниям нужно около 18 ГБ на каждый миллиард параметров плюс активации, поэтому одна карта на 32–40 ГБ полностью дообучает модели размером до 1–2B.

О скорости. Производительность в обучении зависит от модели, длины примеров и фреймворка, и сравнивать карты по общей цифре бессмысленно. Надёжнее прогнать на обеих первые сотни шагов своего обучения и сравнить время шага: при оплате по секундам такой тест стоит недорого.

RTX 5090 или H100

Когда стоит смотреть выше обеих карт, сразу на H100:

  • Модели не хватает 32–40 ГБ. У H100 — 80 ГБ: LoRA модели 13B идёт с длинными последовательностями, а 30B в BF16 запускается на одной карте.
  • Обучение в FP8. RTX 5090 тоже поддерживает FP8, но у H100 в архитектуре Hopper есть аппаратный Transformer Engine: тензорные ядра FP8 и логика, которая переключает слои между FP8 и 16 битами при обучении трансформеров.
  • Несколько карт. Распределённое обучение, где карты постоянно обмениваются данными, удобнее на ускорителях дата-центра: у H100 SXM связь NVLink до 900 ГБ/⁠с, у RTX 5090 обмен идёт по PCIe.
  • Быстрая память. У H100 SXM — 3,35 ТБ/⁠с, это ускоряет генерацию токенов на больших моделях.

Когда модели хватает 32 ГБ и вы работаете на одной карте, RTX 5090 закрывает задачу и стоит дешевле в час. Характеристики и цены — на странице H100, подробное сравнение карт дата-центра — в статье «H100, A100 или H200: что выбрать».

Инференс: какие модели и контексты

После дообучения модель нужно запустить. Одна RTX 5090 держит модель на 8B в BF16, а на 14B — в FP8; FP8 вдвое уменьшает веса по сравнению с BF16, и тензорные ядра карты считают в нём напрямую. На A100 40 ГБ модель 13B запускается в BF16 с умеренным контекстом; 8-битный режим на ней — через INT8-квантизацию весов.

Чем длиннее контекст и чем больше одновременных запросов, тем больше памяти занимает KV-кэш. Если вы планируете контекст в десятки тысяч токенов или много пользователей одновременно, считайте память с запасом или берите карту на 80 ГБ. Как установить драйвер, vLLM и открыть модель по API, описано в статье «Как запустить LLM на GPU-сервере».

У A100 есть свой козырь — MIG. Карту можно разделить на изолированные части, например на 7 частей по 5 ГБ, и запустить на них несколько небольших моделей или тестовых окружений для разных разработчиков.

Ограничения потребительской карты

  • 32 ГБ — потолок. Память не добавить, и модель, которая выросла после дообучения или получила длинный контекст, переезжает на другую карту.
  • Нет NVLink. В сервере на 2, 4 или 8 RTX 5090 карты обмениваются данными по PCIe. Для обучения, где каждая карта считает свою часть данных и редко синхронизируется, этого достаточно. Модель, разрезанная между картами, работает медленнее, чем на ускорителях с NVLink.
  • Нет MIG. Одна карта — одна задача или несколько процессов без изоляции между ними.

Похожий выбор между рабочей станцией и дата-центром есть и в старших моделях: он разобран в статье «RTX PRO 6000 Blackwell и B300: чем отличаются и что выбрать».

Цена часа

Сервер с одной картой: RTX 5090 — от 130,00 ₽/⁠ч, A100 40 ГБ — от 90,00 ₽/⁠ч, H100 — от 383,00 ₽/⁠ч. Сборки на две, четыре и восемь карт есть для обеих моделей. Списание идёт по секундам работы, поэтому стоимость задачи — это время обучения в часах, умноженное на ставку.

У облачных конфигураций выключенный сервер стоит дешевле работающего. Удалённый не стоит ничего, так что после дообучения сохраните адаптеры и удалите сервер.

NVIDIA RTX 5090Blackwell · 32 ГБ GDDR7 · Россияот 130 ₽/ч≈ 94 900 ₽/месОткрыть RTX 5090 →NVIDIA A100Ampere · 40 ГБ · Индияот 90 ₽/ч≈ 65 700 ₽/месОткрыть A100 →

Как проверить карту после запуска

Первая команда на новом сервере — nvidia-smi. Она показывает модель карты, объём памяти и версию драйвера, а во время обучения — сколько памяти занято и насколько загружена карта. Если память заполнена почти целиком, а загрузка вычислений низкая, обучение упирается в объём памяти: уменьшите батч или длину примеров либо переходите на карту побольше. Если и память, и загрузка высокие, карта подобрана верно.

Что выбрать под задачу

Листайте вбок →
ЗадачаБеритеПочему
LoRA и QLoRA модели 7–8BRTX 5090Модель помещается, память быстрая
LoRA модели 13B в BF16A100 40 ГБЗапас памяти под активации
QLoRA моделей 13–14BRTX 5090 или A100 40 ГБВеса около 7 ГБ, обе карты справляются
Запуск модели 14B в FP8RTX 5090Аппаратный FP8
Несколько небольших моделей на одной картеA100 40 ГБMIG делит карту на изолированные части
Модель 30B в BF16, длинный контекст, обучение на нескольких картахH10080 ГБ памяти, Transformer Engine
Таблица 2RTX 5090, A100 40 ГБ или H100

Вопросы и ответы

Хватит ли 32 ГБ для моделей 7B и 13B?

Для 7–8B — да: LoRA и QLoRA помещаются с запасом, запуск в BF16 тоже. Для 13B хватит QLoRA, а LoRA в BF16 пойдёт только с короткими примерами — удобнее карта на 40 ГБ и больше.

Чем A100 лучше RTX 5090?

Больше памяти (40 или 80 ГБ против 32 ГБ), деление карты на части через MIG и NVLink — у SXM и через мост NVLink у пары PCIe-карт. RTX 5090 при этом новее: у неё быстрее память и есть FP8 и FP4.

Что дешевле в час?

Сервер с A100 40 ГБ — от 90,00 ₽/⁠ч, с RTX 5090 — от 130,00 ₽/⁠ч. Итог задачи зависит и от того, сколько часов она займёт на каждой карте, поэтому для длинного обучения сравните время шага на обеих.

Можно ли обучать на RTX 5090?

Да: LoRA и QLoRA небольших моделей и полное дообучение моделей до 1–2B. Для полного дообучения крупнее и для обучения на многих картах берут карты дата-центра.

Что взять, если модель 30B?

Для QLoRA хватит обеих карт: модель 33B помещается даже на 24 ГБ. Для LoRA в BF16 и для запуска в 16 битах нужна карта на 80 ГБ и больше — H100 или H200.

Подбор GPU

Посчитаем, какая карта подойдёт вашей модели

Напишите модель, метод дообучения и длину примеров — предложим RTX 5090, A100 или H100 и посчитаем стоимость под ваш срок. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. NVIDIA GeForce RTX 5090 — 32 ГБ GDDR7, 575 Вт, NVLink нет
  2. NVIDIA RTX Blackwell GPU Architecture (whitepaper) — RTX 5090: пропускная способность памяти 1 792 ГБ/⁠с, тензорные ядра пятого поколения с FP4 и FP8
  3. NVIDIA A100 Tensor Core GPU, datasheet — 40 ГБ HBM2 1 555 ГБ/⁠с, 80 ГБ HBM2e 1 935–2 039 ГБ/⁠с, 250–400 Вт, MIG до 7 частей по 5 или 10 ГБ, NVLink 600 ГБ/⁠с, BF16 312 TFLOPS
  4. NVIDIA H100 — 80 ГБ, 3,35 ТБ/⁠с (SXM), NVLink 900 ГБ/⁠с, Transformer Engine и FP8
  5. Dettmers et al., «QLoRA: Efficient Finetuning of Quantized LLMs», 2023 — дообучение с базовыми весами в 4 битах, модель 33B на одной карте 24 ГБ