Сервери з професійними відеокартами nvidia rtx a4000 і rtx a5000

113

Випуск нового в обладнання, облік ринкових тенденцій і уважне ставлення до потреб користувачів допомагають нам розробляти нові продукти для більш ефективного вирішення завдань корпоративних клієнтів. На зміну застарілої серії gtx10 і дефіцитної rtx30 прийшли спадкоємиці серії quadro — gpu a4000 і а5000. Саме за рахунок серверів з новими відеокартами розширили свій серверний парк і пропонуємо вам оцінити продуктивність і економічність нового рішення.

Всі нові gpu nvidia створюються на базі поточної архітектури ampere.

Ampere використовує 8-нм техпроцес від samsung і підтримує високошвидкісну пам’ять gddr6, hbm2 і gddr6x. Пам’ять gddr6x є шостим поколінням пам’яті ddr sdram і може досягати швидкості до 21 гбіт / с. В а5000 і а4000 nvidia використовує ядра rt 2-го покоління і тензорні ядра 3-го покоління, що дозволяють забезпечити дворазовий приріст продуктивності в порівнянні зі старими ядрами turing. Gpu карти використовують стандарт pcie gen 4, що дозволяє прибрати вузькі місця при обміні даними з gpu.

В ampere використовується нова версія cuda 8+. На чіпі тепер є два потокових мультипроцесора fp32, що забезпечує зростання продуктивності fp32 в порівнянні з картами на базі turing. Старші gpu a5000 і вище підтримують nvlink 3.0 для об’єднання карт парами – це призводить до кратного збільшення продуктивності.

Відеокарти nvidia rtx a4000 і rtx a5000 були анонсовані в квітні 2021 року.

Технічні характеристики відеокарт nvidia rtx a4000 і rtx a5000, rtx 3090, quadro rtx 4000

На нових картах куди більше пам’яті, це дозволяє ефективно працювати з нейромережами і зображеннями.

Іншою істотною відмінністю rtx a4000 і rtx a5000 є апаратне прискорення розмиття руху, що дозволяє значно скоротити час і витрати на при рендерингу.

У старших картах від rtx a5000 є підтримка vgpu – nvidia rtx vws що дозволяє забезпечити спільне використання обчислювальних ресурсів і віртуальних gpu декількома користувачами.

В середньому нові відеокарти nvidia обганяють по продуктивності стару лінійку quadro в 1,5-2 рази і споживають менше електрики.

Тестірованіеноѕткеу

Ми провели власне тестування професійних відеокарт nvidia rtx a5000 і a4000 і порівняли їх з rtx 3090 і quadro rtx 4000 – представником попереднього покоління професійних відеокарт компанії nvidia.

опис тестового середовища:

  • процесор octacore intel xeon e-2288g, 3,5 ghz
  • 32 gb ddr4-3200 ecc ddr4 sdram 1600 мгц
  • samsung ssd 980 pro 1tb (1000 gb, pci-e 4.0 x4)
  • серверна материнська плата asus p11c-i series (1 pci-e x16, 1 m. 2, 2 ddr4 dimm, 2x gigabit lan + ipmi)
  • microsoft windows 10 professional 64-розрядна.

Тест v-ray gpu rtx

тест v-ray gpu cuda

Тести v-ray gpu cuda і rtx дозволяють виміряти відносну продуктивність gpu при рендерингу. Gpu rtx a4000 і rtx a5000 значно перевершують по продуктивності quadro rtx 4000 і geforce gtx 1080 ti (тест v-ray gpu rtx на цій карті провести неможливо, тому що вона не підтримує технологію rtx), але поступаються rtx 3090, що пояснюється високою пропускною здатністю пам’яті (936.2 гб/с проти 768.0 гб/с у rtx a5000) і кількістю потокових процесорів (10496 проти 8192 у rtx a5000).

«собаки проти кішок»

Для порівняння продуктивності gpu для нейромереж ми використовуємо набір даних “собаки проти кішок” – тест аналізує вміст фотографії і розрізняє зображена на фото кішка або собака. Всі необхідні вихідні дані знаходяться тут. Ми запускали цей тест на різних gpu і в різних хмарних сервісах, отримали наступні результати:

повний цикл навчання

Повний цикл навчання тесової нейромережі зайняв від 5 до 30 хвилин. Результат nvidia rtx a5000 і a4000 склав 07: 30 і 9: 10 хвилин відповідно. Швидше одиничних nvidia rtx a5000 і a4000 працював тільки gpu сервер з 8 картами geforce rtx 2080ti і споживанням електрики близько 2 квт/год . Відеокарти tesla v100 минулого покоління доступні в сервісах google cloud compute engine, microsoft azure і amazon web services і показали найкращий результат з протестованих там карт.

Скільки коштує навчити нейромережу в різних місцях?

На графіку представлена вартість навчання моделі з використанням різних сервісів для наступних конфігурацій:

  • aws – aws p3.2xlarge
  • google cloud – gcp compute engine
  • microsoft azure – tesla v100
  • hostkey – rtx а4000, rtx a5000

Ми поки надаємо gpu сервера на помісячній оплаті, але найближчим часом всі ці машини будуть доступні і на погодинної оплаті з повною автоматизацією їх надання клієнту при замовленні через api.

висновок

Нові професійні відеокарти nvidia rtx a5000 і a4000 є оптимальним рішенням для використання в gpu-серверах і дозволяють виконувати складні обчислення, проводити швидку обробку великих масивів даних.

Перехід на нову архітектуру ampere дозволив значно збільшити продуктивність нових професійних відеокарт компанії nvidia. Покращені тензорні ядра і ядра rt значно покращують якість і можливості трасування променів в реальному часі. Об’єм пам’яті в 16 гб у nvidia rtx a4000 і 24 гб у rtx a5000 дозволяє обробляти великі масиви даних. Місток nvlink для a5000 об’єднує дві карти в одну, що дозволяє працювати з 48гб високопродуктивної пам’яті.

Ліцензія на драйвери nvidia для професійних gpu ніяк не обмежує їх використання в центрах обробки даних, на відміну від їх ігрових версій.

Hostkey рекомендує використовувати сучасні виділені і віртуальні gpu сервера для рендеринга сцен, транскодингу відео, навчання нейромереж і обробки даних вже навченими мережами. Якщо є стабільний великий обсяг даних для обробки-оренда виділених gpu серверів може на порядок підвищити швидкість обробки за ті ж гроші або заощадити на інфраструктурі істотні фінансові ресурси.