Випуск нового в обладнання, облік ринкових тенденцій і уважне ставлення до потреб користувачів допомагають нам розробляти нові продукти для більш ефективного вирішення завдань корпоративних клієнтів. На зміну застарілої серії gtx10 і дефіцитної rtx30 прийшли спадкоємиці серії quadro — gpu a4000 і а5000. Саме за рахунок серверів з новими відеокартами розширили свій серверний парк і пропонуємо вам оцінити продуктивність і економічність нового рішення.
Всі нові gpu nvidia створюються на базі поточної архітектури ampere.
Ampere використовує 8-нм техпроцес від samsung і підтримує високошвидкісну пам’ять gddr6, hbm2 і gddr6x. Пам’ять gddr6x є шостим поколінням пам’яті ddr sdram і може досягати швидкості до 21 гбіт / с. В а5000 і а4000 nvidia використовує ядра rt 2-го покоління і тензорні ядра 3-го покоління, що дозволяють забезпечити дворазовий приріст продуктивності в порівнянні зі старими ядрами turing. Gpu карти використовують стандарт pcie gen 4, що дозволяє прибрати вузькі місця при обміні даними з gpu.
В ampere використовується нова версія cuda 8+. На чіпі тепер є два потокових мультипроцесора fp32, що забезпечує зростання продуктивності fp32 в порівнянні з картами на базі turing. Старші gpu a5000 і вище підтримують nvlink 3.0 для об’єднання карт парами – це призводить до кратного збільшення продуктивності.
Відеокарти nvidia rtx a4000 і rtx a5000 були анонсовані в квітні 2021 року.
Технічні характеристики відеокарт nvidia rtx a4000 і rtx a5000, rtx 3090, quadro rtx 4000
На нових картах куди більше пам’яті, це дозволяє ефективно працювати з нейромережами і зображеннями.
Іншою істотною відмінністю rtx a4000 і rtx a5000 є апаратне прискорення розмиття руху, що дозволяє значно скоротити час і витрати на при рендерингу.
У старших картах від rtx a5000 є підтримка vgpu – nvidia rtx vws що дозволяє забезпечити спільне використання обчислювальних ресурсів і віртуальних gpu декількома користувачами.
В середньому нові відеокарти nvidia обганяють по продуктивності стару лінійку quadro в 1,5-2 рази і споживають менше електрики.
Тестірованіеноѕткеу
Ми провели власне тестування професійних відеокарт nvidia rtx a5000 і a4000 і порівняли їх з rtx 3090 і quadro rtx 4000 – представником попереднього покоління професійних відеокарт компанії nvidia.
опис тестового середовища:
- процесор octacore intel xeon e-2288g, 3,5 ghz
- 32 gb ddr4-3200 ecc ddr4 sdram 1600 мгц
- samsung ssd 980 pro 1tb (1000 gb, pci-e 4.0 x4)
- серверна материнська плата asus p11c-i series (1 pci-e x16, 1 m. 2, 2 ddr4 dimm, 2x gigabit lan + ipmi)
- microsoft windows 10 professional 64-розрядна.
Тест v-ray gpu rtx
тест v-ray gpu cuda
Тести v-ray gpu cuda і rtx дозволяють виміряти відносну продуктивність gpu при рендерингу. Gpu rtx a4000 і rtx a5000 значно перевершують по продуктивності quadro rtx 4000 і geforce gtx 1080 ti (тест v-ray gpu rtx на цій карті провести неможливо, тому що вона не підтримує технологію rtx), але поступаються rtx 3090, що пояснюється високою пропускною здатністю пам’яті (936.2 гб/с проти 768.0 гб/с у rtx a5000) і кількістю потокових процесорів (10496 проти 8192 у rtx a5000).
«собаки проти кішок»
Для порівняння продуктивності gpu для нейромереж ми використовуємо набір даних “собаки проти кішок” – тест аналізує вміст фотографії і розрізняє зображена на фото кішка або собака. Всі необхідні вихідні дані знаходяться тут. Ми запускали цей тест на різних gpu і в різних хмарних сервісах, отримали наступні результати:
повний цикл навчання
Повний цикл навчання тесової нейромережі зайняв від 5 до 30 хвилин. Результат nvidia rtx a5000 і a4000 склав 07: 30 і 9: 10 хвилин відповідно. Швидше одиничних nvidia rtx a5000 і a4000 працював тільки gpu сервер з 8 картами geforce rtx 2080ti і споживанням електрики близько 2 квт/год . Відеокарти tesla v100 минулого покоління доступні в сервісах google cloud compute engine, microsoft azure і amazon web services і показали найкращий результат з протестованих там карт.
Скільки коштує навчити нейромережу в різних місцях?
На графіку представлена вартість навчання моделі з використанням різних сервісів для наступних конфігурацій:
- aws – aws p3.2xlarge
- google cloud – gcp compute engine
- microsoft azure – tesla v100
- hostkey – rtx а4000, rtx a5000
Ми поки надаємо gpu сервера на помісячній оплаті, але найближчим часом всі ці машини будуть доступні і на погодинної оплаті з повною автоматизацією їх надання клієнту при замовленні через api.
висновок
Нові професійні відеокарти nvidia rtx a5000 і a4000 є оптимальним рішенням для використання в gpu-серверах і дозволяють виконувати складні обчислення, проводити швидку обробку великих масивів даних.
Перехід на нову архітектуру ampere дозволив значно збільшити продуктивність нових професійних відеокарт компанії nvidia. Покращені тензорні ядра і ядра rt значно покращують якість і можливості трасування променів в реальному часі. Об’єм пам’яті в 16 гб у nvidia rtx a4000 і 24 гб у rtx a5000 дозволяє обробляти великі масиви даних. Місток nvlink для a5000 об’єднує дві карти в одну, що дозволяє працювати з 48гб високопродуктивної пам’яті.
Ліцензія на драйвери nvidia для професійних gpu ніяк не обмежує їх використання в центрах обробки даних, на відміну від їх ігрових версій.
Hostkey рекомендує використовувати сучасні виділені і віртуальні gpu сервера для рендеринга сцен, транскодингу відео, навчання нейромереж і обробки даних вже навченими мережами. Якщо є стабільний великий обсяг даних для обробки-оренда виділених gpu серверів може на порядок підвищити швидкість обробки за ті ж гроші або заощадити на інфраструктурі істотні фінансові ресурси.