NVIDIA CMP 170HX 64 GB HBM2e (upravená, po ťažbe)
Platforma podnikovej triedy, zostavená a testovaná v EÚ.
NVIDIA CMP 170HX 64 GB HBM2e — lacná VRAM pre rezidentnú inferenciu
CMP 170HX s procesorom GA100 a pamäťou rozšírenou na 64 GB HBM2e. Za 1 600 eur je to zhruba 25 eur za gigabajt vysokorýchlostnej VRAM – približne pätina ceny profesionálnych kariet s veľkou VRAM. Ide o upravený hardvér so skutočnými obmedzeniami, ktoré vám pred kúpou vysvetlíme nižšie.
Čo táto karta je – a čo nie je
Kartu CMP 170HX predávala spoločnosť NVIDIA ako špecializovanú kartu na ťažbu: orezaná verzia GA100 s PCIe pripojením zámerne uzamknutým na PCIe 1.0 a obmedzenou väčšinou funkcií zobrazenia a výpočtu. Tieto jednotky boli dodatočne upravené tak, aby niesli 64 GB HBM2e. Vďaka tomu sú nezvyčajne lacným spôsobom, ako uchovávať veľký model výlučne vo vysokopásmovej pamäti – a zlou voľbou pre čokoľvek, čo závisí od rýchlych prenosov hostiteľa, škálovania viacerých GPU alebo trénovania.
Prečo je možnosť ×16 o 150 € drahšia
Obe verzie sú uzamknuté na signalizáciu PCIe 1.0 – túto časť nemožno vrátiť späť. Rozdiel je v počte línií, čo mení šírku pásma medzi hostiteľom a kartou 4×:
| PCIe 1.0 ×4 – 1 750 € | ~1 GB/s · naplnenie 64 GB trvá približne minútu |
| PCIe 1.0 ×16 – 1 750 € | ~4 GB/s · naplnenie 64 GB trvá približne 15 sekúnd |
Technické údaje
| GPU | NVIDIA GA100 — Ampér |
| Memory Masážne stoly | 64 GB HBM2e (upravená – nie je to štandardná konfigurácia) |
| Vypočítať | Čiastočne odpojené vs A100 – orientované na kapacitu, nie na priepustnosť |
| Rozhranie | PCIe 1.0 ×4 alebo PCIe 1.0 ×16 (vyberte vyššie) |
| Šírka pásma hostiteľa | ~1 GB/s (×4) · ~4 GB/s (×16) |
| Výstupy displeja | Žiadne – iba výpočet |
| Chladenie | Pasívne – vyžaduje prúdenie vzduchu z šasi |
| Podmienka | Použité, z baníctva – testované pred odoslaním |
Kam sa to hodí
- Obsluha jedného veľkého modelu, ktorý zostáva rezidentne vo VRAM – načíta sa raz, beží hodiny.
- Experimentovanie s veľkými modelmi s obmedzeným rozpočtom, kde ide o 64 GB za 1 600 €.
- Dávkové inferenčné úlohy, ktoré sú viazané na VRAM, a nie na prenos.
- Učenie a vývoj na rozsiahlych modelových pracovných postupoch bez výdavkov na dátové centrá a grafické procesory.
Kde sa to nehodí
- Tréning alebo doladenie – PCIe 1.0 a znížený výpočtový výkon pracujú proti vám.
- Viacnásobné tenzorovo-paralelné konfigurácie GPU – prepojenie je príliš pomalé.
- Úlohy, ktoré nepretržite streamujú dáta z hostiteľskej pamäte alebo disku.
- Čokoľvek, čo vyžaduje výstup na displej, alebo kartu, na ktorú sa môžete spoľahnúť počas rokov produkčnej prevádzky.
Často kladené otázky
Uvidí môj framework všetkých 64 GB?
V našich testoch je plná kapacita adresovateľná, čo je hlavný dôvod, prečo si túto kartu kúpiť. Výpočtová kapacita je iná vec – v porovnaní so skutočným A100 je čiastočne obmedzená a karty sa medzi jednotlivými jednotkami líšia. Pred objednaním nám povedzte, aké zamýšľané pracovné zaťaženie máte, a my vám priamo odpovieme, či je to pre vás správna kúpa.
Môžem získať plne odomknutú kartu?
Niektoré jednotky sú menej obmedzené ako iné, ale je to skutočne lotéria a nepredáme vám sľub, ktorý nemôžeme dodržať. Objednajte si na základe 64 GB VRAM za nízku cenu; čokoľvek nad túto cenu berte ako bonus.
Môžem ich prevádzkovať viacero na jednom stroji?
Fyzicky môžete a každá karta si ponechá vlastných 64 GB, takže nezávislé úlohy na kartu fungujú. Čo nefunguje dobre, je rozdelenie jedného modelu medzi karty – PCIe 1.0 robí tenzorovo-paralelnú komunikáciu úzkym hrdlom.
Potrebuje to špeciálne chladenie?
Áno. Je to pasívna karta bez vlastného ventilátora a očakáva sa serverová skriňa so správnym prúdením vzduchu spredu dozadu. V bežnej stolovej skrini sa prehrieva.
Ako sa to porovnáva s kúpou profesionálnej karty?
Pokiaľ ide o cenu VRAM, nič sa jej ani zďaleka nepribližuje – zhruba 25 €/GB oproti približne 141 €/GB za 96 GB RTX PRO 6000. Pokiaľ ide o spoľahlivosť, výpočtový výkon, záruku, šírku pásma PCIe a ďalší predaj, profesionálna karta vyhráva vo všetkých ohľadoch. Vyberte si podľa toho, na čom z toho vám záleží.
Otázky, ktoré nám kupujúci kladú najčastejšie pred objednaním servera.
Ako dlho to trvá?
Stroje vyrobené z komponentov, ktoré máme pripravené, expedujeme rýchlo; čokoľvek, čo vyžaduje konkrétnu generáciu GPU, závisí od dodávok. Pred zaplatením vám oznámime dátum a ak sa dodávka zmení, oznámime vám to, namiesto toho, aby ste sa o tom dozvedeli.
Dá sa konfigurácia zmeniť pred zostavením?
Takmer vždy. Grafické karty, pamäť, úložisko a chladenie sa vyberajú pre každú objednávku a uvedená konfigurácia je skôr východiskovým bodom ako fixným balíkom. Ak potrebujete viac VRAM, rýchlejšie úložisko alebo iný prístup k chladeniu, oznámte to pred objednaním a my vám poskytneme cenovú ponuku.
Môžem si server vyzdvihnúť osobne?
Môžete. Náš sklad sa nachádza v Prahe a osobný odber je vítaný – väčšina ľudí, ktorí prídu, využije návštevu na to, aby si s naším technikom prezreli stroj a položili otázky, ktoré sú cez e-mail nepríjemné. V prípade objednávok v rámci Českej republiky sa tiež snažíme doručiť osobne a sprevádzať vás nastavením na mieste.
Môžem sa porozprávať s niekým, kto skutočne rozumie pracovnej záťaži?
Áno. Máme inžiniera, ktorý pracuje konkrétne na systémoch umelej inteligencie, nie na všeobecnom predajnom oddelení. Ak sa vaša otázka týka veľkosti dávok, kvantizácie, prepojení alebo toho, kde bude vaše úzke miesto, opýtajte sa – takýto rozhovor zvyčajne zmení konfiguráciu k lepšiemu.
Ktorý model môžem spustiť na tejto konfigurácii?
Áno. Každý stroj je pred odoslaním zostavený, otestovaný v praxi a porovnaný s reálnymi záťažami umelej inteligencie. Po odoslaní máme nainštalovaný a spustený LLM. Zapojíte ho, pripojíte k sieti a začnete pracovať – zostáva už len rozhodnutie, ktorý projekt spustíte ako prvý.
Ako otestujete server pred odoslaním?
Porovnávame ho so skutočnými záťažami umelej inteligencie, a nie so syntetickými skóre: inferenčná priepustnosť, trvalé správanie pri záťaži a teploty pri nepretržitej prevádzke. Výsledky benchmarkov získate so strojom, takže výkon, ktorý vám bol sľúbený, je výkon, ktorý si môžete overiť hneď v prvý deň.
Je server pripravený na spustenie, keď dorazí?
Áno. Každý stroj je pred odoslaním zostavený, otestovaný v praxi a porovnaný s reálnymi záťažami umelej inteligencie. Po odoslaní máme nainštalovaný a spustený LLM. Zapojíte ho, pripojíte k sieti a začnete pracovať – zostáva už len rozhodnutie, ktorý projekt spustíte ako prvý.
Odosielame z nášho skladu v EÚ. Ťažké položky môžu vyžadovať prepravu – kontaktujte nás pre cenovú ponuku na prepravu a dodaciu lehotu. 2-ročná obmedzená záruka s rozšírenou podporou RMA; k dispozícii je predĺžená záruka.
Nie je to presne to, čo potrebujete?
Povedzte nám o vašej pracovnej záťaži a my túto platformu prispôsobíme jej špecifikáciám – grafické karty, pamäť, úložisko a chladenie zodpovedajú tomu, čo skutočne používate.