K-AI 384 Rome RTXPro6000 — 4× RTX Pro 6000 Blackwell Server Edition (384 GB ECC VRAM)

Rackový inferenčný server s výškou 4U, štyrmi pasívnymi dátovými kartami NVIDIA RTX Pro 6000 Blackwell Server Edition (každá s kapacitou 96 GB ECC) spojenými s 384 GB ECC VRAM, jedným procesorom AMD EPYC 7643 Milan (48C/96T), 384 GB DDR4-2666 ECC, 2 TB NVMe bootovaním a duálnym synchronizovaným 2.5 kW ATX zdrojom. Kremík Blackwell s natívnou akceleráciou FP8. Pasívne chladenie s prúdením vzduchu pre šasi dátového centra. Beží na systémoch DeepSeek V3 Q3, Mistral Large 3, Qwen3-Coder-480B a všetkých hlavných otvorených modeloch Frontier.

technické vybavenie

Čo môžete spustiť

LLM – text / uvažovanie / kódovanie

Čínska hranica

• DeepSeek V3 / V3-0324 / V3.1 / V3.2 / R1 / R1-0528 Q3 (~290 GB) pohodlne na karte (~30-40 tok/s jeden tok, publikovaná referencia); FP8 natívny (~670 GB s rezervou RAM)
• Qwen3-Coder-480B-A35B Q3 (~350 GB obmedzené s únikom RAM) — SOTA otvorený kódovací agent (~18-25 tok/s jeden, publikovaná referencia)
• Qwen3-235B-A22B Q6/Q8 (~200-280 GB) s veľmi dlhým ctx a dávkovým spracovaním pre viacerých používateľov
• GLM-5 / GLM-5.1 Q3 (~317 GB) – čínska hranica, kódovanie blízko verzie Claude Opus 4.6
• Kimi-K2 1.58-bitový UD (~240 GB) — agent s biliónmi parametrov pri skutočnej priepustnosti
• Hunyuan-Veľký 389B/52B Q4 (~220 GB), natívny FP8 (~390 GB úložisko)
• ERNIE-4.5-424B-A47B 4. štvrťrok (~240 GB); MiniMax-M1 4. štvrťrok (~260 GB) 1M-ctx
• Lama 3.3 70B bf16 umiestnený na jednej karte (96 GB/karta — nie je potrebný tenzorový paralelný procesor)

Západná hranica

• Mistral Large 3 (675B/41B MoE, Apache 2.0) Q3 (~317 GB) — otvorené váhy na hranici západnej pologule (~20-30 tok/s jednotlivo, publikovaná referencia)
• Flame 4 Maverick (400B/17B) Q4 (~232 GB) so štedrým rozpočtom KV (~45-55 tok/s jeden, publikovaná referencia)
• Llama-3.1-Nemotron Ultra 253B 4. – 6. štvrťrok (~119 – 207 GB)
• gpt-oss-120b Natívny MXFP4 (80 GB) s masívnym priestorom pre súbežné úložiská
• Pixtral Large / Mistral Large 2 bf16 (~248 GB); Devstral 2 123B bf16 — 256k otvorené kódovanie
• Lama 3.3 70B bf16 na jednej karte; možné 4 súbežné nasadenia 70B

Modely vizuálno-jazykového vnímania

Qwen3-VL-235B-A22B bf16 (~240 GB); InternVL3.5-241B-A28B Q4 (~135 GB); Llama 3.2 90B Vision bf16; Pixtral Large 124B bf16 (~248 GB); Qwen3-Omni-30B-A3B; Molmo 72B; ERNIE-4.5-VL; GLM-4.6V 106B bf16 na TP. Blackwell fp8 poskytuje ~2x vyššiu priepustnosť na inferencii Vision-Tower v porovnaní s Ada.

Generovanie obrazu

FLUX.1 [dev] / Kontext / Nástroje v natívnom režime FP8 (~15-20 s na obraz 1024x1024 na jednej RTX Pro 6000, publikovaná referencia); SD 3.5 Large; HunyuanImage-2.1 (17B natívne 2K); HunyuanImage-3.0 80B/13B MoE; AuraFlow; OmniGen; 4x súbežné ComfyUI workery.

Generovanie videa

Wan 2.2 T2V-A14B / I2V-A14B duálny expert bf16; HunyuanVideo 13B bf16 oba experty; Open-Sora 2.0 (11B) bf16; CogVideoX-5B; Mochi-1; LTX-Video; Pyramid Flow; SVD / SV3D / SV4D; NVIDIA Cosmos Predict 2.

Zvuk / Reč / TTS

• ASR: Whisper v3 veľký / turbo; Parakeet-TDT 1.1B; Canary 1B; Qwen3-ASR; SenseVoice
• TTS: CosyVoice 2/3; Kokoro; Stable Audio Open; XTTS v2; Step-Audio-EditX
• V reálnom čase / S2S: Kyutai Moshi; Step-Audio 2 mini / R1; Qwen2.5-Omni-7B
• Hudba / Zvukové efekty: MusicGen / AudioGen / Bark / SeamlessM4T

Poskytovanie viacerých modelov / viacerých nájomníkov

• DeepSeek V3 Q3 + súbežný 70B + FLUX.1 + Whisper pre všetkých rezidentov
• 4-cestná tenzorovo paralelná trieda na 350-400B v 4. štvrťroku
• Izolácia nájomníka na kartu – jeden 96 GB Llama 3.3 70B bf16 na kartu, 4 nezávislé inferenčné silá
• Viacmodelový RAG: čítačka + reranker + vision + embedder, všetko na jednom hostiteľovi

Cieľové pracovné zaťaženia

• Backend pre inferenciu Frontier s otvorenou váhou — DeepSeek V3 Q3, Qwen3-Coder-480B Q3, GLM-5 Q3
• Produkčná prevádzka multimodálnych agentov Llama 4 Maverick Q4 so štedrým kontextovým rozpočtom
• Izolácia pre 4 nájomníkov na kartu – jedna Llama 3.3 70B bf16 na nájomníka, nulová krížová kontaminácia
• FP8-natívne DeepSeek / R1 / Hunyuan slúžiace na kremíku Blackwell
• Mistral Large 3 Q3 ako alternatíva k otvorenému lietadlu Western Apache-2.0 Frontier

Publikované referencie výkonnosti

Nie ideálne pre

• Záťaž pre jedného používateľa až do 70B – 4x RTX 5090 je podstatne lacnejšia pre 128 GB pool, ak nie je potrebná ECC a pasívna spoľahlivosť
• Tiché nasadenie v blízkosti laboratória / kancelárie – pasívny chladič vyžaduje správne prúdenie vzduchu v dátovom centre spredu dozadu. Pre miesta citlivé na hluk zvoľte variant s turboventilátorom Max-Q (K-AI 384 Rome RTXPro6000MQ)
• Školenie Frontier od začiatku (bez NVLink)
• Plná pamäť DeepSeek V3 Q4 na karte (~404 GB) – možnosť upgradu na 6x RTX Pro 6000 / 576 GB

Záruka a dodacia lehota

Zostavenie zahŕňa montáž, konfiguráciu BIOSu, inštaláciu ovládačov, naprogramovanie, testovanie pamäte a overenie funkčnosti. Dodacia lehota závisí od dostupnosti komponentov, ktorá sa potvrdí pri objednávke.

Odporúčané doplnky

• Rozšírte pamäť RAM na 512 GB DDR4 (pridajte 2x 64 GB — 2 voľné sloty DIMM) pre väčší priestor na RAM v procesoroch Q3 Frontier Quantum
• 4 TB NVMe Gen4 x4 pre knižnicu Frontier-Model (samotná DeepSeek V3 Q3 má na disku ~290 GB)
• Kompletná 24U racková skriňa so spravovaným PDU a online UPS
• Alternatívna silueta: variant s turboventilátorom Max-Q (K-AI 384 Rome RTXPro6000MQ) – rovnaký kremíkový chladič s tichším ventilátorom, pre laboratórne nasadenie