Prepínané topológie klastrov: Fat-Tree, Leaf-Spine, Dragonfly+, Tesseract

Každý klastrový diagram v balíčku dodávateľa začína rovnako: rad políčok označených ako „uzol“, rad políčok označených ako „prepínač“ a šípky medzi nimi. Diagramy sú zámerne jednoduché, pretože skutočná voľba, ktorá sa skrýva pod nimi – ktorá topológia, s akým nadmerným predplatným, s akou rýchlosťou na port – je najväčším nákladovým rozhodnutím v klastri s umelou inteligenciou po samotných grafických procesoroch.

Tento článok je topologickou vrstvou medzi N02 (ktorý protokol – InfiniBand, RoCE, plain Ethernet) a N06 – N08 (ako sa kábel v skutočnosti správa po zapojení topológie). Zahŕňa štyri rodiny, ktoré budú dôležité v roku 2026: fat-tree / Clos / leaf-spine , dragonfly / dragonfly+ , tesseract / hypercube a rodinu torus , ktorá prežila v dvoch špecifických kútoch HPC. Končí úprimným konštatovaním: zhruba deväť z desiatich zákazníkov Kentina nič z toho nepotrebuje a článok existuje už pre desiaty.

Cieľová skupina: ľudia, ktorí určujú veľkosť trénovacieho klastra s 8 až 64 uzlami a siete okolo neho. Nie konfiguračná kuchárska kniha Cisco/NVIDIA – mentálny model, ktorý robí kuchársku knihu čitateľnou.

Tri rôzne veci, ktoré ľudia nazývajú „šírka pásma“

Predtým, ako nakreslíme rámčeky a šípky, slovná zásoba. V literatúre o klastrovom predaji sa zamieňajú tri pojmy a nejde o to isté číslo:

32-portový 400 GbE prepínač má celkovú šírku pásma 12.8 Tb/s. Ak naň pridáte 16 uzlov s rýchlosťou 400 GbE každý, získate šírku pásma bisekcie 3.2 Tb/s (8 uzlov × 400 Gb/s na každej strane rezu). Pre krok all-reduce, kde každá zo 16 GPU posiela polovicu svojho gradientu cez bisekciu, je týchto 3.2 Tb/s vydelené časom kroku – nie 12.8.

Skratka: šírka pásma bisekcie je jediné z týchto troch čísel, ktoré predpovedá čas tréningového kroku pri pracovnej záťaži s viazaním na všetky časti. Keď brožúra dodávateľa uvádza agregát, v duchu si vezmite najhorší prípad delenia a podľa toho ho vydeľte, aby ste sa vrátili k bisekcii.

Pre 16-uzlový klaster s 8 GPU v každom (spolu 128 GPU) na uzloch s jednou sieťovou kartou 100 GbE:

Rovnaký počet uzlov, rovnaká rýchlosť kábla, rôzne čísla v závislosti od toho, čo máte na mysli. Toto je rámcovanie používané vo zvyšku článku.

Tučný strom, Clos, listová chrbtica - to isté v troch prízvukoch

Charles Clos v roku 1953 dokázal, že viacstupňová sieť malých priečnych prepínačov môže byť neblokujúca – akýkoľvek vstup môže dosiahnuť akýkoľvek výstup bez konfliktu – za zlomok ceny jednej obrovskej priečky. Každá moderná sieť dátových centier je nejakým variantom tejto myšlienky. Pomenovanie sa stalo zamotaným:

• A Sieť Clos je matematická štruktúra: vstupná, stredná a výstupná fáza menších prepínačov.
• A tučný strom (Charles Leiserson, 1985) je Closov variant, kde kmene bližšie ku koreňu postupne narastajú, takže šírka pásma bisekcie sa mení s N.
• A zložené Close zabalí výstupnú fázu späť do vstupnej fázy. A listová chrbtica je dvojvrstvový skladaný Clos. Trojvrstvový skladaný Clos s listom, tŕňom a supertŕňom je to, čo väčšina ľudí v praxi nazýva tučný strom.

Dvojvrstvová listová chrbtica: každý list sa pripája ku každej chrbtici. Ľubovoľné dva uzly komunikujú presne v dvoch skokoch. Úplné rozpolenie = žiadne nadmerné predplatné na chrbticovej vrstve.

Každý list sa pripája ku každej chrbtici. Prevádzka typu any-to-any je maximálne list → chrbtica → list, dva skoky. S dostatočnou šírkou pásma chrbtice je štruktúra neblokujúca: každý uzol môže súčasne komunikovať s každým ostatným uzlom rýchlosťou linky.

Pomer prekročenia požiadaviek je faktor, ktorý rozhoduje o nákladoch. Ak má každý list 32 downlikov s rýchlosťou 100 GbE (3.2 Tb/s do racku) a 8 uplikov s rýchlosťou 100 GbE (800 Gb/s von z racku), prekročenie požiadaviek je 4:1 – štyrikrát väčšia šírka pásma do racku ako von z neho. Úplné rozdvojenie znamená 1:1: rovnaký počet uplikov ako downlikov. 2:1 je bežný pomer v dátových centrách na všeobecné použitie. 1:1 (úplné rozdvojenie) je základná hodnota klastrov AI.

Cena sa pri prechode zo 4:1 na 1:1 zhruba zdvojnásobí, pretože kupujete dvakrát toľko chrbticových portov a dvakrát toľko optiky. Dôvod, prečo každý seriózny klaster umelej inteligencie platí túto prémiu: nadmerné predplatné ničí priepustnosť allreduce. Synchronizovaný 8-tokový allreduce na preplnenej štruktúre 4:1 nebeží štvrtinovou rýchlosťou – kolabuje pod protitlakom PFC ( N07 ) a v praxi môže stratiť 60 – 80 % teoretickej priepustnosti. Matematika hovorí „deliť 4“. Realita hovorí „deliť 5 – 10“.

Referenčná architektúra DGX SuperPOD od spoločnosti NVIDIA špecifikuje trojvrstvový „fat-tree“ s plným rozdvojením na Quantum-2 NDR InfiniBand s rýchlosťou 400 Gb/s na port. Tréningové klastre RoCE publikované spoločnosťou Meta a séria Azure ND od spoločnosti Microsoft budujú rovnaký tvar na ethernete Spectrum-X. Odvetvie sa preorientovalo na „fat-tree“ s plným rozdvojením pre trénovanie umelej inteligencie a vývoj v rokoch 2024 – 2026 rozširuje „fat-tree“ (400 GbE → 800 GbE na port) alebo ho optimalizuje pre koľajnice (ďalšia časť) bez zmeny základnej topológie.

Fat-tree optimalizovaný pre koľajnice – dialekt špecifický pre umelú inteligenciu

Štandardný fat-tree zaobchádza s každou sieťovou kartou rovnako. Trénovanie umelej inteligencie sa stará o to, ktorá sieťová karta GPU odosiela ktorý gradient, pretože vzorce prenosu allreduce nie sú jednotné. Variant optimalizovaný pre koľajnicu priraďuje každú GPU v uzle ku konkrétnej „koľajnici“ – vyhradenej ceste leaf-spine – a zabezpečuje, že i-tá GPU na každom uzle komunikuje iba s i-tou GPU na každom ďalšom uzle prostredníctvom i-tej koľajnice.

Fat-tree optimalizovaný pre Rail: každý slot GPU sa mapuje na vyhradenú nezávislú rovinu chrbtice. Kruh Allreduce na GPU 3 používa iba Rail 3.

Osem nezávislých dvojvrstvových fat-stromov, jeden na slot GPU. Kruh Allreduce na GPU 3 cez 16 uzlov používa iba Rail 3, nikdy neprechádza do iných Rail. Výhody: nulové kolízie ECMP medzi Rail, jednoduchšie smerovanie, nižší radix prepínača na rovinu. Kompromis: úloha, ktorá sa rozprestiera cez sloty GPU (tenzorovo paralelne vo vnútri uzla, dátovo paralelne medzi uzlami), sa aj tak rozdelí cez Rail pomocou NCCL, takže topológia pomáha iba vtedy, ak sa pracovná záťaž zosúladí. Pre dátovo paralelný a Rail-Aware NCCL je to jasná výhra; pre tenzorovo paralelný spanning Rail sa úspora vyparí.

Vážka a Vážka+ – keď si nemôžete dovoliť tučný strom

Náklady na hrubý strom rastú približne ako N log N – každé zdvojnásobenie počtu uzlov si vyžaduje väčšiu šírku pásma chrbtice a tretia vrstva zdvojnásobuje počet prepínačov na koncový bod. Pre 1024 uzlov je možné zostaviť neblokujúci trojvrstvový hrubý strom. Pre 10 000 uzlov je počet prepínačov a náklady na optiku zahlcujúce. Dragonfly, ktorý navrhli John Kim, William Dally a kol. v roku 2008, bol navrhnutý špeciálne na škálovanie za túto hranicu.

Myšlienka: zoskupiť uzly do skupín . V rámci skupiny sú všetky prepínače husto prepojené (často menšie skupiny Close). Medzi skupinami má každá skupina jedno priame prepojenie s každou inou skupinou. Výsledkom je sieť s priemerom 3 (skupinovo-lokálny skok, medziskupinový skok, skupinovo-lokálny skok), ktorá sa škáluje na enormný počet uzlov s oveľa menším počtom diaľkových káblov ako fat-tree.

Vážka: husté vnútroskupinové uzly Clos, jedno globálne prepojenie na pár skupiny. Priemer 3. Škálovateľné na viac ako 1000 uzlov s menším počtom diaľkových káblov ako fat-tree.

Veľkou úsporou je optická kabeláž . Diaľková optika medzi rackmi je najdrahšou časťou fat-tree. Dragonfly ju nahrádza jedným fat linkom na pár skupín, nie jedným na kombináciu listov a chrbtice. Pre klaster s G skupinami po S uzloch potrebuje fat-tree približne G × S × log(G × S) káblov; dragonfly potrebuje G(G − 1)/2 medziskupinových káblov plus štruktúru na skupinu. Pri G = 32 skupinách po 32 uzloch (celkom 1024) sa počet diaľkových káblov zníži približne o rád.

Dragonfly+ (Mellanox, 2017) to vylepšuje pre InfiniBand. Vnútroskupinová štruktúra sa stáva malým dvojdielnym Close-om, takže rozširovanie skupiny nevyžaduje prepojovanie a medziskupinové prepojenia využívajú adaptívne smerovanie, aby sa vyhli preťaženým skupinám. Toto je topológia vo Frontier (ORNL, exascale AMD MI250X) a El Capitan (LLNL, MI300A) – oba sú zapojené s prepínačmi HPE Slingshot-11 v usporiadaní dragonfly, maximálny priemer troch skokov, 12.8 Tb/s na prepínač.

Háčik spočíva v režime zlyhania malých úloh, ktoré prekračujú hranice skupín . V hrubom strome vidia dva uzly na opačných koncoch klastra rovnakú šírku pásma bisekcie ako dva uzly vzdialené jeden rack (modulo hop count). V vážke dva uzly v rôznych skupinách zdieľajú svoje medziskupinové prepojenie s každým ostatným tokom medzi skupinami. Ak vaša tréningová úloha so 16 GPU pristane na 8 uzloch v skupine A a 8 v skupine B, zdieľate jedno medziskupinové prepojenie so všetkými ostatnými, ktorí sa nachádzajú v rovnakej dvojici. Adaptívne smerovanie pomáha; neodstraňuje súperenie.

Praktické dôsledky: dragonfly funguje skvele pri problémoch s hyperškálovaním (1000+ uzlov, úlohy dimenzované na zaplnenie skupín) a nie tak dobre pre stredné klastre s rôznymi malými úlohami. Je to nesprávna topológia pre 16-uzlový trénovací klaster – fat-tree je v tomto meradle lacnejší a rýchlejší. Je to správna topológia pre 1024-uzlový superpočítač so zmiešanou záťažou.

Tesseract — 4D hyperkocka

Tesseract je 4D hyperkocka: 16 vrcholov, každý spojený presne so 4 susedmi, s priemerom 4 (najdlhšia najkratšia cesta medzi ľubovoľnými dvoma uzlami). Zovšeobecnením na k dimenzií získate k-kocku : 2 ^k uzlov, každý s k priamymi prepojeniami, s priemerom k. Smerovanie Hammingovej vzdialenosti – XOR zdrojové a cieľové adresy, prepínanie bitov po bitoch – je triviálne deterministické a vyvážené podľa záťaže pri náhodnej prevádzke.

Tesseract (4D hyperkocka): 16 uzlov, každý so 4 susedmi. Plné čiary = hrany 3D kocky; prerušované čiary = spoje 4. rozmeru. Priemer 4. Každé označenie uzla je 4-bitová adresa; susedia sa líšia presne o jeden bit.

Topológie hyperkociek dominovali masívne paralelným výpočtom v 80. rokoch 20. storočia. Connection Machine CM-2 (Thinking Machines, 1987) mal 65 536 uzlov zapojených ako 12-rozmerná hyperkocka. Intel iPSC/2 prevádzkoval 7D hyperkocky. CM-5 (Thinking Machines, 1991) opustil hyperkocky v prospech fat-tree, pretože prístup s hyperkockou sa neškáloval elegantne nad približne 1024 uzlov – každý nový rozmer zdvojnásobuje počet uzlov a vyžaduje si opätovné zapojenie každého existujúceho uzla.

V roku 2026 sa termín „tesserakt“ stále objavuje na troch miestach, ktoré stoja za rozlišovanie:

1. Ako názov výskumného/HPC systému DiRAC. DiRAC Tesseract v EPCC (Edinburgh) je klaster HPE SGI 8600 so 1476 uzlami na platforme Intel Omni-Path. „Tesseract“ je branding; štruktúra je bližšie k fat-tree.
2. Ako výskumný termín „riadiacej roviny SDN“ (Tesseract: 4D riadiaca rovina, Yan a kol.). Nesúvisí s fyzikálnou topológiou.
3. Ako základná topológia kompaktných bezprepínačových urýchľovacích klastrov. 16-uzlový klaster zapojený ako doslovná 4D hyperkocka má zaujímavé vlastnosti: každý uzol má presne 4 sieťové karty, žiadny centrálny prepínač, deterministické smerovanie, priemer 4. Túto tému si podrobne rozoberieme v N05 (topológie bez prepínačov).

Čo ponúka tesseract v roku 2026: žiadna daň za prepínanie, deterministické smerovanie cez Hammingovu vzdialenosť XOR a nízky priemer (log₂(N)). Čo ho sťažuje: fixné N (musí byť mocninou 2), zložitosť kabeláže rastie s dimenziou, počet sieťových kariet na uzol sa rovná k a moderné kolektívy umelej inteligencie (NCCL kruh/strom) natívne nevyužívajú štruktúru hyperkocky.

Torus — preživší v dvoch špecifických rohoch

k-árna n-kocka zovšeobecňuje hyperkocku: namiesto binárnej adresy s jedným prepojením na dimenziu sa používa mriežka k x k x k s obtáčaním. 3D torus má každý uzol pripojený k 6 susedom (±x, ±y, ±z). 6D torus má 12 susedov.

IBM Blue Gene/L a /P bežali na 3D toruse, škálovateľnom na stovky tisíc uzlov, pričom každý uzol mal iba 6 vysokorýchlostných liniek. Fujitsu Tofu (prepojenie počítača K, 2011) to zovšeobecnil na 6D sieť/torus – 158 976 uzlov na Fugaku (aktívne do roku 2026), usporiadaných 24×23×24×2×3×2.

Cerebras Wafer-Scale Engine používa 2D torus na doštičke: každý procesný prvok má 4 susedov, ktorí sa ovíjajú, ~1 ns na skok. To funguje, pretože vodiče na doštičke sú takmer voľné; káble mimo doštičky by neboli.

Prečo torus prehral všade inde: asymetrické cesty a zlé správanie pri nerovnomerných úlohách AI. Moderné úlohy AI (prstenc/strom NCCL, hierarchické algoritmy NVIDIA) predpokladajú rovnomernú šírku pásma od ľubovoľného ku ľubovoľnému. Torus to porušuje. V roku 2026 torus prežíva na troch miestach : prepojenie na doštičke od Cerebras, Fujitsu Fugaku a jeho nástupcovia a vo vnútri uzlov SXM prostredníctvom NVSwitch. Mimo týchto oblastí je každý nový klaster AI v rokoch 2025 – 2026 uzavretý.

Porovnávacia tabuľka

Klaster uplink – ako sa topológia stretáva s vonkajším svetom

Prepínaná štruktúra (fabric) je ostrov. Musí sa pripojiť k podnikovej sieti (registre modelov, úložisko dátových súborov, S3, telemetria), k vývojárskym pracovným staniciam (SSH, Jupyter, kopírovanie kontrolných bodov) a k iným klastrom (tréning → inferencia handoff). Toto pripojenie je klastrový uplink.

Dva modely s veľmi odlišnými dôsledkami:

Jeden bod uplinku. Dvojica chrbticových prepínačov (alebo vyhradený uplink router) ukončuje všetku externú konektivitu. Jednoduché nastavenie firewallu, jednoduché obmedzenie rýchlosti, jednoduché monitorovanie. Režim zlyhania: dané spojenie je jediným bodom zlyhania; jeho saturácia (kopírovanie veľkého kontrolného bodu, stiahnutie 10 GB dátového súboru) ovplyvňuje každý uzol súčasne.

Distribuovaný uplink. Každý list má samostatný uplink do kampusovej siete, často pomalší 25 GbE nad 100 GbE fabric. Sťahovanie dátových sád a externá prevádzka zostávajú lokálne pre list – žiadne preťaženie vnútornej fabric. Režim zlyhania: každý list predstavuje bezpečnostnú hranicu, firewall je N-krát ťažší, monitorovanie je náročnejšie.

Pre základný prípad Kentino (tréningový klaster so 4–16 uzlami) je správnou odpoveďou jeden bod uplinku. Interná infraštruktúra je iba RDMA (RoCE alebo InfiniBand), vyladená pre nízku latenciu a bezstratové správanie. Uplink je čistý Ethernet, TCP, normálna QoS. Neumiestňujte úložisko objektov datasetu na rovnakú bezstratovú infraštruktúru ako GPU allreduce – chybne fungujúci klient S3 by nemal byť schopný spustiť spätný tlak PFC na trénovaciu prevádzku. Dve infraštruktúry: dátová rovina (bezstratový RDMA) a riadiaca/uplinková rovina (stratový TCP). N08 pokrýva praktické nastavenie.

Kentinov úprimný pohľad

Väčšina zákazníkov Kentina si kupuje 1 až 4 uzly. V tomto rozsahu:

• 1 uzol. Žiadna otázka topológie. PCIe vo vnútri krabice (K07), jedna 25 GbE riadiaca sieťová karta vonku, hotovo.
• 2 uzly. Priamy kábel medzi dvoma sieťovými kartami RDMA. Žiadny prepínač. Žiadna topológia na výber.
• 3–4 uzly. Jeden 32-portový 100 GbE prepínač zvláda komunikáciu typu „every-to-ever“ s plnou bisekciou za celkovo 30 000 – 50 000 USD. Stále si nie je možné vybrať topológiu.

Topologická konverzácia začína na 8 uzloch , keď sa počet portov jedného prepínača stáva tesným, a stáva sa povinnou na 16 uzloch . Pod týmto počtom je správna odpoveď „jeden dobrý prepínač, plné rozdvojenie na každom porte, nech sa páči“. Nad týmto počtom je správna odpoveď „dvojvrstvová listová chrbtica, 100 alebo 200 GbE na uzol, plné rozdvojenie (1:1) a nikdy sa nedotýkajte tlačidla presahujúceho predplatné, pokiaľ vás k tomu niekto nedonúti“.

Dragonfly+ je správnou odpoveďou pri problémoch s hyperškálovaním. Tesseract / hypercube je zaujímavý ako neprepínacia možnosť pre kompaktné klastre ( N05 ). Torus je voľbou uzamknutou dodávateľom pre operátorov HPC s topologicky orientovanými úlohami. Pre všetkých ostatných v cenovom pásme Kentina je predvolený fat-tree. Úplná bisekcia, ak si ju môžete dovoliť; 2:1, ak si ju nemôžete dovoliť; nikdy 4:1 pre trénovanie AI.

---

Toto je súčasť Kentino Wiki, referenčnej série o umelej inteligencii, robotike a systémoch, ktoré ich spájajú. Pripomienky a opravy sú vítané na adrese info@kentino.com.