Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré možno spustiť na rôznych konfiguráciách VRAM, spolu s príkladmi známych modelov. Upozorňujeme, že ide o odhady a môžu sa líšiť v závislosti od konkrétnych implementácií, architektúr a optimalizácií.
VRAM (GB) | FP32 | FP16/BF16 | INT8 | INT4 | INT2 | Príklady modelov |
---|---|---|---|---|---|---|
16 | 3-4B | 6-8B | 12-16B | 24-32B | 48-64B | GPT-2 (1.5B), BERT-Large (340M) |
24 | 5-6B | 10-12B | 20-24B | 40-48B | 80-96B | GPT-J (6B), BLOOM-7B1 |
48 | 10-12B | 20-24B | 40-48B | 80-96B | 160-192B | T5-11B, BLOOM-7B1 (FP32) |
80 | 18-20B | 36-40B | 72-80B | 144-160B | 288-320B | GPT-NeoX-20B, BLOOM-176B2 |
96 | 22-24B | 44-48B | 88-96B | 176-192B | 352-384B | BLOOM-176B2, Jurassic-1 Jumbo (178B)2 |
128 | 30-32B | 60-64B | 120-128B | 240-256B | 480-512B | GPT-3 175B2, PaLM 540B2 |
160 | 38-40B | 76-80B | 152-160B | 304-320B | 608-640B | PaLM 540B2, Megatron-Turing NLG 530B2 |
192 | 46-48B | 92-96B | 184-192B | 368-384B | 736-768B | BLOOM-176B (FP16) |
256 | 62-64B | 124-128B | 248-256B | 496-512B | 992-1024B | GPT-3 175B (INT8), LLaMA 2 70B (FP32) |
320 | 78-80B | 156-160B | 312-320B | 624-640B | 1248-1280B | Činčila 70B (FP32) |
384 | 94-96B | 188-192B | 376-384B | 752-768B | 1504-1536B | PaLM 540B (INT8) |
512 | 126-128B | 252-256B | 504-512B | 1008-1024B | 2016-2048B | GPT-3 175B (FP16), BLOOM-176B (FP32) |
Poznámky:
- Môže bežať s plnou presnosťou (FP32)
- Vyžaduje kvantizáciu alebo iné optimalizačné techniky
Ďalšie úvahy:
- Tieto odhady predpokladajú, že pre model je k dispozícii celá VRAM, čo v praxi často neplatí kvôli pamäti používanej rámcom, operačným systémom a inými procesmi.
- Paralelnosť modelov a ďalšie pokročilé techniky umožňujú spúšťanie ešte väčších modelov ich distribúciou na viacero GPU.
- Inferencia zvyčajne vyžaduje menej pamäte ako tréning, takže väčšie modely možno často spustiť na odvodenie na menších konfiguráciách VRAM.
- Presné veľkosti sa môžu líšiť v závislosti od architektúry modelu, detailov implementácie a špecifických použitých optimalizácií.
Kľúčové jedálne:
- 16-24 GB VRAM: Vhodné pre väčšinu spotrebiteľských úloh AI a menšie výskumné modely.
- 48 – 96 GB VRAM: Umožňuje prácu so strednými až veľkými modelmi, ktoré sa často používajú v profesionálnych a výskumných prostrediach.
- 128 – 256 GB VRAM: Umožňuje prevádzkovať niektoré z najväčších verejne dostupných modelov s rôznymi optimalizáciami.
- 320 – 512 GB VRAM: Poskytuje kapacitu pre najväčšie súčasné modely a budúci vývoj, často dosiahnutý prostredníctvom nastavení s viacerými GPU.
Táto tabuľka ukazuje významný vplyv kvantizácie a iných optimalizačných techník na umožnenie prevádzky väčších modelov na obmedzenej VRAM. Keďže AI napreduje, môžeme očakávať ďalšie inovácie v oblasti kompresie modelov a pamäťovo efektívnych architektúr, ktoré posunú tieto hranice ešte ďalej.
A vydržte ... Transformátormi to nekončí...