hyperrealistický záber kremíkovej matrice s pridanou hĺbkou a žiarivým fialovým odtieňom

Požiadavky VRAM modelu AI v rôznych konfiguráciách GPU

Požiadavky VRAM modelu AI v rôznych konfiguráciách GPU

Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré možno spustiť na rôznych konfiguráciách VRAM, spolu s príkladmi známych modelov. Upozorňujeme, že ide o odhady a môžu sa líšiť v závislosti od konkrétnych implementácií, architektúr a optimalizácií.

VRAM (GB) FP32 FP16/BF16 INT8 INT4 INT2 Príklady modelov
16 3-4B 6-8B 12-16B 24-32B 48-64B GPT-2 (1.5B), BERT-Large (340M)
24 5-6B 10-12B 20-24B 40-48B 80-96B GPT-J (6B), BLOOM-7B1
48 10-12B 20-24B 40-48B 80-96B 160-192B T5-11B, BLOOM-7B1 (FP32)
80 18-20B 36-40B 72-80B 144-160B 288-320B GPT-NeoX-20B, BLOOM-176B2
96 22-24B 44-48B 88-96B 176-192B 352-384B BLOOM-176B2, Jurassic-1 Jumbo (178B)2
128 30-32B 60-64B 120-128B 240-256B 480-512B GPT-3 175B2, PaLM 540B2
160 38-40B 76-80B 152-160B 304-320B 608-640B PaLM 540B2, Megatron-Turing NLG 530B2
192 46-48B 92-96B 184-192B 368-384B 736-768B BLOOM-176B (FP16)
256 62-64B 124-128B 248-256B 496-512B 992-1024B GPT-3 175B (INT8), LLaMA 2 70B (FP32)
320 78-80B 156-160B 312-320B 624-640B 1248-1280B Činčila 70B (FP32)
384 94-96B 188-192B 376-384B 752-768B 1504-1536B PaLM 540B (INT8)
512 126-128B 252-256B 504-512B 1008-1024B 2016-2048B GPT-3 175B (FP16), BLOOM-176B (FP32)

Poznámky:

  1. Môže bežať s plnou presnosťou (FP32)
  2. Vyžaduje kvantizáciu alebo iné optimalizačné techniky

Ďalšie úvahy:

  • Tieto odhady predpokladajú, že pre model je k dispozícii celá VRAM, čo v praxi často neplatí kvôli pamäti používanej rámcom, operačným systémom a inými procesmi.
  • Paralelnosť modelov a ďalšie pokročilé techniky umožňujú spúšťanie ešte väčších modelov ich distribúciou na viacero GPU.
  • Inferencia zvyčajne vyžaduje menej pamäte ako tréning, takže väčšie modely možno často spustiť na odvodenie na menších konfiguráciách VRAM.
  • Presné veľkosti sa môžu líšiť v závislosti od architektúry modelu, detailov implementácie a špecifických použitých optimalizácií.

Kľúčové jedálne:

  1. 16-24 GB VRAM: Vhodné pre väčšinu spotrebiteľských úloh AI a menšie výskumné modely.
  2. 48 – 96 GB VRAM: Umožňuje prácu so strednými až veľkými modelmi, ktoré sa často používajú v profesionálnych a výskumných prostrediach.
  3. 128 – 256 GB VRAM: Umožňuje prevádzkovať niektoré z najväčších verejne dostupných modelov s rôznymi optimalizáciami.
  4. 320 – 512 GB VRAM: Poskytuje kapacitu pre najväčšie súčasné modely a budúci vývoj, často dosiahnutý prostredníctvom nastavení s viacerými GPU.

Táto tabuľka ukazuje významný vplyv kvantizácie a iných optimalizačných techník na umožnenie prevádzky väčších modelov na obmedzenej VRAM. Keďže AI napreduje, môžeme očakávať ďalšie inovácie v oblasti kompresie modelov a pamäťovo efektívnych architektúr, ktoré posunú tieto hranice ešte ďalej.

A vydržte ... Transformátormi to nekončí...

Späť na blog