AI kútik

TurboQuant: Čítanie kompresného bloku vyrovnávacej pamäte KV...

Čas čítania: 10 min | Ako 3-bitová kompresia od spoločnosti Google zlacňuje dlhokontextové LLM a čo nám to hovorí o nasledujúcich 18 mesiacoch inferencie umelej inteligencie. Existuje tiché...

Požiadavky AI modelu VRAM naprieč rôznymi GPU...

Požiadavky AI modelu VRAM v rôznych konfiguráciách GPU Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré možno spustiť na rôznych konfiguráciách VRAM, spolu s...