5-minutové čtení
Tisková zpráva
Bratislava, 22. augusta, 2023 – Spoločnosť Tachyum® dnes oznámila vydanie vedeckého článku, v ktorom popisuje, ako prvý univerzálny procesor Prodigy® zmení kvalitu, efektívnosť a ekonomiku generatívnej umelej inteligencie (GenAI).
Materiál s názvom “Unprecedented Scale and Efficiency in Generative AI with FP8 8:3 Super-Sparsity” ponúka technické informácie ako môže Prodigy efektívnejšie splniť požiadavky na výpočty a škálovanie generatívnej AI. GenAI trénuje na obrovských dátových súboroch, aby vytvorila originálne výsledky, a nie identifikáciu alebo analýzu už známych dát. Čím väčšie sú trénovacie datasety, tým lepší a presnejší je výstup generatívnej AI. ChatGPT 3.5, typický príklad modelu generatívnej AI, má 175 miliárd trénovateľných parametrov, a ChatGPT 4.0 zvyšuje toto číslo desaťnásobne na 1.76 biliónov parametrov, pričom v blízkej budúcnosti je možný ďalší desaťnásobný nárast.
Jazykové modely ako ChatGPT, vizuálne modely a iné nástroje generatívnej AI sa vďaka úspešnému škálovaniu výrazne zlepšili, výsledkom čoho sú impozantné schopnosti tzv. few-shot techniky (ukazuje modelu niekoľko príkladov, shotov, toho, čo používateľ chce, aby model urobil), ktoré sa približujú schopnostiam ľudskej bytosti. Rastúci počet parametrov si vyžaduje zodpovedajúci nárast výpočtovej sily na trénovanie systémov umelej inteligencie: vysokú kapacitu pamäte, vysoký výkon spracovania a veľkú šírku pásma pamäte pre optimalizáciu efektívnosti veľkých a hustých modelov. Dnes sa rozsah najväčších AI výpočtov zdvojnásobuje každých šesť mesiacov, čo 7-násobne prekračuje Moorov zákon. Očakáva sa, že posun z generatívnej na kognitívnu AI bude vyžadovať 100 až 1000-násobne väčšiu kapacitu.
Riešením pre spotrebu pamäte a energie je kvantizácia, ktorá znižuje presnosť parametrov ako prostriedok na kompresiu hlbokých neurónových sietí. Podobne prerezávanie odstraňuje nadbytočné/ necitlivé parametre na zníženie hustoty. Zatiaľ čo hustota je často potrebná na úspešné natrénovanie modelu, po natrénovaní možno veľa parametrov odstrániť bez vplyvu na zníženie kvality.
V zverejnenom dokumente spoločnosť Tachyum ukazuje, ako čip Prodigy prekonáva hardvérovú neefektívnosť, ktorá spôsobuje, že generatívna AI je cenovo nedostupná a nadmerne spotrebováva energiu. Prodigy umožňuje kvantizáciu s použitím 8-bitových reprezentácií s pohyblivou rádovou čiarkou (FP8) s prerezávaním blokov 8:3. Tým zlepšuje výkon, znižuje spotrebu energie, zlepšuje šírku pásma pamäte, čo umožňuje spracovávať obrovské veľkosti modelov. Odporúčania firmy Tachyum výrazne zvyšujú rýchlosť tréningu a znižujú pamäťovú stopu modelu po tréningu. Technológia super-sparsity FP8 8:3 výrazne znižuje veľkosti modelov, čo je dôležité pre jazykové modely, ako aj spotrebu energie a veľkosť plochy, čo je významné pre Edge a IoT aplikácie.
“GenAI je skutočne transformačná technológia, avšak jej hodnotu nemožno vyťažiť ani široko prijať bez vyriešenia hardvérových problémov spojených s prevádzkou takýchto veľkých modelov,“ povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. „Keďže náš čip Prodigy je pripravený stať sa bežným nákladovo efektívnym vysokovýkonným procesorom v roku 2024, tieto kompresné prístupy spolu s hardvérovou podporou umožnia aj malým a stredným podnikom i používateľom z akademickej oblasti pracovať s veľkými hustými modelmi hlbokého učenia.“
Pretože čip Prodigy ponúka väčšiu pamäť v porovnaní so súčasne dostupnými procesormi pre AI – 2TB (terabajty) využitím úspornej pamäte DRAM a 32TB na socket, so 4-socketovou Prodigy platformou podporujúcou nízkonákladovú 8TB a až 128TB TSV DDR5 DRAM– jeden čip Prodigy môže nahradiť viac ako 10 konkurenčných jednotiek. Poskytuje tak bezprecedentný výkon, škálovateľnosť a efektívnosť.
Modely FP8 8:3 musia byť trénované na čipoch Tachyum, aby sa dosiahla správna výpočtová efektivita. IP (Intellectual Property) pre FP8 8:3 inferenciu a generatívnu AI je dostupná pre partnerov a zákazníkov. Licencia zahŕňa všetok potrebný softvér, ktorý je nezávislý od procesu.
S univerzálnym procesorom Prodigy, ktorý ponúka využiteľnosť pre všetky pracovné zaťaženia, môžu servery dátových centier plynule a dynamicky prepínať medzi výpočtovými doménami. Odstránením potreby drahého špecializovaného hardvéru pre AI a výrazným zvýšením využitia serverov, Prodigy signifikantne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 192 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až 4,5-násobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže, a v porovnaní s najvýkonnejším GPU až trojnásobný výkon pre HPC a šesťnásobný výkon pre AI aplikácie.
“Unprecedented Scale and Efficiency in Generative AI with FP8 8:3 Super-Sparsity” si možno stiahnuť na stránke spoločnosti.
https://www.linkedin.com/company/tachyum
https://www.facebook.com/Tachyum/
Spoločnosť Tachyum so svojím vlajkovým produktom Prodigy, prvým univerzálnym procesorom na svete, transformuje ekonomiku pracovných záťaží v oblasti umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier. Prodigy spája funkcie CPU, GPGPU a TPU do jediného procesora, ktorý poskytuje špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Nasadenie čipov Prodigy v hyperškálových dátových centrách umožní, aby všetky AI, HPC aj univerzálne aplikácie bežali na tej istej infraštruktúre, čím spoločnosti ušetria miliardy dolárov na hardvéri a prevádzkových nákladoch a znížia uhlíkovú stopu. Keďže emisie svetových dátových centier prispievajú k zmene klímy a spotrebúvajú viac ako štyri percentá elektrickej energie na svete– pričom podľa prognóz to do roku 2030 bude až 10 percent - univerzálny procesor Prodigy s veľmi nízkou spotrebou energie môže byť prelomovou technológiou pre uspokojenie globálneho dopytu po výpočtovom výkone pri nižšej environmentálnej záťaži. Rýchlo rastúci záujem o prototyp Prodigy, ktorý je v záverečnej fáze testovania a integrácie pred sériovou výrobou, sa už premieta do výrazného rastu zákazníckej základne a veľkých objednávok. Tie naznačujú, že spoločnosť by do konca roka 2024 mohla uskutočniť počiatočnú verejnú ponuku akcií (IPO). Spoločnosť Tachyum má pobočky v Spojených štátoch a na Slovensku. Pre viac informácií navštívte https://www.tachyum.com/.