4-minútové čítanie
Tlačová správa
Bratislava, 17. mája, 2023 – Spoločnosť Tachyum™ zverejnila druhé vydanie bielej knihy “Tachyum Prodigy on the Leading Edge of AI Industry Trends” s aktualizáciami, ako je implementácia vylepšených techník kvantizovaných modelov (Quantization Aware Training) pomocou 8-bitových reprezentácií s pohyblivou rádovou čiarkou (FP8) s adaptívnym škálovaním, ktoré dosahujú presnosť 32-bitových reprezentácií s pohyblivou rádovou čiarkou (FP32).
V bielej knihe spoločnosť Tachyum objasňuje optimálnosť FP8 formátu pre kvantizáciu hlbokých neurónových sietí vrátane váh, aktivácií a gradientov, pričom využíva skutočnosť, že čísla s pohyblivou rádovou čiarkou poskytujú lepšie pokrytie ako 8-bitový celočíselný dátový typ. Výsledky ukazujú, že FP8 kvantizované siete si dokážu udržať presnosť na rovnakej úrovni, alebo dokonca vyššiu, ako základné modely FP32.
Formát FP8 je nevyhnutný na to, aby ste mohli “urobiť viac za menej”. Dosahuje oveľa vyšší výkon pri oveľa nižšej spotrebe energie a plochy čipu než staršia technológia, ako je BFLOAT16 (Brain Floating Point). FP8 nielen znižuje náklady na výpočty, ale aj požiadavky na pamäť pre veľké a rýchlo rastúce modely umelej inteligencie. Biela kniha uvádza analýzy a chyby kvantizácie pre rôzne modely a dátové súbory, ako aj to, ako firma Tachyum zvyšuje úžitok formátu FP8 v zmysle dvojnásobného výkonu, energetickej efektívnosti a redukcie šírky pásma.
Vizuálne modely, veľké jazykové modely a generatívne modely AI sa čoraz viac začleňujú do množstva softvérových aplikácií, vďaka čomu je umelá inteligencia nevyhnutnou súčasťou spracovania dát a vyžaduje užšiu integráciu do softvéru s nižšou latenciou. S formátmi FP8 schopnými vykonávať bežné funkcie AI je spoločnosť Tachyum pripravená pomôcť urýchliť prudký vývoj hardvérovej technológie pre AI. To povedie k zjednoteniu špecializovaných hardvérových modulov pre HPC a AI do jedného procesora namiesto integrácie rôznych čipov do jedného balíka, čo je nákladnejšie a menej vyhovujúce riešenie.
“Naše experimentálne výsledky ukazujú, že formát FP8 umožňuje rýchlejší tréning a nižšiu spotrebu energie bez akéhokoľvek zníženia presnosti pre celý rad modelov hlbokého učenia,” povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. “Toto je jeden z najdôležitejších AI míľnikov, ktoré sme chceli dosiahnuť pred odoslaním čipu do výroby, aby sme sa uistili, že máme to, čo je potrebné na to, aby sa formát FP8 so sparsity a super-sparsity stal mainstreamovou AI technológiou.”
Po dosiahnutí štádia dokončenia infraštruktúry okolo FP8 s cieľom dosiahnuť takmer tú istú presnosť ako FP32 pre tréning a inferenciu, Tachyum presúva svoju inžiniersku pozornosť na ešte neoznámenú Tachyum AI (TAI) infraštruktúru, ktorá predstavuje ďalšiu úroveň AI and rámec FP8. Formát TAI je súčasťou aktuálneho Tachyum hardvéru a bude predstavený neskôr v tomto roku spolu s výsledkami získanými zo súčasných bežných AI aplikácií.
Prodigy prináša novú revolučnú architektúru, ktorá zjednocuje funkcie CPU, GPGPU a TPU do jediného procesora. Ako univerzálny procesor poskytuje v rámci jednej architektúry vysoký výkon potrebný pre cloudové aj HPC/AI pracovné záťaže. Vďaka využiteľnosti pre všetky pracovné zaťaženia môžu servery dátových centier poháňané Prodigy plynule a dynamicky prepínať medzi výpočtovými doménami.
Odstránením potreby drahého špecializovaného hardvéru pre AI a výrazným zvýšením využitia serverov Prodigy výrazne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 128 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až štvornásobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže, a v porovnaní s najvýkonnejším GPU až trojnásobný výkon pre HPC a šesťnásobný výkon pre AI aplikácie.
Záujemci, ktorí sa chcú dozvedieť viac o schopnostiach čipu Prodigy v oblasti umelej inteligencie vrátane výsledkov implementácie FP8, si môžu stiahnuť najnovšiu bielu knihu spoločnosti Tachyum.
https://www.linkedin.com/company/tachyum
https://www.facebook.com/Tachyum/
Spoločnosť Tachyum prináša zmenu na trhy umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier so svojím vlajkovým produktom, ktorý nedávno predstavila na trhu. Prodigy, prvý univerzálny procesor na svete, spája funkcie CPU, GPU a TPU do jediného procesora, ktorý poskytuje špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Nasadenie čipov Prodigy v hyperškálových dátových centrách umožní, aby všetky AI, HPC aj univerzálne aplikácie bežali na jednej hardvérovej infraštruktúre, čo spoločnostiam ušetrí miliardy dolárov ročne. Keďže dátové centrá v súčasnosti spotrebovávajú viac ako štyri percentá elektriny planéty, a predpokladá sa, že do roku 2030 to bude 10%, procesor Prodigy s ultranízkou spotrebou je veľmi dôležitý, ak chceme pokračovať v zdvojnásobovaní kapacity dátových centier každé štyri roky. Spoločnosť Tachyum, ktorú založil ako spoluzakladateľ Dr. Radoslav Danilák, vybuduje v EÚ s čipmi Prodigy najrýchlejší superpočítač na svete s výkonom 128 AI exaflopov (128 miliárd miliárd operácií za sekundu). Spoločnosť Tachyum má pracoviská v USA a na Slovensku. Pre viac informácií navštívte https://www.tachyum.com/.