4-minutové čtení
Tisková zpráva
Bratislava, 24. októbra 2023 – Spoločnosť Tachyum®, tvorca Prodigy®, prvého univerzálneho procesora na svete, dnes vydala novú bielu knihu o využití 4-bitového formátu Tachyum AI (TAI) a formátu, ktorý efektívne ukladá váhy modelov v dvoch bitoch (TAI2) pri inferencii aj učení hlbokých neurónových sietí (DNN).
Dokument s názvom “Image AI Processing at the Next Level With 4b TAI & 2b Effective Weights” (dostupný len v anglickom jazyku) prezentuje 4-bitový formát TAI, mimoriadne kremíkovo a energeticky efektívny prístup, ktorý limituje pamäť a priepustnosť aj pre veľké modely.
Na zníženie výpočtovej náročnosti neurónových sietí sa používa proces kvantizácie a orezávania, ktorý znižuje počet parametrov (váh) trénovaného modelu. Nízkobitové formáty s pohyblivou desatinnou čiarkou sa nedávno ukázali ako sľubné pre kvantizáciu hlbokých neurónových sietí. Zatiaľ čo v súčasnosti sa používa kvantizácia na úrovni dátových typov INT8, kvantizácia na úrovni dátových typov INT4 - ktorá by v porovnaní s kvantizáciou INT8 zdvojnásobila priepustnosť - sa v súčasnosti v priemysle vyhodnocuje z hľadiska uskutočniteľnosti a potenciálnej straty presnosti a kvality.
Formát TAI dokáže výrazne prekonať formát INT4 s logaritmickým 4-bitovým formátom a 2-bitovým efektívnym formátom pre váhy. AI tím spoločnosti Tachyum uverejnil experimentálne výsledky, ktoré ukazujú, že TAI2 účinne pobeží na Prodigy.
Na overenie použiteľnosti 4-bitového a 2-bitového efektívneho formátu pre váhy TAI spoločnosť Tachyum vybrala niekoľko modelov z oblasti spracovania obrazu a počítačového videnia. Z obrazových modelov boli vybrané klasifikátory ResNet20, ResNet32, ResNet34 a transformátor SWIN; zo segmentačných modelov UNet, FastSCNN a ConvMixer; a z detektorov SSD. Tím testoval známe datasety, ako sú CIFAR10, CIFAR100 a Imagenet pre úlohy klasifikácie obrazu; Cityscapes a Kits19 pre úlohy segmentácie; a VOC a COCO pre detekciu objektov.
“Formát TAI je oveľa výkonnejší a efektívnejší ako formát INT4 a efektívne 2 bity pre váhy predbiehajú akúkoľvek inú súčasnú technológiu, pokiaľ ide o zníženú šírku pásma a výpočtové požiadavky,” povedal Dr. Radoslav Danilák, zakladateľ a CEO spoločnosti Tachyum. “Teraz vidíme budúcnosť umelej inteligencie a je to skutočne nová hranica aj pre veľké tréningové modely a komplexné spracovanie obrazu.”
Experimenty Tachyum s trénovaním modelov v TAI s 2-bitovými efektívnymi formátmi pre váhy ukázali, že ide o použiteľný formát pre všeobecné modely, ktoré nie sú špeciálne optimalizované pre špecifické úlohy alebo pre špecifické súbory údajov. Degradácia modelov bola na prijateľnej úrovni, a to aj v prípade orezávania po trénovaní. Formát TAI možno použiť aj ako formát vhodný na predtrénovanie modelu.
Veľké modely dosahujú dobré výsledky aj s efektívnymi 2-bitovými formátmi pre váhy; menšie modely nemajú problémy s výkonom, takže nie sú primárnym cieľom.
Duševné vlastníctvo (IP, intellectual property) Tachyum TPU® (Tachyum Processing Unit) Inference je k dispozícii ako licencovateľné jadro pre modely trénované na univerzálnom procesore Tachyum Prodigy.
Biela kniha “Image AI Processing at the Next Level With 4b TAI & 2b Effective Weights” je k dispozícii na webe spoločnosti.
Ako univerzálny procesor ponúkajúci špičkový výkon pre všetky pracovné zaťaženia, môžu servery dátových centier plynule a dynamicky prepínať medzi výpočtovými doménami (ako sú AI/ ML, HPC a cloud) s jednou architektúrou. Odstránením potreby drahého špecializovaného hardvéru pre AI a výrazným zvýšením využitia serverov, Prodigy signifikantne znižuje CAPEX a OPEX a zároveň poskytuje bezprecedentný výkon, spotrebu a ekonomiku dátového centra. Prodigy integruje 192 vysokovýkonných na mieru navrhnutých 64-bitových výpočtových jadier, čo mu umožňuje dosahovať až 4,5-násobný výkon v porovnaní s najvýkonnejšími x86 procesormi pre cloudové záťaže, a v porovnaní s najvýkonnejším GPU až trojnásobný výkon pre HPC a šesťnásobný výkon pre AI aplikácie.
https://www.linkedin.com/company/tachyum
https://www.facebook.com/Tachyum/
Spoločnosť Tachyum so svojím vlajkovým produktom Prodigy, prvým univerzálnym procesorom na svete, transformuje ekonomiku pracovných záťaží v oblasti umelej inteligencie (AI), vysokovýkonných výpočtov (HPC) a verejných i súkromných dátových centier. Prodigy spája funkcie CPU, GPGPU a TPU do jediného procesora, aby poskytoval špičkový výkon pri najnižších nákladoch a spotrebe energie pre špeciálne aj univerzálne výpočty. Keďže emisie svetových dátových centier naďalej prispievajú k zmene klímy a podľa prognóz budú spotrebovávať 10 percent elektrickej energie na svete do roku 2030, procesor Prodigy s veľmi nízkou spotrebou energie je v pozícii pomôcť vyvážiť globálny dopyt po výpočtovom výkone pri nižšej environmentálnej záťaži. Tachyum nedávno prijala významnú objednávku od americkej spoločnosti na vybudovanie rozsiahleho systému, ktorý poskytne počítačový výkon viac ako 50 exaflopov, čo exponenciálne prevýši výpočtovú kapacitu najrýchlejších superpočítačov pre inferenciu alebo generatívnu AI, ktoré sú dnes dostupné kdekoľvek na svete. Po dokončení v roku 2025 bude systém postavený na čipoch Prodigy poskytovať 25-násobný multiplikátor v porovnaní so svetovo najrýchlejším konvenčným superpočítačom, ktorý bol postavený iba tento rok, a bude dosahovať 25 000-krát väčšiu kapacitu pre AI ako modely pre ChatGPT4. Spoločnosť Tachyum má pobočky v Spojených štátoch a na Slovensku. Pre viac informácií navštívte https://www.tachyum.com/.