?? ???? ??? GPU, ??? NPU?? ???

????
?? 2024? 10? 25? 17? 23?

???: ?

???: ?

?? ???? 10? 24?, ???? 「???? ???? ??? ???? ????, ?? ?? ??? ???? ?? ????? ????, ????? ???? ???, ???? ???? ?? ?? 」? ????. ??? ??? ▲ ????? ?? ▲ ?? ??? ?? ?? ▲ ??? ? ?? ?? ▲?????, ?? ?? ???? ???? AI ??? ?? ??? ?? ?? ??, ??? ??? ?? ??? ??? ???? ??? AI ??? ?? ??? ?? ??.

??? ‘??? ??? ??? ?????, ?? AI? ??? ??? ??? ?? ??. ???? ???? ???? ??, ? ????? ???? ??? ????, ???? ???? ? ?? ??, ?? ??? ? ??? ????. ?? ???? AI? ? ???? ????? ??? ???, ???? ??? ???? ? ??? ??, ???, ??, ??? ???? ?’??? ??? ?? ??. ????? ? ??? ????? ????? ?? ??? ?? ???? ????? ??.

“?? 50? ? ???? ?? 10?? ??? ? ?? ?”

??? ??? AI ???? ?????, ??? ?? ??? ????? ?????? ??? ????. ???? ?? ?? ???? AI ??? ?? ??? ??? ???, ?? ??? ?? ? ??, ?? ?? ?? ? ?? ?? ???? ??. ?? ??? ??? ????, ???? ?? ??? ???? ???, ??? GPU ? ?? AI ???? ?????? ??? ???.

??? ??? ? ???????? 24? ???DC ?????? ?? ??? ???? / ??=???

???? ??? AI ??? ??? ??? ??, ??, ??????? ?? ??? ??? ?????. ??? ? ???? ?? AI ??? ??? ? ??? ???? ????? ?? ?????. ????? ‘??, ??? ??? ???? ??? ???, ????? ?? ???? ?? ??’? ???. ?? ???? ??? ??? ??? ??, ?? ??? ?? ??? ?? ???? ?? ????? ??? ??? ??? ?? ??.

???? AI ??? ??? 98%, ?? ????

?????? ??????? ??? 2023? ??? ?????? GPU ???? 385? ??. 2022? 267? ??? ? 44% ????. ?? ????? ??? ?????? GPU? 376? ?? ?? ??? ??? ???. AMD? 1? ? ???? MI300 ???? ???, ??? ?? ? ??? ???? ??? ????? ? ??? ???? ??? 9? ?? ????. ?? ??? 2029??? 3550? ??(? 490? ?)?? ??? ????, ??? ??? ????? ???? ?? ?? ??? ???.

?? ? ???? ?????? ?????? 10? 24? ????? ?? ???? AI ???? ?? ??? / ??=????

????? AI ??? ???? ???? ??? ? ?? ??? ????? ???? ????. ????? 2006? ??? ??? ?? ?? ??? ????? ?? ?? ??? ?? ?? ??? ?? GPGPU(General-Purpose computing on Graphics Processing Units) ??? ????, 20? ? ? GPGPU? ??? ??? ??? ? ??? ?? ??? ? API ???? ?????.
?? ??? ?? ????? ??? ??? ????, AI ??? ????? ? ? ?? ?? ????? ???? ?? ???. ????? ?? ??? ??? ?????? ???? GPU?? ??? ? ??? ?? ??RT ????? ?? ??, ?? ???? ??? ????? ???? cuDNN ?? ??? ?? ??? ??? ????, ????? ???? GPU? AI? ???? ?? ???? ?? ???.

GPU, AI ???? ?? ?? ???

?? AI ?? ???? GPU? ??? ?? ??? ?? ??. ???? ??? ??? ????? ??? ?? ??? ??? ?? ???. ? ??? ‘??(Training)’?? ??, ?? ??? GPU? ????? ?? ??? ????. ???? ????? ???? ????, ??? ?? ???? AI ??? ?? GPU ????? ?????. ?? ??? ????? ?? ????? ?????, ????? ???? GPU? ?? ?????.

???? NVIDIA GB200 NVL72 ?? ??, 36?? ???? ???? CPU? 72?? ??? GPU? NV??? ???? / ??=????

??? ???? GPU? NV???? GPU ?? ??? ??? ???? ?? ?? GPU? ?? ????? ??? ? ??. ?? ?? ??, ??, ???, ??, ??? ? ??? ???? ???? ????? ???? ????. 3D ????? ?? ????? ?? ??? ?? ??, ??, ?? ?? ????? ???.

?? ???? GPU? ?? ???? ?? ??? ??? ??? ????, ??? ????? ??. ??? ??? AI ?? ???? GPU? ???? ???, ?? ??? ?? ?? ???? ??? ?? ??. ? ??? ???? GPU? ???? ?? AMD ???? MI 300 ???? ?? ??? 3 AI ??? ?? GPU? ????AI, ?????, ??.ai ?? NPU? ???? ???? ???.

NPU, GPU? ???? AI ??? ???

? ????? 2024? 10???? ???, ???? ?? ??? ??? AI ????? ???? ????. AI ??? ??? ???? ?? ??? ??? ?? ???? ? ? ??, AI ???? ?? ???? ???? ?? ??? ??. ???? ? ?? ??? ??? ? ??.

????AI? 2?? NPU ?????(RNGD)? ??? ? ?(SoC) / ??=????AI

???? AI ???? ??? ??? ??? GPU ??? ??? ??? ???, AI ?? ???? NPU? ??? ???? ???? ??? ???? ??? ????. GPU? ?? ?? ??? ??? ???? ??, ??? ? ??? ???? ???. ??? AI ???? ???? ?? ??? ?? ????. ?? NPU? ??? ??? ???? ???, ?? ???? ??? ?? ??? ?? ??? ????. AI ????? ?? ??(???)? ?? ?????, ?? ??? ?? ????.

??? ????? GPU? ??? ???? ??? ?? ?? ??? ????, ?? ???? ? ????? ??? ???? ?? ???? ?? ??. ?? NPU? ??? ?? ??? ??? ? ??, ??? ???? ??? ? ??? ????? ??? ??? ??? ??.

????AI, 2???? GPU ??? ??

NPU? GPU? ???? ????? ?? NPU ???? ??? ?????. ????AI? ?? 21? ??? 1?? ? ???(WARBOY)? 64TOPS(?? 64? ? ??)? ??? ????, ?????? ?? ??, ?? ??? ? ??? GPU? ?? ??? ?? ???? ??? ????.

????AI RNGD? ???? H100, L40S GPU?? ?? ?? ?? / ??=????AI

?? ??? 2?? ??? ‘?????(RNGD) NPU??? ??? ?? ???. RNGD? ? 48GB? HBM3 ???? 400? ?? ?????? ??? 5nm ??? ? ?(SoC)? ????. SoC? ??? ? ???? ????? ?? ?? ????(TCP) ??? ??? ?? ??? ?????, ?? ??? ? ?????. ? ?? ??? 150W ???? ?? ??? ??? ?? ????? ??? ? ????.

??????? ????? ?? ??? AI ??(GAIN)?? ??? ????? ??? ???? ?? ?? ???? ?? ??? / ??=???

AI ????? ? ??? ???? ???. ????AI? ?? 21?, RNGD ????? ??? ??? ?? Llama 3.1 70B ? ?? ??? LLM ?? ??? ????, ???? ?? ???? ??(AICA)? ???????????(NIPA)? ??????? ??? ????. ?? ??? ???? ????? ???? ????? ? AI ??? ??? ????. GPU? ?? ??? ?? ?? ?? ??? ?? ??? NPU?? ?? ??? ???.

AI ??? ?? ??··· ?? ??? ????

?? ????AI? 2?? RNGD ?? ??? ???? ???? ???? / ??=????AI

???? ???? ‘AI ??? ?? ??? ?? ???? ?? ????. AI?? ??? ????? ??? ???? ?? ??? AI ???? ?? ????, ?? ??? AI ?? ?? ???? ???? ??’?? ??? ??. ??? ??? ??? ??? AI ??? ??? ????? ? ???, ?? ??? ???? ??? ??? ??? ??? ?? ??? ??? ??? ?? ??? ???? ??.

??? 2022? ??? ?? ??? ? ???? ??, ??? ??? ??? ??? ?? ?? ???? ????? ?? ????. ??? ????? ??? ??? AI ???? ?? ??? ????, ??? ???? ?? ??? ??? ?? ? ?? ??? ???? ??. ?? ??? ?????? ????AI? ??? NPU ??? ?? ???? ????, ? ??? NPU ??? AI ??? ??? ????? ?? ??? ???? ????? ? ???.

IT?? ??? ??(sh@itdonga.com)