?? 2006?, ????? ??? G80 ??? ??? ??? ???? ??? ??? ??? ?? ?? ??? ??? ? ?? GPGPU?? ??? ????. GPGPU(General-Purpose computing on Graphics Processing Units)? GPU ?? ?? ????? ?? ???, ??? CPU? ??? ?? ???? ??? GPU? ????? ??? ?????? ????. ??? ?? ???? ????? ?? ‘??(CUDA)’? ?? ????? ??? ?? ??? GPU? ? ? ?? ??? ????.
GPGPU ?? ??? ???? ??? ??? ???? ??? ??? ????? / ??=????
?? ?? ? ???? ?????? ???? ??? ??? ??? ?? ?? ?? ??? ?? ???? ??? ????, ???? GPU ?? ????? ??? IEEE(?????????) ??? ???? ????. ???? ??? ??? ??? ? ?? ??? ?? ???? ?? ?????? ???? ??? ???? ???? ????, ????? GPGPU ??? ?? ??? ??? ?? ?? ??? ???? ??? ??.
10? ?? ?? ??, GPU? ?? ??? ??? ??? ???. ???? ???? ?? ??? ? ??? ??? ?? ?? ?? ??? ??? ???, ???? ??, ????, ?????, ??? ?? ? ?? ??? ?? ??? ????. ???? ??? ??? ??? ??? ??? ?? ???? ???? ?? ?? ???? ????.
?? ???? ??? GPU··· ?? ??? ??
GPU? ?? ? ??? ??? ?????. ??? ??? ????? ??? ?? / ??=????GPGPU? ?? ? ??? ?? ??? ??? ?? ???? ????? ???. ??? AI? ????? ?? ?? ??? ?????, ?? ? ???, ???? ??? ? ??? ?? ??? ??. ??? ???? ??? ???. ???? GPU? ?? ??? ??? ? ???, ?? ?????? ?? ??? ??? ?? ??? ??? ??.
GPU? ?? ??? ?? ??? ?? ??? ????? ???? ?? ??? ? ???? ?? ??? ?? ??, ??? ??? ?? ?? ?? ??? ??, ??? ????? ?? ?? ?? ????. ?? ??? AI ??? ? ?? ??? ???, ?????? ? ?? ??? ???? ? ??? ??? ? ?? ??? ???. ? ??? ???????? ???? ??? ??? ??? ???? ?? ??????(SMR)? ??? ???.
????AI? 2?? ???, ?????? 8? ????. ?????? ?? NPU ???? TCP(?? ?? ????)?? ??? ??? ???? / ??=????AI???? ???? ?? ?? ??? ?? ??, NPU?. NPU? ??? ?? ??? ??? ?? ????, ????(???) ?? ?? ???? ??? ??? ??. GPU?? ????? ??? ????, ????? ??? ?? ???? ????? ?? AI ??? ???? ?? ???? ????, ?? ??? ???? ? ??? ? ??. ????? ????AI ???, ???? ??? ?????, ????? ?????? ????? ?? ??? ???? ??.
????AI, ?? ?? ????(TCP)? ??? ??? ????? NPU? ?? ? ??? ??? ?? ????. ????AI? 1?? ???? ???? ???? ??? ???? ????, ???? ??? ????, ??? ?? ? ??? ??????. ?????? NPU? ????, ??? ??, ?? ?? ?? ??? ??? ??, ??? ????? ?????? ??? RISC-V? ?? ??? ??. ?? ?? ??? ????AI? ?? ?? ????(Tensor Contraction Processor, TCP) ??? ??? ??? ??? ???? ???? ???.
?? ??? ?? ??, ISCA ??? 7? 2?(????)?? / ??=????AI????AI? ?????? 6? 29??? 7? 3? ???? ?? ??? ???? ????(ISCA)?? 2?? ??? ‘?????’? ?? ?? ??? ?? ??? ?? ‘TCP : AI? ?? ?? ???? ????’ ??? ????. ISCA? ?? ???????(IEEE), ?????(ACM)? ???? ?? ?? ??? ??? ?? ??????.
?? ??? ??? ????AI CTO ? 47?? ?????, ?? 6? 10? ????? ???????? ????. ????? ????AI? ???? ?? ?? ?? ??? ?? INESC?ID, ??? ????, ?????? ????.
??? ??? TCP ??? ? ? (SoC)? ?? ?? ? ?? / ??=????AI????AI? ???? TCP? ?? ??? ?? ??? ????, ???? ???? ???? ?? ??? ?????. ??? ???? ?? ???? ??? ?? ?? ????, ?? ??? ?? ? ?? ???? ??? ? ?? ????. GPU? ??? ??? ? ?? ???? ?????, ?? ?? ?? ??? ???? ??? ???? ??? ??? ???, ? ???? ?? ?? ??? ??? ??? ??? ??? ????, ??? ??? ??? ??? ??? ? ?? ??? ????.
?? ??? ?? ???? ???? ???? ?? ?? ?? ???? ???? ??? ??? ???? / ??=??TCP? ?? ?? ??? ????. ??? ??? ?? ??? ????, ?????? ? ?? ??? ??? ?? ??? ???? ?????. ?? ??? ??? ??? ??? ? ??? ??? ?? ??? ?? ???? ????(PE)? ?? ??? ??? ??? 8?? ????. ?? ??? GPU? ???? ?????? ??? ??, ?? ?? ? ??? ????? TCP? ? ??? ???? ?????, ????? ???? ??? ????.
??? ?? ????? ?? ?? ??? ?? ?? ??? ?????. ?? ??? ? ??? ?? ???? ??? ??? ???? ????, ?? ?? ?? ? ?? ??? ??? ???? ?????. ??? ??? ?? ???? ??? ????, ?? ??? ??? ????.
?? ??? ??? ??? ????, ???? ?? ??? ?? ? ???? ??? ?? ??, ?? ?? ??? ???, ??? ??? ??? ? ?? ??? ???. ? ??? ??? ?? ?? ?? ???, ????? ??? ?? ?? ????. ????? ?? ???? ??? AI ?? ??? ?????.
150W TDP ??? TDP 700W ?? ?? 2.7? ??? ??
??? ??? ???? L40s, H100, TCP(?????)? ?? ?? / ??=????AI???? ????? ?? ??? ???? L40s, H100 GPU?? ??-2(Llama) 7B ??? ?? ? ??? ??? ??. ??? TCP? ?????(TDP)? 150W?, L40? 350W, H100? 700W? ???. TDP? ? ????? ???? ???, ??? ?? ??? ??? ?? ??? ??? ?? ??. ???? TCP? 48GB HBM3, L40s? 48GB GDDR6, H100? HBM3 80GB?.
?? TCP? ??? FP8 ?? 512 TFLOPS(?? ????? ??), L40s? 362, H100? 989?. AI ??? ??? INT8 ? INT4 ?? TOPS(?? 1? ? ??)? TCP? ?? 512 ? 1024, L40s? 733 ? 733, H100? 1979? ?????. ?? L40s? INT4? 1466? ?? 733, H100? INT4? 3958? ??? ???? ??? ???(Sparsity) ???? ?? ??? ?? ???? ???? ? ????? ? ? ?? ??????.
Energy Efficiency? ?????? ???? H100 ? L40S? ??? ?? ??, Throughput? ?? ?? ??? / ??=????AI????? TCP? ??? ??-2 LLM(?? ?? ??)? ???? ? ??? ???? ???? ??? ??(Batch) 1?, ??? ?? 128? ?? ????? TCP? 8ms, L40s? 14ms, H100? 7ms? ?? ????, ???? 16??, 2000 ??/?? ??? ? TCP? 935 ??, L40s? 531??? ????. 32????? TCP? 1293??, H100? 2230??? ????. ??? ??? TCP? 16???? 1??? 6.24TOPS, L40s? 1.52TOPS? ?????, 32???? TCP? 8.62TOPS, H100? 3.19TOPS? ????.
????? TCP? ??? ????? L40s ?? 4.1?, H100 ?? 2.7? ?? ??? ???. ???? DGX ????? 8?? ??? ???? ???? AI ????? GPU ?? 2~4?? ??? ?? ???? 2?? ??? ?? ??? ??? ????. ?? ?? ??? ???? ?? GPU? ?? ?? ?? ??? ????, RE100 ? ?????? ??? ????? ?? ?? ??? ??? ???? ???? ???? ?????.
TCP, ??? NPU?? ??? ?? ????? NPU? ??? ?? ???? ??? ??? ????? ??????, TCP? 8?? ???? ????(PE)? ?????? ???? ????? ???? ?? ??? ???? ?? ????(Fetch Network) ??? ?? ??? ????? ????. ??? TCP? GPU ??? ????? ?? NPU??? ?? ? ??? ??? ??? ? ??.
????AI? 2?? ??? ?????? ?? / ??=????AI?? ?? NPU ??? ??? ?? ? ??? ?? ????. ???? GPU? ???? ??? ?? ??? ????. ?? ??? ??? ??? ???, ?? ??? ???? ???? ??. ???? ??? NPU? ?? AI ???? ???? ? ?? ???? ???? ???? ?? ?? ??? ??? ?? ????.
TCP? ??? ??? ????? ???? ????? GPU? ???? ?? ? ??. ?? ?? GPU ???? TCP? ????? ?? ????, ????AI? ????? ??? ???? ???? ??? ??? ?? ????. TCP? ?? 8??? 2?? NPU? ‘?????(RNGD)’?? ???? ??? ??? ???.
RNGD? ?? 7? MLPerf? LLM ??? ?? ?? ??? ??? ????, 9??? ??? ??? ??? ????. ?? NPU? ??? ?? ?? ?? ?? ????? ??? ???? ??? RNGD? AI ??? ??? ????? ?? ? ??? ????.
IT?? ??? ?? (sh@itdonga.com)
[??★???] ??????? ?? ‘???’???!
??? ??? ??? ??
