[??] ?? ???? ???? ????, ????AI ??? NPU

????
?? 2023? 6? 2? 13? 22?

???: ?

???: ?

???? ???? ??? ?? ??(Graphic Processing Unit, ?? GPU)? ???? ??? ?? ? ???. ???? ??? ???? ???? ??? ?? ??? ????, GPU? ???? ??? ? ??. ??? GPU? ??? ?? ??? ??? ? ???, ?? ??? ???? ??? ???? ??? ???? ??? ?? ?? ??? ?? ??? ???. ??? ????? ?? ???? “????? GPU? ???? ??? ?? ???”?? ?? ??? ?? ??? ?? ??.

?? ?? ??? ??? ???? ??? ???? ??? ???, ??? ?? ?? (Neural Prosessing Unit, ?? NPU) ??? ?? ?? ??. ????? ????AI? ????, ??? ?? ??? ?? ?? ??? ??? ????, ?? ???? ?? ??? ??? ????AI? ??? NPU ‘???’?.

????AI? ?? 1?? NPU, ???(WARBOY). ??=IT??

???? ??? ? ??? ??, ??? ????, ?????, ?? ???? ? ???? ???? ?? ???? ?? ????, ?? ????? 14?? ?? ??? ???? ????. ???? ?? ?????????? ??? AI??? ? ???? ?? ??? ??? ???? ? ?? ??? ????? ??? ???? ??. ????AI? ??? ?? ?? ???? ??? ‘???’? ??? ??? ???? ?????.

????AI ‘???’? ?? ?????

???? ?? 64 TOPS(Tera Operations Per Second)? ??? ?? ??? ???? NPU?. TOPS? ?? 1? ?? ??? ????? ???, ????? ??? ?? ??? FLOPS, ????? ?? ??? TOPS? ????. ???? ???? A2? INT8(8?? ?? ??) ??? 36 TOPS, ???? ????? ???(sparsity) ?? ? 72 TOPS? ?? ???? ????(???) ?? ??? ???? ???.

???? FHHL(??), HHHL(???) ? ?? ???? ????. ??=IT??

?? ???? FHHL(Full-height half-length), HHHL(Half-height half-length) ? ??? ????, ??? ?????? PCIe Gen 4 8????. ?????(TDP)? ??? ?? 40W?? 60W ???, ?? ??? 0~50?, ?? ??? ??? ? ??? ?? ?? ????. ???? 32MB? ?? ???(SRAM)? ????, 4266Mbps ?? ??? LPDDR4X ???? 16GB?? ?? 32GB ???? ????. ?? ??? ???? ?? 66GB?.

??? ??? ???? AI ??(Inference) ??? ???? ?? ? ?? ??? 2?, 4?, 8?? ??? ????, ??? ?? ?? 20?? ???? ??? ??? ??. ?? ??? ?? ?? ?????? ?? ???? ??? ???? ?? ??? ??(Denoising) ??? ???? ?? ?? ??? 12?? ???? ????.

MLPerf? ???? ??? NPU? ??

???? ??? ?? ML???(MLCommons)? ???? ????, MLPerf? ?? ????. MLPerf? ? ?? ????, ????, ?? ? ??? ?? ? 50? ??? ?? ??? ???? ??? ‘ML???(MLCommons)’?? ???? ???? ?? ????, ?? ? ?? ???? ???? ?? ??? ????. ????AI? ML???? ?? ????, 2019? ???? ??????? ???? MLPerf? ????? ??.

MLPerf? ??(Training)? ??(Inference) ???? ????, ?? ??? ??, ?? ??(??), ????(??), ?? ?? ??? ??, ?? ?? ??(ASR), ??? ??(NLP), ??, ????? ?? ???. ????AI? ???? ??? 5? MLPerf v2.0? ??-??, ??(Inference-Edge, Close) ??? ?? ???? ?????, ??? ??? ?? ?? ?? ? ?? ? ?? ?? ???? ????.

???? ???? A2 1?, A2 2?, ????AI ???? ??? ???. ???? ??? ???. ??=IT??

??? ???? ?????? SYS-420GP-TNR? ?? ?? ???? 8368Q? ?????, ????? ???? A2 ? ?? ?????? SYS-220HE-FTNR, ?? ?? ?? 6338N? ??? ??? ??. ??? ?? ???? ???? ?? ??? ????? 0.71ms, ?? ??? ?? ??? 3.97ms? ????. ?? ???? A2? ?? 0.7ms, 3.41ms? ?? ? ???, ???? ? ?? ??? ?? ?? 2?735.6????. ???? ?? ??? ???? ??? ??? 2?758.44??? ?? ? ???.

???? ???? (??) ???? A2 ? ?? ??? ??? ????. ??=IT??

?? ??(??) ????? ???? ?? ??? ????? 0.36ms, ?? ??? ????? 2.05ms? ????, ???? A2? ?? 0.46ms, 2.26ms? ????. ??? ?? ???? ???? A2? 4?408.99?? ? ???? 8?762.15?? ? ? ??? ???? ???. ??? ?? ???? A2 ? ?? ?? ???? ???? 9?362.19?? ??? ?? ??? ?? ????.

???? (??) ????? ???? ?? ??? 13.43ms, ?? ??? 107.87ms?? ?? 79.92?? ???? ?????, ?? ?? 16.01ms, ?? 125.02ms? ?? 66.92?? ??? ???? A2? ??? ?? ???.

????? ?? ??(SDK) ??, ????? ?? ?

???? ?? ?? ??? ????? ?? ??(SDK)? ??? ???? ????. ????AI? NPU ??? ??? ???? ????? ???(Github)? ?? ???? ???, ??? NPU ?? ? ??? ??? ????? ? ???, ?? ??, ????, ?? ??? ?? ??? ?? ‘FuriosaAI NPU ? SDK 0.9.0 ??’? ??? ??? ? ??? ???? ??.

????AI ???? “????AI? ???? ???? ???? ???? ???? ??? ??? ?? ??? ? ?? ???? ?? ?? ? SDK ??? ???? ??”???, “SDK? ???? ?????? ??? ????? ?? ??? ???? ???? ???? ???? ? ?????? ???? ????, ? ?? ?? ???? ?? ??? ?????? ??? ? ?? ?? ?? ?? ??? ???? ????, ?????, ??? ???? ??? ?? ???? ??? ???? ??? ?? ????”?? ???. ?? “??? NPU ????? ???? ??? ???? ????, ? ???? ?? ?? ???? ?? ???? ???? ???”?? ????.

???? ? ?????? ?? ?? ??? ?? ?? ????? ??? ???. ?????????? ?????? ‘????’ ???? ??? ??????(OCR) ??? ???? ???? ??. ?? ??? ??? ??? ???? ?? ?? ??? ???????, ? ???? ??? NPU? ??? ????. ?? ??? i ????? ????AI ??? NPU 12?? 4?? ???? ??? ??? ??, ?? ?? ??? NPU ?? 16?, ???? ?? 10?? ??? ????.

?????? ???? ?? ? ???? ?? AI ???? ???? ??? ????. ??=?????

AI ????, ?? ??? ?? ???? ?????(SURROMIND)? ?? ??(Multi-class Classification)? ?? ? ???? ??? ?? ?? ???? ???? ??? ????. ????? ??? ???? “???? ??? ???? ??? ???? ???? ??? ??? ???, SDK ? ?? ??? ????? ??? ???? ? ??? ??”???, “???? ?? ?? ?? ? ?? ??? ??? ?? ??? ?? ??? ???? ??? ??? ????, ?? ??? ??? ?? ?? ?? ?? ??? ??? ? ???? ?? ” ?? ???? ???.

?? ?? ???, ??? ????

????AI ???? ?? ?? ??? ??? ?? NPU ???? ??? ???? ??. ??=IT??

???? ???? ???? ?? ??? ?? ??? ??? ??, ??? ??? ???? ??? ??. ??? ??? ??? ??? ??? ???? ?? ???? ?? ??? ??? ???? ??. ??? RE100 ?? ?? ??? ?? EU ??? ???? ???? ???? ??? ? ??? ???? ????. ?? ???? ? ?? ??? ????, ??? ??? ???? ????? ????? GPU? NPU? ??? ?? ????. ?? ???? GPU ??? ??? ?? ??? ?? ????? NPU? ???? ???? ???? ????.

????AI ???? ??? ????(Deeping Source) ??? ??? ?? “???? ??? ?? ? ??? ????? ?? ??? ????. ????? ???? ??? ?????? ?? ??? ?? ???, ????AI? ???? ?? ??? ?? ??? ? ? ?? ????”?? ??? ??? ???, ???(Lablup Inc) ??? ??? “???? ??? ??? ? ??? ??? ?? ?? ??? ?? ??, ?? ?? ? ???? ??? ?? ???? ???? ???? ?? ??. ?? ?? ?? ??? ?? ??? ???? ???? AI? NPU? ??? ??? ?? ???? ?? ??? ???? ??”?? ???.

??? ?? NPU ????? ??? ??? ??? ???, ?? ????AI? ???? ????? ??? ?? ??? ???? ??.

???? IT?? ??? ?? (sh@itdonga.com)