????

????AI, ? ?? 2024? 2?? ??? '?????(RNGD)' ?? ??

  • ????

  • ?? 2024? 8? 30? 18? 18?

??? ??? ?? ????AI? ?????? 8? 28?, ?? ????? ? ???? ???? ??? ‘? ?? 2024(Hot Chips 2024)’ ???? 2?? ??? ?? ??(NPU) ‘?????(RNGD)’? ?? ????. ??? ??? RNGD? 1?? ???(Warboy)? ?? ? ??? ???? AI ????, ? 48GB HBM3 ???? ???? L40S ?? ?? 60% ?? ?? ?? ??? ???? ???.

??? ????AI ??? ? ?? 2024?? ?? ? ????? ?? ?? / ??=IT??

? ?? 2024? 1989??? ?? ??? ?? ???? ???? ???????? ? ?? ???? ?? ?????, ? ???? ??? ????, ?? ??? ? ???? ? 500? ? ??? ??? ???? ? FPGA, ?? ???, ?? ??, ?? ?, ???? ? ??, ?? ??? ?? ?? ??? ????.

?? ????? ??, AMD, ??, ????, ???? ? ?? ??? ??? ?? ????AI, ????(SambaNova), ???(eliyan), ?? ???(FLOW computing), ??? ??? ? ???? ???? ?????? ?? ????. ??? ???????, ?????????? ?? ?, ??? ?? AI ???, ????? ?????(SoC) ?? ??? ????.


? ?? 2024, ??? ??? ????? AI ???


? ??? ?? ??? ?? ??? ?? ????, ??? ?? ? ?? ??? ???? ??? ?? ??? ??? ??? ?? ????. ????? ? ??? AI? LLM ??, ??? ?? ???, ?? AI ? ?? ??? ??? ?? ???? ??? ???? ????, ??? AI PC? ????? ? ??? ?? ?? 6, ??? 3 AI ???, ?? ?? ?? ?? ????.

AMD? ?????? ?? AI ?? ? 5 ????, AI ?? ?? ?? ????, ??? ?? ????? ? ?? ? ????? X ??? ???? CPU ?? ?? ??? ???. ??? IBM, ?????, SK????, ?? AI, ????, ????, ???, ???????, ??? ???, ????? ?? ??? ????. ?? ?????? ?? ? ??????? ??? ?? 12?? ?? ???? ??? ????.

? ?? 2024 ?? ???? ?? / ??=IT??

????AI? ??? AI ????? ??? ?? 8? 26? ??? ????. ?? ???? ???, ???? SN40L RDU, ?? ??? 3, AMD ???? MI300X, ???? ASIC? ?? ?? ??? ????, ????AI? ?? ????? ????. ?? ???? ??? ??? ? ???? ????? AI ???? ?? ?? ? ?? ????? ??? ??? ????.

??? ????AI ?????? “AI ??? ?? ?? ??? ???? ???, ??? ??? ?? ?? ?? ???? ? ???. ??? ?? ?????, ?????? ???? AI ???? ???? ?? ? ?? ????”???, “21??? ??? ?? ??? ?? ?? ??? ????, ?? ? ?? ? ? GPT3? ???? ??? ???? ? ??? ??. ????? ?? ??? ??? ??? ?? ??? ???, ?? ???? ??, ???? ??? AI ??? ??? ???? ??? ??? ????”?? ???.

RGND ? ?? ?? ? ?? / ??=IT??

??? ??? “?????? ??? ??? ?? ??? AI ??? ???? ?? ?? ???. 512?????? ??? ??? BF16 ? INT4 ?? ??, 48GB ???? ???? 256MB SRAM? ???. ???? ?? ??? ?? ??? ??? ?? ??? ????? ? ?? ??? ???? ????”?? ????.

2?? 24GB HBM3? ? 48GB ???? ???, SoC? TSMC 5nm? ???? / ??=IT??

????AI? ??? ?????(TDP)? 150W?. ?????? ??? ??? ??? ?? ??? ???? ?? ? ??, ??? ?? ?? ?? ?? ??? ? ??. ?????? ???? ?? ??? ?? ??? ??? ????. ?? TSMC 5nm ??? ??? ??? ???? ?????, SoC ?? ??? ? 400? ?? ?????? ????. ??? HBM ??? SoC? ?? ????? ???? CoWoS-S(?????-????????)? ??? ?? ??? ?? ??? ?????.

RNGD? ????, ??, ??? ?? ?? AI ???? ?? ?? ?? / ??=IT??

AI ???? ??? ??? ?? ???? MLPerf ??? ??? RNGD? ??? ???? L40S, ?? ??? 2, ?? TPU v5e? ????. ?? RNGD? GPT-J 6B ?? ???? ?????? FP8 ?? ?? 11.5 ??? ????? ????? 185W??. ?? ???? L40S? ??? ?? 12.3 ??? ?? ????, ????? ? ?? ??? 320W?. ??? ???? ???? RNGD? L40S ?? 60% ???. ?? ??? 2? ?? TPU? ???? ??? ???, ?? ????? ??? ?? ?????.

??? ??? “AI ???? ???? ????? ???? ? ???. ???? ???? ????? ???, ???? ?? ????, ??? ???? ??? ???? ??. ??? ???? ?? ???? ????? ???? ?? ???? ??, ?? ???? ???? ???? ???? ??”?? ????.

?? ??? ??··· ??? ????? ?? ??

RNGD? ?? ??, ??? ??? ??? ?? ??? ??? AI ?? ??? ??? / ??=IT??

RNGD? ??? ???? ?? ??(Tensor Contraction)? ??. ??? ??? “AI ????? ???? ??? ????? ????? ???? ?????? ??? ??. ???? ??? ?? ?? ???? ????? ???? ??? ???? ????. ??? 7? ? ??? ??? ??? ?? ??? ???? ?? ??? ????”?? ??? ????.

?? ??? ?? ??(Matrix Multiplication)? ? ?? ???? ???? ????. ?? ???? AI ???? ???? ?? ???? ??? ?? ??? ??? ????, ?? ??? ????. ?? ???? ?? ???? ???? ?? ??? ???? ??? ???? ??? ???, ? ???? ????? ??? ????. RNGD? ???? ??? ???? ???? ???? ???? ?? ????, ???? ???? ???? ?????.

?? ???? ?? ??? ???? ??? ??? ??? ??? ??? ???? ?? ??? ????. ?? ?? ?? ??? ???? ? ?? ?? ?? ??? ??? ? ?? ?? ???. ??? ??? ??? ??? ????.

RNGD SoC ?? ?? ? ? ? ?? ??? / ??=IT??

?? ?? ????? ???? ?? ???? ????. RNGD? ??? 8?? ???? ????(PE)? ???? ????. ? ??? ? ? ????(NoC)? ??? ???, ? PE? 1.5TB ???? HBM?? ????. ??? ?????? PCIe 5?? 16??? ????, ?? ?? ?? ??? ?? 20?? RNGD ?? ??? ? ??.

?????? ??? ????? ???? ? ??

????AI? LLM ????? ?? ?? ??? / ??=IT??

??? ??? “?? ?? NPU? ?? ??? ?? ???? ?????. ???? ??? ??? ?? ???? ???? ?? ????? ?? ???. ?? ??? ???? 2.0 ??? ??? ??, ? ???? ?? ???? ??? ?????. ??? ?? ?? PE? ???? ?? ????? ?? ?? ??? ?? ?? ?? ??? ?? ?? ????”?? ????

????AI? ?? ????? ?? ?? ? ?? / ??=IT??

??? ?? ? ?? ?? ???? ??? ?????? ???? ????. ????AI? ??? AI ??? ???? ????? ???? ? ?? ??? ??? ?? ??? IR(Intermediate Representation) ???? ?????, ??? ????? ???? ?? ??? ???, ??? ?????. ? ??? ??, ?? ?? ? ??? ??? ??? ????.

??? ????? ???? ???? ????? ???? ?? ??? ? ??? ??? ??? ??? ???? ??? ? ???? ???? ???, ?? ?? ? ?? ???? ?? ????? KV ?? ?? ??? ???. ?? ?? ? ?? ???? ???? ???? ????, ????? ??? ??? ??? ??? ??? ???? ??? ??? ????. BF16, INT8, FP8, INT4 ? ??? ??? ??(numerical scheme) ?? ? AWG(Adaptive Weight Quantization), GPTQ(GPT Quantization) ?? ?? ??? ??? ????.

? ?? ????AI, 2?? ???? ???? ???

?? ??? ??? ????AI ??? “????AI ?????? ???? ???(Inverse Language)? ??????, ???? ???? ?? ??? ?? ?? ?? ??? ??? ?? ??. ??? ???? ?? ???? ? ???? ?? ???? ??? ????”???, “????AI? ?? ? ??? ????? ??? ??????. ??? ?? ??? ?? ???? ?? ?? ????, ??? ??? ??? ????? ??? ?? ?”??? ???.

????AI? 2?? ??? ‘RNGD’? ?? / ??=????AI

? ?? 2024? ??? ????AI? 2?? ??? RNGD? ?? ??? ?? ????. ?? AI ????? ??? ???, ??? ??? ?? ??? ???? ????? ???. ?? ??? ??? ????AI? 2?? ???? ???? ?? ??? ?? ??? ????? ???.

??? ??? ?? ??? ? ? ?? MLPerf? LLM ??? ?? ???? ??? ??? ????, ? ?????? ??? ???????????(AICA)? ‘AI ??? ???? ????’ ??(?????????, ?????, ?????????)? ?? AI??? ???? ?? ?? ????? ??? ?? RNGD? PCI-SIG? ?? ???? ????? ??.

RNGD? ?? 9? ??? ?? ??? ????. ??? ??? ?? ???? ??? ????, ????? ?? ??? ???? ??? ????. ?? ???? ? ??? AI ??? ??? ??? ??? ?? ????, ?????? ?? ???? ???? ?? ??? ??? ???. ????AI? ??? ???? ????.

IT?? ??? ?? (sh@itdonga.com)


  • ???
    0?
  • ???
    0?
  • ???
    0?

?? 0

??? ????

?? ?? ??

  • ???
    0?
  • ???
    0?
  • ???
    0?