??(前 ????)? ???? ??????(LLM)? ??(Llama)? 3?? ??? ?? 18?(?? ??) ????. ?? ??? 2023? 2?? ???? 70?, 130?, 330?, 650? ?? ????? ??? 1?? ??? ????, 23? 7?? 70?, 130?, 700? ? ????? ??? ?? 2?? ??? ????. 3?? ??? ?? 2? ????? ????? ????, ??? ??? ????.
?? ??? ???? ??? ??? ??? ??? ? ?? ??????. ?? ??? ??? ????(Gemini)? ?? ??? ???, ??? ??? ? 19.99??? ???? ?????? ?? ??. ????? ??? 3 ?? ??? ??? ???, ??? ??? ? 20?? ???? ?? ?? ? ??? ??? ???. GPT ?? GPT-4 ?? ?? ???? ?? ???? ???.
??? ?? 4? 18?(?? ??), ?? ?? 3 ?????? 8B, 70B ??? ???? / ??=??
?? ?? 1?? ??? ??? ????? ????? ?????, ??? ??? ?? ???? ????? ? ?? ???? ??? ???? ????. ??? ?? ?? ??? ? ??? ??? ???? ???, ???, ???? ?? ?? ??? ????? ????, ??????? ?? ? AWS, ????? ?? ???? ?? ?????? ????.
?? 3 8B, 70B ?? ??, ?? 400B? ?? ??
?? 3 8B ? 70B ??? ?? ?? ???? ?? ?? / ??=??
??? ??? ?? 3 ?? ?? ??? ????. ??? ?? 3? ?? ??? ????? ?? ?? ??, ??????, ??, ??? ?? ??, ??, ??? ???, ??, ?? ??? ???, ?? ?? ??, ??, ??? ? ?? ? 12?? ?? ?? ??? ?? 1800?? ????? ????, ?? ??? ??? ???? ??? ????.
? ?? ?? 3 8B? ??? ?? ??? ??? HumanEval ????? ?? 7B ? ???? 7B? ??? ? ?? ??? ?? ??? ?????, 57?? ??? ?? ?? ??? ???? MMLU ?????? 68.4?? ????. ?? ????? ?? 7B? 53.3, ???? 7B? 58.4?? ????.
?? 3 70B ??? ?? ???? ?? 1.5 ? ??? 3? ?? ?? ?? ???? ????? ?? ? ?? ?? ?????, MMLU?? 82?? ??? GPT-4? MMLU ?? 86.4? ????. ?? ?? ??(MATH)? ??? ??? ??(GPQA)??? ? ???? ?? ??? ???. ??? ?? 3? ?? ????? ?? ???? ????? ??? ??.
70B ??? ?? ?? ???? ??? ???? ??? ????? / ??=??
?? ?? 3 70B ??? ??? ???, ???? ???, GPT-3.5, ??2 ? ?? LLM? ??, ??? ?? ???? ??? ???? ? ??? ????. ??? 3? ?? 3? ??? ????? ???? 52.9%? ???, 34.2%? ???? ??? ????. 12.9%? ????? ????. GPT-3.5?? ????? 63.2%? ?? 3? ????, 27.1%?? GPT-3.5? ????.
?? ??? ?? ?? 3 400B+ ??? ???? ?? ?? / ??=??
??? 8B ? 70B ??? ?? 4000? ? ????? ??? 400B ??? ??? ????. 4? 15? ?? ??? 400B ?? ??? MMLU ?????? ?? ???? ??? 90?, ??? 3 ???? 88.2?, GPT-4? 86.8?? ?? ? ??? ??. ??? ?? 3 400B ??? ???? ??, ??? ???? ??? ?? ??? ?? ????? ???. ?? ??? ? ?? ?? ?? ??, ??? ??, ???? ? ?? ? ??? ???? ??? ?? ????.
?? 3? ??????? ??, ?? ????, AWS? ?? IBM ??X, ?????, ??, ??????, ???? NIM, ?????? ?? ????? ??? ? ??. ?? 3-70B? ?? ?? LLM ??? ?? ?????? ??? ??? LMSYS ?? ??? ?????? GPT-4 ??, ??? 3 ??? ?? ?? 5?? ??? ????, 4? 24? ?? 6?? ????.
AI ?? ??? ?? VS ??? ?? ?? ???
??? ????? ????? ???? ?? ???? ??? ????. ?????? ????? ???? ??????? ??? ??? ?? ???, ???? ??? ??? ??? ??? ???? ???? ?????. ?? 23??? ?? VR ??? ???? ‘?? ???? OS’? ????, ???, ??????? ? ?? VR ???? ????? ????? ??.
?? ‘???’? ??? ??? ??? ?? ???? ?? ?? ????. ??? ??? 4?? ??? ?? ???? 25% ??? 401? ??(? 54? 9000? ?)???, ???? ?? ?? 46? 5000? ??(? 6? ?) ??? 140? ??(? 19? 1800? ?)??. ?? ???? 41%? ???. ??? ?? ??? ???? ???? ??? ???? ? ?? ????, ??? ???? ?? ??? ??? ????.
?? ?? 3 70B ??? ??? ?? ???? ?? 6?? ???? ??. ?? 3? ?? ??? ?? ???? ??? ??? / ??=LMSYS
??? ??? ????? ??? ? ?????? ? ? ??. ????, ??AI, ?? ?? ????? ??? ??? ?? ?? ? ??? ?? ??? ??? ?? ??? ????. ? ??? ?? ?? ??? ??? LLM? ??? ???? ? ??? ?? ??? ???? ??? ??? ????. ????? ??? ?? ???? ???? ??? ??? ???? ???? ? ? ??. ?? ???? ??? ?????, ???? ??? ??? ??? ???? ? ??? ???.
????? ?? ??? ??? ???? ? ??? ????, ??? AI ??? ??? ???? ???? ?? ? ??. ????? ?? ??? ??? ? ??? ???, ?? ????? ??? ??? ?????. ??? ??? ??? ?? ??? ????, ??? ? ?? ??? ????? ???? ? ???.
IT?? ??? ?? (sh@itdonga.com)