چوڭ تىل مودېللىرىنى (LLM) شەخسىي كومپيۇتېرىڭىزدا يۈرگۈزۈش ئۈچۈن، بىر قانچە قاتتىق دېتال ئامىللىرىنى چۈشىنىش ئىنتايىن مۇھىم. بۇلارنىڭ ئىچىدە ئەڭ مۇھىمى سىستېما ئەسلىمىسى (RAM) ۋە سىن كارتىسى ئەسلىمىسى (VRAM). بۇ ئىككىسى كومپيۇتېرىڭىزنىڭ «ئەستە تۇتۇش قابىلىيىتى» بولسىمۇ، ئۇلارنىڭ رولى ۋە سۈرئىتىدە زور پەرق بار.

RAM كومپيۇتېرىڭىزنىڭ ئاساسلىق «خىزمەت بوشلۇقى» بولۇپ، مەشغۇلات سىستېمىسى ۋە كۆپ قىسىم پروگراممىلارنى يۈرگۈزىدۇ. VRAM بولسا گرافىك بىر تەرەپ قىلغۇچ (GPU) نىڭ مەخسۇس ئەسلىمىسى بولۇپ، ئىنتايىن يۇقىرى سۈرئەتتە سانلىق مەلۇمات بىر تەرەپ قىلىشقا لايىھەلەنگەن. LLM لار مىلياردلىغان پارامېتىرلاردىن تەركىب تاپىدۇ، بۇ پارامېتىرلارنى تېز سۈرئەتتە بىر تەرەپ قىلىش ئۈچۈن VRAM نىڭ يۇقىرى ئۆتكۈزۈشچانلىقى كەم بولسا بولمايدۇ. ئەگەر مودېل VRAM غا سىغمىسا، سىستېما ئۇنى RAM غا يۈكلەيدۇ، بۇ خۇددى يۇقىرى سۈرئەتلىك تاشيولدىن شەھەر ئىچىدىكى تىقىلما يولغا ئۆتكەنگە ئوخشايدۇ، نەتىجىدە مودېلنىڭ جاۋاب قايتۇرۇش سۈرئىتى ئىنتايىن ئاستا بولۇپ كېتىدۇ.

مودېل يۈرگۈزۈش سۈرئىتىنى بەلگىلەيدىغان يادرولۇق زاپچاس GPU دۇر. CPU بىر قانچە كۈچلۈك يادرو ئارقىلىق مۇرەككەپ ۋەزىپىلەرنى تەرتىپ بويىچە بىر تەرەپ قىلسا، GPU مىڭلىغان كىچىك يادرولارنى ئىشلىتىپ، نۇرغۇنلىغان ئاددىي ۋەزىپىلەرنى بىرلا ۋاقىتتا (پاراللېل) بىر تەرەپ قىلىدۇ. LLM نىڭ ھېسابلاشلىرى دەل مۇشۇنداق پاراللېل بىر تەرەپ قىلىشقا ناھايىتى ماس كېلىدۇ.

بۇ ساھەدە NVIDIA شىركىتىنىڭ GPU لىرى ئالاھىدە ئورۇندا تۇرىدۇ. بۇنىڭ سەۋەبى ئۇلارنىڭ CUDA تېخنىكىسىدۇر. CUDA پروگراممېرلارغا GPU نىڭ غايەت زور ھېسابلاش كۈچىدىن بىۋاسىتە پايدىلىنىپ، سۈنئىي ئىدراك ۋە باشقا ئىلمىي ھېسابلاشلارنى تېزلىتىش ئىمكانىيىتىنى بېرىدۇ. كۆپ قىسىم ئاساسىي ئېقىمدىكى LLM رامكىلىرى (مەسىلەن TensorFlow، PyTorch) CUDA نى ئەڭ ياخشى قوللايدىغان بولغاچقا، NVIDIA كارتىلىرى بۇ ساھەدىكى ئۆلچەمگە ئايلانغان.

ئەلۋەتتە، AMD نىڭ ROCm ۋە Apple نىڭ Metal قاتارلىق باشقا تاللاشلارمۇ بار. ئەمما قوللاش دائىرىسى ۋە ئېكولوگىيەنىڭ پىشىپ يېتىلىشى جەھەتتە، CUDA يەنىلا مۇتلەق ئۈستۈنلۈككە ئىگە. شۇڭلاشقا، ئەگەر LLM بىلەن چوڭقۇر شۇغۇللانماقچى بولسىڭىز، NVIDIA كارتىسىنى تاللاش ئەڭ ئىشەنچلىك ھەل قىلىش چارىسىدۇر.

مودېلنىڭ «چوڭ-كىچىكلىكى» ئادەتتە ئۇنىڭ پارامېتىر سانى بىلەن ئۆلچىنىدۇ. مەسىلەن، 7B مودېل دېگىنىمىز 7 مىليارد پارامېتىرلىق مودېلنى كۆرسىتىدۇ. ھەر بىر پارامېتىر ئەسلىمىدە مەلۇم بوشلۇقنى ئىگىلەيدۇ. بۇ بوشلۇقنىڭ چوڭلۇقى پارامېتىرنىڭ ئېنىقلىق دەرىجىسىگە (precision) باغلىق. ئادەتتە، بىز FP16 (يېرىم ئېنىقلىقتىكى لەيلىمە نۇقتا) نى ئۆلچەم قىلىمىز، بۇ ھەر بىر پارامېتىرنىڭ 2 بايت (16 bit) بوشلۇق ئىگىلەيدىغانلىقىنى بىلدۈرىدۇ.

شۇڭا، بىر مودېلغا كېتىدىغان VRAM نى ھېسابلاشنىڭ ئاددىي قائىدىسى:

$VRAM\ (GB) \approx پارامېتىر\ سانى\ (مىليارد) \times 2$

بۇ ھېسابلاش ئۇسۇلى بويىچە، 7 مىليارد پارامېتىرلىق مودېلنى يۈرگۈزۈش ئۈچۈن تەخمىنەن 14 GB VRAM كېتىدۇ. 70 مىلياردلىق مودېل ئۈچۈن بولسا 140 GB VRAM كېتىدۇ، بۇ كۆپ قىسىم ئىستېمالچى دەرىجىلىك GPU لارنىڭ سىغىمىدىن ئېشىپ كېتىدۇ.

يۇقىرىدىكى جەدۋەلدىن كۆرۈۋېلىشقا بولىدۇكى، كۋانتلاشتۇرۇش ئارقىلىق ئەسلىدە يۇقىرى سەپلىمىلىك GPU تەلەپ قىلىدىغان چوڭ مودېللارنى ئىستېمالچى دەرىجىلىك كارتىلاردا يۈرگۈزۈش مۇمكىن بولىدۇ. مەسىلەن، 24 GB VRAM غا ئىگە RTX 3090 ياكى 4090 كارتىسىدا، كۋانتلاشتۇرۇلغان 30B مودېلنى ياكى ھەتتا 70B مودېلنىڭ INT4 نۇسخىسىنى راۋان يۈرگۈزگىلى بولىدۇ (گەرچە سەل ئاستا بولسىمۇ).

ئەگەر سىزدە كۈچلۈك GPU بولمىسا، مودېلنى پەقەت CPU ئارقىلىق يۈرگۈزۈشكىمۇ بولىدۇ. بۇ ھالەتتە، مودېل RAM غا يۈكلىنىدۇ. نۆۋەتتە 32GB ياكى 64GB RAM سەپلەنگەن كومپيۇتېرلار كۆپ ئۇچرايدىغان بولغاچقا، سىغىم جەھەتتە مەسىلە كۆپ بولمايدۇ.

بىراق، ئەڭ چوڭ مەسىلە سۈرئەتتە. CPU نىڭ پاراللېل ھېسابلاش ئىقتىدارى GPU غا قارىغاندا كۆپ ئاجىز بولغاچقا، مودېلنىڭ جاۋاب قايتۇرۇش سۈرئىتى ئىنتايىن ئاستا بولىدۇ. كىچىك مودېللار (مەسىلەن، 7B) ئۈچۈن بۇ بەلكىم قوبۇل قىلغۇدەك بولۇشى مۇمكىن، ئەمما چوڭراق مودېللارنى CPU دا يۈرگۈزگەندە، ھەر بىر سۆزنى ھاسىل قىلىش ئۈچۈن نەچچە سېكۇنت، ھەتتا ئۇنىڭدىنمۇ ئۇزۇن ۋاقىت كېتىشى مۇمكىن. بۇ تەجرىبە جەھەتتە ئىنتايىن كۆڭۈلسىز بولىدۇ.

يۇقىرىدىكى مەزمۇنلار چوڭ تىل مودېللىرىنى يەرلىكتە يۈرگۈزۈشتىكى قاتتىق دېتال ئاساسلىرىنى چۈشەندۈرۈپ بەردى. ئۆزىڭىزگە ماس كېلىدىغان قاتتىق دېتالنى تاللاش ئۈچۈن، VRAM سىغىمى، GPU تىپى ۋە مودېل چوڭلۇقى ئوتتۇرىسىدىكى مۇناسىۋەتنى توغرا چۈشىنىش ئىنتايىن مۇھىم.