چوڭ تىل مودېللىرىنى تورسىز مۇھىتتا راۋان ئىجرا قىلىشنىڭ ئاچقۇچى كومپيۇتېرىڭىزنىڭ گرافىك كارتىسى (GPU) ۋە ئۇنىڭدىكى مەخسۇس ئىچكى ساقلىغۇچ، يەنى VRAM دا. مودېللارنىڭ مىلياردلىغان پارامېتىرلىرى دەل مۇشۇ VRAM غا يۈكلىنىپ ھېسابلاش ئېلىپ بارىدۇ. شۇڭا، VRAM سىغىمى مودېل تاللىشىڭىزنى بىۋاسىتە بەلگىلەيدۇ.

NVIDIA نىڭ RTX 30/40 تىپلىق كارتىلىرى CUDA تېزلەتكۈچى ئارقىلىق ئەڭ ياخشى ئىقتىدار بىلەن تەمىنلەيدۇ. 12GB VRAM بولسا نۇرغۇن 7B (7 مىليارد پارامېتىرلىق) مودېللارنى راۋان ئىجرا قىلالايسىز. Apple Silicon (M1/M2/M3) كومپيۇتېرلىرىنىڭ ئالاھىدىلىكى شۇكى، ئۇنىڭدىكى RAM نىڭ ھەممىسىنى VRAM ئورنىدا ئىشلىتىشكە بولىدۇ. مەسىلەن، 16GB لىق MacBook Pro دا تەخمىنەن 10-12GB لىق مودېللارنى ئىجرا قىلغىلى بولىدۇ، بۇ ناھايىتى زور ئەۋزەللىك.

مودېلنىڭ پارامېتىر سانى ئۇنىڭ «ئەقلىي» سەۋىيەسىنى ۋە شۇنىڭ بىلەن بىرگە قاتتىق دېتالغا بولغان تەلىپىنى بەلگىلەيدۇ. مەسىلەن، Llama 3 نىڭ 8 مىليارد (8B) ۋە 70 مىليارد (70B) پارامېتىرلىق نۇسخىلىرى بار.

ئەگەر كومپيۇتېرىڭىزنىڭ VRAM سىغىمى يەتمىسە، Quantization (قۇتۇپلاشتۇرۇش) تېخنىكىسى ياردەمگە كېلىدۇ. بۇ تېخنىكا مودېلدىكى ھەر بىر پارامېتىرنى ئىپادىلەيدىغان سانلىق مەلۇماتنىڭ ئېنىقلىق دەرىجىسىنى تۆۋەنلىتىش ئارقىلىق مودېلنىڭ چوڭلۇقىنى كىچىكلىتىدۇ. مەسىلەن، 16-bit (FP16) مودېلنى 4-bit (Q4) ياكى 8-bit (Q8) قا قۇتۇپلاشتۇرۇشقا بولىدۇ. بۇنداق قىلغاندا VRAM تەلىپى زور دەرىجىدە تۆۋەنلەيدۇ.

قۇتۇپلاشتۇرۇش دەرىجىسى قانچە تۆۋەن بولسا، مودېلنىڭ ئىقتىدارىغا شۇنچە كۆپ تەسىر يېتىدۇ. ئادەتتە، 4-bit بىلەن 8-bit ئارىسىدىكى ئىقتىدار پەرقى كۆرۈنەرلىك بولمايدۇ، لېكىن 2-bit ياكى 3-bit قا چۈشكەندە مودېلنىڭ لوگىكىلىق تەپەككۇر ۋە جاۋاب بېرىش سۈپىتى تۆۋەنلەپ كېتىدۇ. كۆپىنچە ئەھۋالدا Q4_K_M ياكى Q5_K_M تاللاش ئىقتىدار بىلەن سىغىم ئارىسىدىكى ئەڭ ياخشى تەڭپۇڭلۇق ھېسابلىنىدۇ.

نۆۋەتتە، ئوچۇق كودلۇق مودېللار ئىچىدە ئۇيغۇر تىلىنى قوللاش جەھەتتە Meta نىڭ Llama 3 تۈركۈمى ۋە Alibaba نىڭ Qwen 2.5 تۈركۈمى ئالدىدا تۇرىدۇ. ھەر ئىككىلىسىنىڭ ئۆزىگە خاس ئالاھىدىلىكى بار.

• Llama 3: بۇ مودېلنىڭ ئىجادىي يېزىقچىلىق، شېئىر، ھېكايە يېزىش ۋە ئومۇمىي سۆھبەت ئىقتىدارى كۈچلۈك. ئۇيغۇرچە گرامماتىكا ۋە ئىپادىلەشنى ياخشى ئىگىلىگەن، لېكىن بەزىدە مۇرەككەپ ئۇقۇملارنى چۈشەندۈرۈشتە ئازراق ئاقساپ قېلىشى مۇمكىن.

• Qwen 2.5: بۇ مودېل كۆپ تىللىق سانلىق مەلۇمات ئامبىرىدا تەربىيەلەنگەن بولغاچقا، ئۇيغۇرچە-خەنزۇچە ئارىلاشما مەزمۇنلارنى بىر تەرەپ قىلىش ۋە تەرجىمە قىلىشتا ئەۋزەللىككە ئىگە. ئۇنىڭ لوگىكىلىق تەپەككۇر ۋە سوئال-جاۋاب ئىقتىدارى تېخىمۇ كۈچلۈك.

مودېل تاللىغاندا، سىز Hugging Face غا ئوخشاش سۇپىلاردىن مودېللارنىڭ GGUF ھۆججەت شەكلىنى ئىزدەيسىز. بۇ فورمات مودېللارنى ئوخشىمىغان قاتتىق دېتاللاردا (CPU, GPU) ئاسانلا ئىجرا قىلىش ئۈچۈن لايىھەلەنگەن.

مودېل چۈشۈرۈش ئۈچۈن Hugging Face تورىغا كىرىپ، «Llama-3-8B-Instruct-GGUF» ياكى «Qwen2.5-7B-Instruct-GGUF» دەپ ئىزدەپ، ئۆزىڭىزنىڭ VRAM سىغىمىغا ماس كېلىدىغان قۇتۇپلاشتۇرۇش دەرىجىسىنى تاللىسىڭىز بولىدۇ. مەسىلەن، 8GB VRAM لىق كومپيۇتېر ئۈچۈن Q4_K_M ياكى Q5_K_M لىق نۇسخىسىنى تاللاش ئەڭ مۇۋاپىق.

يۇقىرىقى ئۇچۇرلارغا ئاساسەن، سىز ئۆزىڭىزنىڭ ئېھتىياجى ۋە كومپيۇتېرىڭىزنىڭ ھالىتىغا ماس كېلىدىغان مودېلنى تاللاپ، تورسىز مۇھىتتا سۈنئىي ئىدراك دۇنياسىغا قەدەم قويالايسىز. كېيىنكى بۆلۈمدە بۇ مودېللارنى قانداق قاچىلاپ ئىشلىتىشنى تەپسىلىي تونۇشتۇرىمىز.