Қазақ тілінде үлкен тілдік модельдерді құру: қазақстандық тәжірибе және жаһандық трендтер

Мақалада 2024-2026 жылдары қазақ тіліне бағдарланған үлгі ретінде жасанды интеллект негізіндегі Үлкен тілдік модельді (ҮТМ) құрудың ғылыми-тәжірибелік қырлары талданады. Зерттеудің өзектілігі цифрландыру жағдайында қазақ тілінің толыққанды цифрлық репрезентациясын қалыптастыру, ұлттық бірегейлік пен тілдік егемендікті сақтау міндеттерімен айқындалады. Жұмыстың басты мақсаты – қазақ тіліне бейімделген ҮТМ-нің теориялық қағидаттарын, трансформер типіндегі нейрожелінің құрылымын, деректер жиынтығының құрылымы мен таңбалау принциптерін сипаттап, олардың ұлттық және халықаралық этикалық-құқықтық нормаларға сәйкестігін көрсету. Жоба аясында құрылған деректер жиынтығы ұлттық болмысты, тарихи-мәдени дәстүрлер мен қазіргі заңнаманы қамтиды. Материалдар бірнеше санатқа жүйеленіп, әр үлгіде сұрақ-жауаптар сараптамалық түсіндірме және этикалық талаптармен үйлеседі. Мақалада мәтінді өңдеудің заманауи тәсілдері, модельдің қате немесе ойдан құрастырылған жауаптарын азайту жолдары, алынған нәтижелерді сапалық тұрғыдан бағалау қарастырылады. Мақаланың ғылыми жаңалығы – қазақ тіліне арналған алғашқы кешенді ҮТМ-нің жүйелі сипатталуында, ал практикалық маңыздылығы – модельді білім беру, ғылыми талдау, цифрлық сервистер және мемлекеттік тіл саясаты салаларында қолдану мүмкіндігінде. 

1. Бектаев Қ.Б., Жұбанов А.Қ., Мырзабеков С., Белботаев А.Б. М.О. Әуезовтің 20 томдық шығармалар текстерінің жиілік сөздіктері. – Алматы-Түркістан, 1995. – 346 б.

2. Жұбанов А., Жаңабекова А., Карбозова Б., Қожахметова А. (2016) Қазақ тілінің жиілік сөздігі. – Алматы: Қазақ тілі, 2016. – 792 б.

3. Токаев К.-Ж. Послание Главы государства народу Казахстана «Казахстан в эпоху искусственного интеллекта: актуальные задачи и их решения через цифровую трансформацию». – Астана, 8 сентября 2025 года.

4. Bender, E.M., Gebru, T., McMillan-Major, A., Shmitchell, S. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT, 2021. https://dl.acm.org/doi/10.1145/3442188.3445922

5. BigScience Workshop et al. Bloom: A 176B-Parameter Open-Access Multilingual Language Model. arXiv, 2022. https://arxiv.org/abs/2211.05100

6. Bommasani, R., et al. On the Opportunities and Risks of Foundation Models. 2021. arXiv preprint. https://arxiv.org/abs/2108.07258

7. Brown, T.B., Mann, B., Ryder, N., et al. Language Models are Few-Shot Learners. 2020. NeurIPS. https://arxiv.org/abs/2005.14165

8. Bubeck, S., et al. Sparks of Artificial General Intelligence: Early experiments with GPT-4. 2023. https://arxiv.org/abs/2303.12712

9. Chung, H.W., Hou, L., et al. Scaling Instruction-Finetuned Language Models. arXiv, 2022.

10. Conneau, A., Khandelwal, K. et al. Unsupervised cross-lingual representation learning at scale. NeurIPS, 2020.

11. Goodfellow, I., Bengio, Y., Courville, A. Deep Learning. MIT Press, 2016. P. 801.

12. Google Kazakh NLP team. Kazakh Language and Speech Resources for the Next Generation. 2021. https://sites.google.com/view/kaznlp

13. Hoffmann, J. et al. Training Compute-Optimal Large Language Models. 2022. https://arxiv.org/abs/2203.15556

14. Khan, A., Ismail, S.A. Challenges for Building Natural Language Generation Models in Turkic Languages. IEEE Access, 2022.

15. Levine, Y., et al. The Depth-to-Width Ratio for ReLU Networks: Past and Present. 2021. NeurIPS. https://arxiv.org/abs/2202.03841

16. Serikbayeva, A., Olach, Z. Kazakh language in the context of globalization and digital transformation: language changes. Tiltanym, 2025. No.1 (97). Pp. 151-160. (in English)

17. Tulegenov, E. Myrzabekov, S. Abduvaliyev, A. Kazakh LLM: Technological Foundation and Challenges in Local Adaptation. IMBISS Project Report. 2023. Almaty, Kazakhstan.

18. Vaswani, A., et al. Attention is All You Need. NeurIPS. 2017. https://arxiv.org/abs/1706.03762

19. Weidinger, L., et al. Ethical and social risks of harm from language models. Science, 376(6595), 939-944, 2022.

20. Wilkinson, S., Cunningham, S.J. Low-Resource Language Modelling and Data Augmentation. Machine Learning for NLP, 2022. https://arxiv.org/abs/2310.15799

21. Zhang, S., Sun, A. et al. Ethics and Bias in Large Language Models: A Survey. ACM Computing Surveys, 2021.