Создание больших языковых моделей в казахском языке: казахстанский опыт и глобальные тренды

В статье анализируются научно-практические аспекты создания Большой языковой модели (LLM) на основе искусственного интеллекта, ориентированной на казахский язык в качестве базовой платформы на 2024-2026 годы. Актуальность исследования обусловлена задачами формирования полноценной цифровой репрезентации казахского языка, сохранения национальной идентичности и языкового суверенитета в условиях цифровизации. Цель работы – описать теоретические принципы LLM, структуру нейросетевой модели трансформерного типа, состав и разметку датасета, а также показать их соответствие национальным и международным этико-правовым нормам. Корпус данных охватывает национальный менталитет, историкокультурные традиции и действующее законодательство. Материалы, сгруппированные по нескольким ключевым категориям, включают связки «вопрос – ответ», экспертные комментарии и формулируются с учётом этических требований. Рассматриваются современные методы обработки текста, подходы к снижению числа ошибочных и вымышленных ответов модели, а также качественная оценка полученных результатов. Научная новизна состоит в системном описании первой комплексной LLM для казахского языка; практическая значимость – в возможности её применения в образовании, научной аналитике, цифровых сервисах и при реализации государственной языковой политики.  

1. Бектаев Қ.Б., Жұбанов А.Қ., Мырзабеков С., Белботаев А.Б. М.О. Әуезовтің 20 томдық шығармалар текстерінің жиілік сөздіктері. – Алматы-Түркістан, 1995. – 346 б.

2. Жұбанов А., Жаңабекова А., Карбозова Б., Қожахметова А. (2016) Қазақ тілінің жиілік сөздігі. – Алматы: Қазақ тілі, 2016. – 792 б.

3. Токаев К.-Ж. Послание Главы государства народу Казахстана «Казахстан в эпоху искусственного интеллекта: актуальные задачи и их решения через цифровую трансформацию». – Астана, 8 сентября 2025 года.

4. Bender, E.M., Gebru, T., McMillan-Major, A., Shmitchell, S. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT, 2021. https://dl.acm.org/doi/10.1145/3442188.3445922

5. BigScience Workshop et al. Bloom: A 176B-Parameter Open-Access Multilingual Language Model. arXiv, 2022. https://arxiv.org/abs/2211.05100

6. Bommasani, R., et al. On the Opportunities and Risks of Foundation Models. 2021. arXiv preprint. https://arxiv.org/abs/2108.07258

7. Brown, T.B., Mann, B., Ryder, N., et al. Language Models are Few-Shot Learners. 2020. NeurIPS. https://arxiv.org/abs/2005.14165

8. Bubeck, S., et al. Sparks of Artificial General Intelligence: Early experiments with GPT-4. 2023. https://arxiv.org/abs/2303.12712

9. Chung, H.W., Hou, L., et al. Scaling Instruction-Finetuned Language Models. arXiv, 2022.

10. Conneau, A., Khandelwal, K. et al. Unsupervised cross-lingual representation learning at scale. NeurIPS, 2020.

11. Goodfellow, I., Bengio, Y., Courville, A. Deep Learning. MIT Press, 2016. P. 801.

12. Google Kazakh NLP team. Kazakh Language and Speech Resources for the Next Generation. 2021. https://sites.google.com/view/kaznlp

13. Hoffmann, J. et al. Training Compute-Optimal Large Language Models. 2022. https://arxiv.org/abs/2203.15556

14. Khan, A., Ismail, S.A. Challenges for Building Natural Language Generation Models in Turkic Languages. IEEE Access, 2022.

15. Levine, Y., et al. The Depth-to-Width Ratio for ReLU Networks: Past and Present. 2021. NeurIPS. https://arxiv.org/abs/2202.03841

16. Serikbayeva, A., Olach, Z. Kazakh language in the context of globalization and digital transformation: language changes. Tiltanym, 2025. No.1 (97). Pp. 151-160. (in English)

17. Tulegenov, E. Myrzabekov, S. Abduvaliyev, A. Kazakh LLM: Technological Foundation and Challenges in Local Adaptation. IMBISS Project Report. 2023. Almaty, Kazakhstan.

18. Vaswani, A., et al. Attention is All You Need. NeurIPS. 2017. https://arxiv.org/abs/1706.03762

19. Weidinger, L., et al. Ethical and social risks of harm from language models. Science, 376(6595), 939-944, 2022.

20. Wilkinson, S., Cunningham, S.J. Low-Resource Language Modelling and Data Augmentation. Machine Learning for NLP, 2022. https://arxiv.org/abs/2310.15799

21. Zhang, S., Sun, A. et al. Ethics and Bias in Large Language Models: A Survey. ACM Computing Surveys, 2021.