Технология различения омонимов с использованием вероятностно-статистических методов при составлении частотного словаря текстов Национального корпуса казахского языка

В статье подробно рассматривается технология различения омонимов с использованием вероятностно-статистических методов при составлении частотного словаря, основанного на текстах национального корпуса казахского языка. Объектом исследования являются слова, совпадающие по написанию, но различающиеся по значению и грамматической функции. Агглютинативная природа казахского языка создает определённые трудности в распознавании и обработке омонимов. Для решения этой проблемы использован автоматический морфологический анализатор, с помощью которого были лемматизированы слова и определены их части речи. В то же время, для повышения точности анализа разработана специальная таблица распределения значений омонимов на основе контекстуального анализа и вероятностных оценок. В статье изложены этапы построения частотного словаря, алгоритмы обработки и структура корпусов по стилям. На конкретных примерах сравнивается частотность омонимов в разных грамматических категориях, и на основе статистических данных формируются семантические модели. Совмещение частотных показателей и контекстной информации обеспечивает более точную интерпретацию языковых единиц. Предложенная технология значительно улучшает качество частотных словарей, способствует разработке эффективных учебных материалов по казахскому языку, а также открывает перспективы для применения в лингвистических системах на базе искусственного интеллекта. Кроме того, данный метод актуален для лингвостатистики, семантического моделирования и цифровых образовательных ресурсов. Результаты исследования представляют собой инновационную методологию в области корпусной и прикладной лингвистики, а также цифровой лексикографии.

1. Абай тілі сөздігі. – Алматы, 1968. – 734 б.

2. Абай шығармаларының академиялық толық жинағы. Том 1, 2, 3. – Алматы: Жазушы, 2020. – 604, 524, 488 бб.

3. Аношкина Н.Г. Омонимия в русском языке. – Омск: Изд-во ОмГПУ, 2000. – 118 с.

4. Аханов К. Тіл біліміне кіріспе. – Алматы: Қазақтың мемл. оқу-педагогика баспасы, 1962. – 299 б.

5. Ахманова О.С. Очерки по общей и русской лексикологии. – Москва: Гос. учебно-пед. изд., 1957. – 294 c.

6. Бектаев Қ.Б. Ғ.Мүсіреповтің «Кездеспей кеткен бір бейне» повесі тілінің алфавитті-жиілік сөздігі/ Қ.Б. Бектаев,

7. А. Белботаев, Қ. Молдабеков жб. // Қазақ тексінің статистикасы: «Статистика-лингвистикалық зерттеу мен автоматтандыру» тобы еңбектерінің ІІІ шығуы. – Алматы, 1973. – 519-542-бб.

8. Бектаев Қ.Б., Жұбанов А.Қ., Мырзабеков С., Белботаев А.Б. М.О. Әуезовтің 20 томдық шығармалар текстерінің жиілік сөздіктері. – Алматы-Түркістан, 1995. – 346 б.

9. Белбаева М. Қазақ тілінің омонимдер сөздігі. – Алматы: Мектеп, 1988. – 192 б.

10. Жалпы білім берудегі қазақ тілінің жиілік сөздігі. – Алматы: «Дәуір» баспасы, 2016. – 1472 б.

11. Жұбанов А., Жаңабекова А., Карбозова Б., Қожахметова А. Қазақ тілінің жиілік сөздігі. – Алматы: «Қазақ тілі» баспасы, 2016. – 665 б.

12. Зеленков Ю.Г., Сегалович И.В., Титов В.А. Вероятностная модель снятия морфологической омонимии на основе нормализующих подстановок и позиций соседних слов // Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара «Диалог-2005». – Москва: Наука, 2005. – 616 с.

13. Кеңесбаев І. Қазіргі қазақ тілі. Лексика,фонетика / Қазақ ССР Жоғары және арнаулы орта білім министрлігі бекіткен. 2-ші басылуы. – Алматы: Мектеп, 1975. – 304 б.

14. Ким О.М. Омонимия на уровне частей речи на современном английском языке: материалы к спецкурсу Омонимия на уровне частных речи в современном русском языке: материалы к спецкурсу. – Ташкент: Ташкентский гос. университет им. В.И. Ленина, 1983. – 68 c.

15. Кобзарева Т. Ю., Афанасьев Р. Н. Универсальный модуль предсинтаксического анализа омонимии частей речи в русском языке на основе словаря диагностических ситуаций // Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара «Диалог-2002». Т. 2. – Протвино: 2002. – С. 258-268.

16. Колесников Н.П. Словарь омонимов русского языка. – Москва: Русский язык, 1980. – 302 с.

17. Мұсабаев Ғ.Ғ. Қазақ тіл білімінің мәселелері. – Алматы: Абзал-Ай, 2014. – 640 б. ISBN 978‑601‑7172‑39‑8. Google Docs (n.d.) URL: https://docs.google.com/spreadsheets/d/1ZtdK2xCBvXTXVp1ImiaKLCVhzZ4mjJ_OSyuxrQGdtA/edit?gid=0#gid=0 [Accessed: 10 June 2025]. (online resource) wikipedia.org/ [Қолданылуы: 2025 жылғы 10 маусым]. (интернет-ресурс)