<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">til</journal-id><journal-title-group><journal-title xml:lang="ru">Tiltanym</journal-title><trans-title-group xml:lang="en"><trans-title>Tiltanym</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2411-6076</issn><issn pub-type="epub">2709-135X</issn><publisher><publisher-name>Институт языкознания имени А.Байтурсынулы КН МОН РК</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.55491/2411-6076-2025-2-183-193</article-id><article-id custom-type="elpub" pub-id-type="custom">til-1829</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ПРИКЛАДНОЕ ЯЗЫКОЗНАНИЕ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>APPLIED LINGUISTICS</subject></subj-group></article-categories><title-group><article-title>Технология различения омонимов с использованием вероятностно-статистических методов при составлении частотного словаря текстов Национального корпуса казахского языка</article-title><trans-title-group xml:lang="en"><trans-title>Technology of Distinguishing Homonyms Using Probabilistic and Statistical Methods in Compiling a Frequency Dictionary of Texts of the National Corpus of the Kazakh Language</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-2291-9654</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Бесиров</surname><given-names>Е. Б.</given-names></name><name name-style="western" xml:lang="en"><surname>Bessirov</surname><given-names>Ye.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Еркин Бекжанович Бесиров, докторант</p><p>г. Алматы</p></bio><bio xml:lang="en"><p>Yerkin Bessirov, Doctoral student</p><p>Almaty</p></bio><email xlink:type="simple">erkin.besirov@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-6199-7444</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Жанабекова</surname><given-names>А. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Zhanabekova</surname><given-names>A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Айман Абдилдаевна Жанабекова, доктор филологических наук</p><p>г. Алматы</p></bio><bio xml:lang="en"><p>Aiman Zhanabekova, Doctor of Philological Sciences</p><p>Almaty</p></bio><email xlink:type="simple">aiman_miras@mail.ru</email><xref ref-type="aff" rid="aff-2"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">Казахский национальный университет имени аль-Фараби<country>Казахстан</country></aff><aff xml:lang="en">Al-Farabi Kazakh National University<country>Kazakhstan</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru">Институт языкознания имени А. Байтурсынулы<country>Казахстан</country></aff><aff xml:lang="en">A. Baitursynuly Institute of Linguistics<country>Kazakhstan</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2025</year></pub-date><pub-date pub-type="epub"><day>08</day><month>07</month><year>2025</year></pub-date><volume>0</volume><issue>2</issue><fpage>183</fpage><lpage>193</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Бесиров Е.Б., Жанабекова А.А., 2025</copyright-statement><copyright-year>2025</copyright-year><copyright-holder xml:lang="ru">Бесиров Е.Б., Жанабекова А.А.</copyright-holder><copyright-holder xml:lang="en">Bessirov Y., Zhanabekova A.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.tiltanym.kz/jour/article/view/1829">https://www.tiltanym.kz/jour/article/view/1829</self-uri><abstract><p>В статье подробно рассматривается технология различения омонимов с использованием вероятностно-статистических методов при составлении частотного словаря, основанного на текстах национального корпуса казахского языка. Объектом исследования являются слова, совпадающие по написанию, но различающиеся по значению и грамматической функции. Агглютинативная природа казахского языка создает определённые трудности в распознавании и обработке омонимов. Для решения этой проблемы использован автоматический морфологический анализатор, с помощью которого были лемматизированы слова и определены их части речи. В то же время, для повышения точности анализа разработана специальная таблица распределения значений омонимов на основе контекстуального анализа и вероятностных оценок. В статье изложены этапы построения частотного словаря, алгоритмы обработки и структура корпусов по стилям. На конкретных примерах сравнивается частотность омонимов в разных грамматических категориях, и на основе статистических данных формируются семантические модели. Совмещение частотных показателей и контекстной информации обеспечивает более точную интерпретацию языковых единиц. Предложенная технология значительно улучшает качество частотных словарей, способствует разработке эффективных учебных материалов по казахскому языку, а также открывает перспективы для применения в лингвистических системах на базе искусственного интеллекта. Кроме того, данный метод актуален для лингвостатистики, семантического моделирования и цифровых образовательных ресурсов. Результаты исследования представляют собой инновационную методологию в области корпусной и прикладной лингвистики, а также цифровой лексикографии.</p></abstract><trans-abstract xml:lang="en"><p>The article presents a comprehensive overview of a probabilistic-statistical method for distinguishing homonyms in the process of compiling a frequency dictionary based on the Kazakh National Corpus. The research focuses on words that share identical written forms but differ in meaning and grammatical function. The agglutinative structure of the Kazakh language introduces significant challenges in the accurate recognition and classification of homonyms. To address this, an automatic morphological analyzer was employed to lemmatize word forms and assign appropriate parts of speech. In addition, a specialized probabilistic distribution table was developed to disambiguate homonyms based on contextual analysis and frequency estimation. The article details the stages of constructing the frequency dictionary, the applied algorithms, and the stylistic diversity of the corpus texts. Comparative examples demonstrate the frequency of homonyms across different grammatical categories, enabling the creation of semantic usage models supported by statistical data. The integration of frequency indicators with contextual analysis contributes to more precise interpretation of lexical units. The proposed technology enhances the accuracy and reliability of frequency dictionaries, facilitates the development of effective Kazakh language learning materials, and provides a foundation for applications in AI-based linguistic systems. Moreover, the approach holds promise for linguostatistics, semantic modeling, and the integration of corpus resources into digital education. The results of the study offer an innovative methodological framework for corpus linguistics, applied linguistics, and digital lexicography in the context of the Kazakh language.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>омоним</kwd><kwd>частотный словарь</kwd><kwd>вероятностно-статистический метод</kwd><kwd>автоматический&#13;
морфологический анализатор</kwd><kwd>корпус</kwd><kwd>контекст</kwd></kwd-group><kwd-group xml:lang="en"><kwd>homonym</kwd><kwd>frequency dictionary</kwd><kwd>probabilistic-statistical method</kwd><kwd>automatic morphological analyzer</kwd><kwd>corpus</kwd><kwd>context</kwd></kwd-group><funding-group xml:lang="ru"><funding-statement>Статья подготовлена в рамках проекта грантового финансирования AP19676197 Министерства науки и высшего образования Республики Казахстан на тему: «Квантитативная картина произведений Абая: разработка частотных словарей и лингвостатистический анализ».</funding-statement></funding-group><funding-group xml:lang="en"><funding-statement>The article was prepared within the framework of the grant project AP19676197 of the Ministry of Science and Higher Education of the Republic of Kazakhstan on the theme: “The quantitative image of Abay's works: development of frequency dictionaries and linguostatistical analysis”.</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Абай тілі сөздігі. – Алматы, 1968. – 734 б.</mixed-citation><mixed-citation xml:lang="en">Abai shygarmalarynyng akademijalyq tolyq zhinagy. Tom 1, 2, 3. Almaty: Zhazushy, 2020. 604, 524, 488 bb. [Full academic collection of Abai's works. Volume 1, 2, 3. Almaty: Zhazushy, 2020. 604, 524, 488 pp.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Абай шығармаларының академиялық толық жинағы. Том 1, 2, 3. – Алматы: Жазушы, 2020. – 604, 524, 488 бб.</mixed-citation><mixed-citation xml:lang="en">Abai tіlі sozdіgі. (1968) Almaty, 734 b. [Abai language dictionary. (1968) Almaty, 734 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Аношкина Н.Г. Омонимия в русском языке. – Омск: Изд-во ОмГПУ, 2000. – 118 с.</mixed-citation><mixed-citation xml:lang="en">Ahanov, K. (1962) Til bilimine kirispe. Almaty: Qazaqtyng meml. oqu-pedagogika baspasy, 299 b. [Akhanov, K. (1962) Introduction to Linguistics. Almaty, 299 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Аханов К. Тіл біліміне кіріспе. – Алматы: Қазақтың мемл. оқу-педагогика баспасы, 1962. – 299 б.</mixed-citation><mixed-citation xml:lang="en">Ahmanova, O.S. (1957) Ocherki po obshchej i russkoj leksikologii. Moskva: Gos. uchebno-ped. izd., 294 s. [Akhmanova, O.S. (1957) Essays on general and Russian lexicology. Moscow: State Educational and Pedagogical Publishing House, 294 p.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Ахманова О.С. Очерки по общей и русской лексикологии. – Москва: Гос. учебно-пед. изд., 1957. – 294 c.</mixed-citation><mixed-citation xml:lang="en">Anoshkina, N.G. (2000) Omonimija v russkom jazyke. Omsk: Izd-vo OmGPU, 118 s. [Anoshkina, N.G. (2000) Homonymy in the Russian language. Omsk: Publishing house of OmGPU, 118 p.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Бектаев Қ.Б. Ғ.Мүсіреповтің «Кездеспей кеткен бір бейне» повесі тілінің алфавитті-жиілік сөздігі/ Қ.Б. Бектаев,</mixed-citation><mixed-citation xml:lang="en">Bektaev, Q.B., Belbotaev, A., Moldabekov, Q. (1973) G. Musіrepovtіng "Kezdespei ketken bіr beine" povesі tіlіnіng alfavittі-zhiilіk sozdіgі. Qazaq teksіnіng statistikasy: «Statistika-lingvistikalyq zertteu men avtomattandyru» tobynyng III shyguy. Almaty. B. 519-542. [Bektayev, K.B., Belbotayev, A., Moldabekov, K. (1973) Alphabetical-frequency dictionary of the language of G.Musrepov's story "An Unmet Image". Statistics of Kazakh texts: Works of the group "Statistical-linguistic research and automation". Issue III. Almaty. P. 519-542.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">А. Белботаев, Қ. Молдабеков жб. // Қазақ тексінің статистикасы: «Статистика-лингвистикалық зерттеу мен автоматтандыру» тобы еңбектерінің ІІІ шығуы. – Алматы, 1973. – 519-542-бб.</mixed-citation><mixed-citation xml:lang="en">Bektaev, Q.B., Zhubanov, A.Q., Myrzabekov, S., Belbotaev, A.B. (1995) M.O. Auezovtіng 20 tomdyq shygarmalar tekstеrining zhiilіk sozdіkterі. Almaty-Turkіstan. 346 b. [Bektayev, Q.B., Zhubanov, A.K., Myrzabekov, S., Belbotayev, A.B. (1995) Frequency dictionaries of the 20-volume works of M.O.Auezov. Almaty-Turkistan. 346 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Бектаев Қ.Б., Жұбанов А.Қ., Мырзабеков С., Белботаев А.Б. М.О. Әуезовтің 20 томдық шығармалар текстерінің жиілік сөздіктері. – Алматы-Түркістан, 1995. – 346 б.</mixed-citation><mixed-citation xml:lang="en">Belbaeva, M. (1988) Qazaq tilining omonimder sozdigi. Almaty: Mektep, 192 b. [Belbayeva, M. (1988) Dictionary of homonyms of the Kazakh language. Almaty: Mektep, 192 p.] (in Kazakh) Google Docs (n.d.) URL: https://docs.google.com/spreadsheets/d/1ZtdK2xCBvXTXVp1ImiaKLCVhzZ4mjJ_OSyuxrQGdtA/edit?gid=0#gid=0 [Accessed: 10 June 2025]. (online resource)</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Белбаева М. Қазақ тілінің омонимдер сөздігі. – Алматы: Мектеп, 1988. – 192 б.</mixed-citation><mixed-citation xml:lang="en">Kengesbaev, I. (1975) Qazirgi qazaq tili: leksika, fonetika. 2-basylymy. Almaty: Mektep, 304 p. [Kenesbayev, I. (1975) Modern Kazakh language: lexicon, phonetics. 2nd edition. Almaty: Mektep, 304 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Жалпы білім берудегі қазақ тілінің жиілік сөздігі. – Алматы: «Дәуір» баспасы, 2016. – 1472 б.</mixed-citation><mixed-citation xml:lang="en">Kim, O.M. (1983) Omonimija na urovne chastej rechi na sovremennom anglijskom jazyke: materialy k speckursu. Tashkent: Tashkentskij gosudarstvennyj univ. imeni V. I. Lenina, 68 s. [Kim, O.M. (1983) Homonymy at the level of parts of speech in modern English: materials for the special course. Tashkent: Tashkent State Univ. named after V.I. Lenin, 68 p.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Жұбанов А., Жаңабекова А., Карбозова Б., Қожахметова А. Қазақ тілінің жиілік сөздігі. – Алматы: «Қазақ тілі» баспасы, 2016. – 665 б.</mixed-citation><mixed-citation xml:lang="en">Kobzareva, T.Yu., Afanas'ev, R.N. (2002) Universal'nyj modul' predsintaksicheskogo analiza omonimii chastej rechi v russkom jazyke na osnove slovarja diagnosticheskih situacij. Komp'juternaja lingvistika i intellektual'nye tehnologii. Trudy mezhdunarodnogo seminara «Dialog-2002». T. 2. Protivino. S. 258-268 [Kobzareva, T.Yu., Afanasyev, R.N. (2002) Universal module of pre-syntactic analysis of parts of speech homonymy in Russian based on the dictionary of diagnostic situations. Computational Linguistics and Intellectual Technologies. Proceedings of the international seminar «Dialogue-2002». V. 2. Protvino. P. 258-268.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Зеленков Ю.Г., Сегалович И.В., Титов В.А. Вероятностная модель снятия морфологической омонимии на основе нормализующих подстановок и позиций соседних слов // Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара «Диалог-2005». – Москва: Наука, 2005. – 616 с.</mixed-citation><mixed-citation xml:lang="en">Kolesnikov, N.P. (1980) Slovar' omonimov russkogo jazyka. Moskva: Russkij jazyk, 302 s. [Kolesnikov, N.P. (1980) Dictionary of homonyms of the Russian language. Moscow: Russian Language, 302 p.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Кеңесбаев І. Қазіргі қазақ тілі. Лексика,фонетика / Қазақ ССР Жоғары және арнаулы орта білім министрлігі бекіткен. 2-ші басылуы. – Алматы: Мектеп, 1975. – 304 б.</mixed-citation><mixed-citation xml:lang="en">Musabaev, G.G. (2014) Qazaq til bilimining maseleleri. Almaty: Abzal-Ai, 640 p. ISBN 978-601-7172-39-8. [Musabayev, G.G. (2014) Issues of Kazakh linguistics. Almaty: Abzal-Ai, 640 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Ким О.М. Омонимия на уровне частей речи на современном английском языке: материалы к спецкурсу Омонимия на уровне частных речи в современном русском языке: материалы к спецкурсу. – Ташкент: Ташкентский гос. университет им. В.И. Ленина, 1983. – 68 c.</mixed-citation><mixed-citation xml:lang="en">Wikipedia (n.d.) URL: https://kk.wikipedia.org/ [Accessed: 10 June 2025]. (online resource)</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Кобзарева Т. Ю., Афанасьев Р. Н. Универсальный модуль предсинтаксического анализа омонимии частей речи в русском языке на основе словаря диагностических ситуаций // Компьютерная лингвистика и интеллектуальные технологии. Труды международного семинара «Диалог-2002». Т. 2. – Протвино: 2002. – С. 258-268.</mixed-citation><mixed-citation xml:lang="en">Zelenkov, Yu.G., Segalovich, I.V., Titov, V.A. (2005) Veroijatnostnaja model' snijatija morfologicheskoj omonimii na osnove normalizujushchih podstanovok i pozicij sosednih slov. Komp'juternaja lingvistika i intellektual'nye tehnologii. Trudy mezhdunarodnogo seminara «Dialog-2005». Moskva: Nauka, 616 s. [Zelenkov, Yu.G., Segalovich, I.V., Titov, V.A. (2005) Probabilistic model for resolving morphological homonymy based on normalizing substitutions and positions of neighboring words. Computational Linguistics and Intellectual Technologies. Proceedings of the international seminar “Dialogue-2005”. Moscow: Nauka, 616 p.] (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Колесников Н.П. Словарь омонимов русского языка. – Москва: Русский язык, 1980. – 302 с.</mixed-citation><mixed-citation xml:lang="en">Zhalpy bіlіm berudegі qazaq tіlіnіng zhiilіk sozdіgі. (2016) Almaty: Dauіr, 1472 b. [Frequency dictionary of the Kazakh language in general education. (2016) Almaty: Dauir, 1472 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Мұсабаев Ғ.Ғ. Қазақ тіл білімінің мәселелері. – Алматы: Абзал-Ай, 2014. – 640 б. ISBN 978‑601‑7172‑39‑8. Google Docs (n.d.) URL: https://docs.google.com/spreadsheets/d/1ZtdK2xCBvXTXVp1ImiaKLCVhzZ4mjJ_OSyuxrQGdtA/edit?gid=0#gid=0 [Accessed: 10 June 2025]. (online resource) wikipedia.org/ [Қолданылуы: 2025 жылғы 10 маусым]. (интернет-ресурс)</mixed-citation><mixed-citation xml:lang="en">Zhubanov, A., Zhangabekova, A., Karbozova, B., Qozhahmetova, A. (2016) Qazaq tіlіnіng zhiilіk sozdіgі. Almaty: Qazaq tіlі baspasy. 665 b. [Zhubanov, A., Zhanabekova, A., Karbozova, B., Kozhakhmetova, A. (2016) Frequency dictionary of the Kazakh language. Almaty: Kazakh Language Publishing House, 665 p.] (in Kazakh)</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
