ФОРМИРОВАНИЕ И ЭТАПЫ РАЗВИТИЯ ОБЛАСТИ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА (NLP)
В этой статье систематически анализируются формирование и этапы развития области обработки естественного языка. В
исследовании на основе научных источников освещаются основные эволюционные периоды истории NLP, включая
подходы на основе правил и грамматики, семантические и символические модели, статистические методы, а также
глубокое обучение и крупные предобученные языковые модели. В процессе обзора литературы последовательно
анализируются первоначальные идеи машинного перевода, концептуальные онтологии, статистические модели на основе
корпусов и формирование современных нейронных архитектур. Кроме того, показан вклад механизма внимания,
архитектуры Transformer и подходов transfer learning в развитие NLP. Проведенный анализ служит важной научной
основой для определения теоретических и методологических основ современных систем NLP и для разработки
эффективных моделей автоматического анализа текста для языков с низкими ресурсами, в частности узбекского языка.
1. Liddy E.D. Natural Language Processing // Encyclopedia of Library and Information Science. – New York: Marcel Dekker,
2001. – P. 2126–2136.
2. Thistlethwaite F., Dostert L. The Great Experiment: Machine Translation. – Washington, DC, 1955. – 98 p.
3. Charniak E. Passing markers: A theory of contextual influence in language comprehension // Cognitive Science. – 1983. –
Vol. 7, No. 3. – P. 171–190.
4. Brown P.F. et. al. Word-sense disambiguation using statistical methods // Proceedings of the 29th Annual Meeting of the
Association for Computational Linguistics. – 1991. – P. 264–270.
5. Bengio Y. et. al. A neural probabilistic language model // Journal of Machine Learning Research. – 2003. – Vol. 3. – P. 1137–
1155.
6. Bahdanau D. et. al. Neural machine translation by jointly learning to align and translate // arXiv preprint. – 2014. –
arXiv:1409.0473.
7. Daniluk M. et. al. Frustratingly short attention spans in neural language modeling // arXiv preprint. – 2017. –
arXiv:1702.04521.
8. Collobert R., Weston J. A unified architecture for natural language processing // Proceedings of the 25th International
Conference on Machine Learning (ICML). – 2008. – P. 160–167.
9. Socher R. et. al. Recursive deep models for semantic compositionality over a sentiment treebank // Proceedings of EMNLP
2013. – P. 1631–1642.
10. Tai K.S. et. al. Improved semantic representations from tree-structured LSTM networks // arXiv preprint. – 2015. –
arXiv:1503.00075.
11. Sutskever I. et. al. Sequence to sequence learning with neural networks // Advances in Neural Information Processing
Systems. Vol. 27. 2014. – P. 3104–3112.
12. Devlin J. et. al. BERT: Pre-training of deep bidirectional transformers for language understanding // Proceedings of NAACL-
HLT 2019. – P. 4171–4186.
Copyright (c) 2026 «ВЕСТНИК НУУз»
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-ShareAlike» («Атрибуция — Некоммерческое использование — На тех же условиях») 4.0 Всемирная.
.jpg)
2.png)
