ЭВОЛЮЦИЯ ТЕОРЕТИЧЕСКИХ ПОДХОДОВ К АНАЛИЗУ ТЕКСТА В ОБЛАСТИ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА (NLP)
Ключевые слова:
обработка естественного языка (NLP), компьютерная лингвистика, подход на основе правил, корпусная лингвистика, статистические модели, машинное обучение, нейронные сети, трансформеры, семантический анализ, контекст.Аннотация
В статье подробно рассматриваются теоретико-методологическая
эволюция обработки естественного языка (NLP), этапы становления данной
области и современные тенденции её развития. В исследовании проводится
углублённый научно-теоретический анализ четырёх основных подходов к
анализу текста: основанного на правилах (генеративного), статистического и
корпусного, машинного обучения, а также парадигмы, основанной на нейронных
сетях. Наряду с научными взглядами зарубежных исследователей
сопоставительно изучаются достижения русской, татарской и узбекской
лингвистических школ в данной области, в частности вопросы автоматической
обработки тюркских языков с учётом их агглютинативных особенностей. В
статье обосновывается взаимосвязь эмпирического и формального
моделирования языковых единиц, раскрывается научная значимость учёта
семантической неоднозначности и контекста в современных системах
искусственного интеллекта.
Библиографические ссылки
1. Abduraxmonova N. Z. Kompyuter lingvistikasi: darslik. – Toshkent: Nodirabegim, 2021. – 394 b.
2. Chomsky N. Syntactic Structures. – The Hague: Mouton, 1957. – URL:
https://www.scribd.com/document/522339308/Chomsky-N-1957-Syntactic-Structures.
3. Wilks Y. A Preferential, Pattern-Seeking, Semantics for Natural Language Inference // Artificial Intelligence. – 1975.
– Vol. 6, № 1. – P. 53–74. – URL: https://aclanthology.org/J75-3003.pdf.
4. Winograd T. Understanding Natural Language // Cognitive Psychology. – 1972. – Vol. 3, № 1. – P. 1–191. – URL:
https://sites.google.com/view/terrywinogradhomepage/home.
5. Schank R. C., Abelson R. P. Scripts, Plans, Goals, and Understanding: An Inquiry into Human Knowledge Structures.
– Hillsdale, NJ: Lawrence Erlbaum Associates, 1977. – P. 35.
6. History and Evolution of Natural Language Processing (NLP) // GeeksforGeeks. – URL:
https://www.geeksforgeeks.org/history-and-evolution-of-nlp/.
7. Langley P., Iba W., Thompson K. An Analysis of Bayesian Classifiers. – AI Research Branch, USA, 1992. – P. 46–58.
8. Norris J. R. Markov Chains. – Cambridge: Cambridge University Press, 1997.
9. Sinclair J. Corpus, Concordance, Collocation. – Oxford: Oxford University Press, 1991.
10. Jelinek F. Statistical Methods for Speech Recognition. – Cambridge, MA: MIT Press, 1997.
11. Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing. – Cambridge, MA: MIT Press,
1999. – URL: https://nlp.stanford.edu/fsnlp/.
12. McEnery T., Hardie A. Corpus Linguistics: Method, Theory and Practice. – Cambridge: Cambridge University Press,
2012. – URL: https://api.pageplace.de/preview/DT0400.9781139153225_A23866597/preview-
9781139153225_A23866597.pdf.
13. Markov A. A. An Example of Statistical Investigation of the Text Eugene Onegin. – URL:
tistical_MarkovTrans_2007.pdf.
14. Melʹčuk I. A. Dependency Syntax: Theory and Practice. – Albany: State University of New York Press, 1988. – URL:
https://books.google.co.uz/books?id=diq29vrjAa4C.
15. Apresjan Yu. D. Lexical Semantics: User’s Guide to Contemporary Russian Vocabulary. – Ann Arbor: Karoma
Publishers, 1992.
16. Gatiatullin A. The Tatar National Corpus: Principles of Creation and Linguistic Use.
17. Oflazer K. Two-Level Description of Turkish Morphology. – 1994. – URL: https://aclanthology.org/E93-1066.pdf.
18. Çöltekin Ç. A Set of Open Source Tools for Turkish Natural Language Processing // Proceedings of the Ninth
International Conference on Language Resources and Evaluation (LREC 2014). – Reykjavik, 2014. – URL: http://www.lrec-
conf.org/proceedings/lrec2014/pdf/437_Paper.pdf.
19. Vapnik V. N. Statistical Learning Theory. – New York: Wiley, 1998.
20. Mitchell T. M. Machine Learning. – New York: McGraw-Hill, 1997.
21. Rosenblatt F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain //
Psychological Review. – 1958. – Vol. 65, № 6. – P. 386–408.
22. LeCun Y., Bengio Y., Hinton G. Deep Learning // Nature. – 2015. – Vol. 521. – P. 436–444. – DOI:
https://doi.org/10.1038/nature14539.
23. Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space. – 2013. –
URL: https://arxiv.org/pdf/1301.3781.
24. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. – 1997. – Vol. 9, № 8. – P. 1735–
1780. – DOI: https://doi.org/10.1162/neco.1997.9.8.1735.
25. Vaswani A. et al. Attention Is All You Need // Advances in Neural Information Processing Systems (NeurIPS). –
2017. – Vol. 30.