- Введение. Общие основы изучения автоматического анализа и генерации человеческой речи и текста.
- Морфологический анализ. Определение частей речи, грамматических форм, основ и аффиксов слов.
- Синтаксический анализ. Построение структуры предложения и выявление связей между словами.
- Семантический анализ. Определение смысла слов, фраз и предложений с учётом контекста.
- Прагматический и дискурсивный анализ. Интерпретация текста с учётом ситуации общения, намерений автора и связей между предложениями.
- Компьютерная лексикография. Создание, хранение и использование электронных словарей, тезаурусов, онтологий и лингвистических баз данных.
- Корпусная лингвистика. Изучение языка на больших коллекциях текстов, называемых корпусами.
- Машинный перевод. Автоматический перевод текста или речи между языками.
- Распознавание речи. Преобразование устной речи в текст.
- Синтез речи. Преобразование текста в естественно звучащую речь.
- Информационный поиск. Поиск релевантных документов и ответов на запросы пользователя.
- Извлечение информации. Автоматическое выделение сущностей, фактов, событий и отношений из текста.
- Автоматическое реферирование. Создание кратких изложений документов.
- Анализ тональности и эмоций. Определение оценок, настроения и эмоциональной окраски текста.
- Диалоговые системы и чат-боты. Программы, поддерживающие общение с человеком на естественном языке.
- Генерация текста. Автоматическое создание связных текстов: ответов, описаний, отчётов, аннотаций и другого контента.
Дополнительные материалы
Задачи освоения дисциплины
Цель дисциплины — сформировать у обучающихся знания и практические навыки в области компьютерной лингвистики и обработки естественного языка, необходимые для анализа, поиска, извлечения, преобразования и генерации текстовой и речевой информации.
Задачи освоения дисциплины:
– Освоить понятийный аппарат компьютерной лингвистики, обработки естественного языка и интеллектуального анализа текстов.
– Освоить методы морфологического, синтаксического, семантического, прагматического и дискурсивного анализа текста.
– Освоить принципы построения лингвистических ресурсов: электронных словарей, тезаурусов, онтологий, корпусов текстов и баз лингвистических данных.
– Научиться применять понятийный аппарат обработки естественного языка для решения практических задач профессиональной деятельности.
– Научиться выполнять автоматическую предварительную обработку текстов: токенизацию, нормализацию, лемматизацию, определение частей речи и выделение синтаксических связей.
– Научиться применять методы семантического анализа для определения смысла слов, словосочетаний и предложений с учётом контекста.
– Научиться использовать корпусные методы для исследования языковых явлений и создания обучающих выборок.
– Научиться разрабатывать и оценивать системы машинного перевода, распознавания и синтеза речи.
– Научиться строить системы информационного поиска, ранжирования документов и поиска ответов на вопросы пользователей.
– Научиться извлекать из текстов сущности, факты, события, отношения и другие структурированные сведения.
– Научиться применять методы автоматического реферирования и генерации текстов.
– Научиться анализировать тональность, эмоциональную окраску и субъективные оценки в текстах.
– Научиться проектировать диалоговые системы, чат-боты и интеллектуальных текстовых ассистентов.
– Научиться оценивать качество систем обработки естественного языка с использованием количественных и экспертных методов.
Результаты обучения по дисциплине:
После освоения дисциплины обучающийся должен знать основные уровни лингвистического анализа, принципы представления языка в компьютерных системах, методы обработки текстов и речи, а также области применения технологий NLP.
После освоения дисциплины обучающийся должен уметь подготавливать текстовые данные, выбирать методы решения NLP-задач, использовать готовые библиотеки и модели, анализировать ошибки и оценивать качество результатов.
После освоения дисциплины обучающийся должен владеть навыками разработки программных прототипов для обработки текста и речи, работы с корпусами, лингвистическими ресурсами, предобученными моделями и API языковых сервисов.
Входные требования для освоения дисциплины
Для успешного освоения дисциплины требуются компетенции, сформированные в ходе освоения образовательных программ предшествующего уровня образования.
Обучающийся должен обладать базовыми знаниями в области программирования, алгоритмов, структур данных, баз данных, математической статистики и основ искусственного интеллекта.
Желательно наличие общего представления о лингвистике, теории языка, машинном обучении и анализе данных.
Для успешного освоения дисциплины требуются результаты обучения по следующим дисциплинам или их содержательным аналогам:
– «Программирование».
– «Объектно-ориентированное программирование».
– «Алгоритмы и структуры данных».
– «Базы данных».
– «Математическая статистика».
– «Теория вероятностей».
– «Дискретная математика».
– «Основы искусственного интеллекта».
– «Машинное обучение» или «Интеллектуальный анализ данных».
– «Информационные технологии».
– «Русский язык и культура речи» или «Введение в языкознание» в части базовых лингвистических понятий.
Минимальные практические входные навыки:
– Владение языком программирования Python на базовом или среднем уровне.
– Умение работать с функциями, классами, коллекциями, файлами, исключениями и пакетами Python.
– Умение устанавливать библиотеки и использовать виртуальные окружения.
– Понимание форматов TXT, CSV, JSON, XML и HTML.
– Базовые навыки работы с таблицами данных.
– Понимание принципов работы с базами данных и SQL на начальном уровне.
– Базовые представления о классификации, регрессии, обучающей и тестовой выборках.
– Умение читать техническую документацию на русском и английском языках.
Для обучающихся без опыта в программировании рекомендуется предварительно освоить основы Python, работу с библиотеками pandas и регулярными выражениями.
Для обучающихся без лингвистической подготовки рекомендуется изучить базовые понятия: слово, лемма, морфема, часть речи, синтаксическая зависимость, значение слова, омонимия, синонимия и многозначность.
Экзамен
Для данной дисциплины рекомендуется проводить устный экзамен с практической составляющей. Такая форма позволяет проверить понимание лингвистических и алгоритмических основ обработки естественного языка, а также умение выбирать методы решения прикладных задач. Обучающийся должен не только дать определение используемым понятиям, но и объяснить, почему для конкретной задачи следует применять определённый метод, модель или способ оценки качества.
Рекомендуемая структура экзамена:
– Один теоретический вопрос по основам компьютерной лингвистики или обработке естественного языка.
– Один практико-ориентированный вопрос с анализом прикладной ситуации.
– Ответы на дополнительные вопросы преподавателя.
Рекомендуемая литература, электронные курсы и программное обеспечение
-
Jurafsky D., Martin J.
Speech and Language Processing.
Электронная версия учебника доступна на сайте авторов.
Книга охватывает морфологический и синтаксический анализ, семантику, машинный перевод, распознавание речи, диалоговые системы, информационный поиск и языковые модели. -
Manning C. D., Schütze H.
Foundations of Statistical Natural Language Processing.
MIT Press.
Классическое издание по статистическим методам обработки естественного языка. -
Bird S., Klein E., Loper E.
Natural Language Processing with Python.
O’Reilly Media.
Практическое введение в компьютерную лингвистику и обработку текстов с использованием библиотеки NLTK. -
Eisenstein J.
Introduction to Natural Language Processing.
MIT Press.
Современный учебник по методам анализа текста, машинному обучению и нейросетевым подходам в NLP. -
Goldberg Y.
Neural Network Methods for Natural Language Processing.
Morgan & Claypool Publishers.
Книга посвящена нейросетевым моделям для обработки текстов. -
Сокирко А. В.
Компьютерная лингвистика.
Учебные и методические материалы по автоматической обработке русского языка, корпусной лингвистике и лингвистическим ресурсам.
Дополнительная литература и электронные ресурсы
-
Документация NLTK.
https://www.nltk.org -
Документация Hugging Face Transformers.
https://huggingface.co/docs/transformers
Материалы по применению трансформерных моделей для классификации, перевода, суммаризации, извлечения информации и генерации текста. -
Документация Hugging Face Datasets.
https://huggingface.co/docs/datasets
Материалы по загрузке, обработке и использованию наборов текстовых и речевых данных. -
Национальный корпус русского языка.
https://ruscorpora.ru
Ресурс для изучения русского языка на материале размеченных текстовых коллекций. -
OpenCorpora.
https://opencorpora.org
Открытый корпус русского языка с морфологической и синтаксической разметкой. -
Universal Dependencies.
https://universaldependencies.org
Коллекция деревьев зависимостей для многих языков, используемая при обучении и оценке синтаксических моделей.
Электронные курсы
-
Hugging Face Course.
https://huggingface.co/learn/nlp-course
Бесплатный курс по трансформерным моделям, токенизации, классификации текстов, генерации и дообучению моделей. -
DeepLearning.AI — Natural Language Processing Specialization.
Специализация по классификации текстов, вероятностным моделям, последовательным нейронным сетям, attention-механизмам и трансформерам. -
Coursera — Natural Language Processing.
Курсы по основам NLP, информационному поиску, анализу тональности, машинному переводу и диалоговым системам. -
Stepik — курсы по Python, машинному обучению и обработке естественного языка.
Можно использовать русскоязычные курсы как подготовительный материал для работы с текстами на русском языке. -
Kaggle Learn.
Краткие интерактивные курсы по Python, pandas, машинному обучению и анализу данных.
Необходимое программное обеспечение
Обязательное ПО:
– Операционная система Windows, Linux или macOS.
– Python версии 3.10 или выше.
– Visual Studio Code, PyCharm Community Edition или другая среда разработки.
– JupyterLab или Jupyter Notebook.
– Git.
– Браузер для работы с электронными корпусами, документацией и облачными сервисами.
– pip, Poetry, uv или Conda для управления зависимостями.
Основные библиотеки Python:
– pandas для обработки табличных данных.
– NumPy для численных вычислений.
– matplotlib и seaborn для визуализации данных.
– scikit-learn для классического машинного обучения и расчёта метрик.
– NLTK для изучения базовых задач обработки текста.
– transformers для применения предобученных трансформерных моделей.
– datasets для работы с наборами данных.
– sentence-transformers для построения текстовых эмбеддингов и семантического поиска.
– gensim для тематического моделирования и работы с векторными представлениями слов.
– pymystem3 или Mystem для лемматизации русскоязычных текстов при необходимости.
Дополнительные инструменты:
– Docker для запуска баз данных, поисковых систем и сервисов в контейнерах.
– PostgreSQL или SQLite для хранения текстов, разметки и результатов обработки.
– Elasticsearch или OpenSearch для реализации полнотекстового поиска.
– Qdrant, Chroma или FAISS для семантического поиска по эмбеддингам.
– Label Studio или Doccano для ручной разметки текстов, сущностей, тональности и классификационных меток.
5. Лабораторные работы
Лабораторная работа № 1. Предварительная обработка текста
Цель работы — освоить базовые методы подготовки текстовых данных для дальнейшего анализа.
Содержание работы:
– Загрузить текстовый корпус.
– Выполнить очистку текста от технических символов, HTML-разметки и нерелевантных элементов.
– Реализовать токенизацию текста.
– Выполнить нормализацию регистра.
– Удалить или проанализировать стоп-слова.
– Выполнить лемматизацию или стемминг.
– Рассчитать частотные характеристики слов и словосочетаний.
– Визуализировать наиболее частотные единицы корпуса.
Результат работы — подготовленный набор текстов и отчёт о применённых методах предобработки.
Лабораторная работа № 2. Морфологический и синтаксический анализ
Цель работы — изучить автоматическое определение грамматических характеристик слов и связей между ними.
Содержание работы:
– Определить части речи для слов в предложениях.
– Выполнить морфологический разбор слов.
– Получить начальные формы слов.
– Построить дерево синтаксических зависимостей.
– Выделить подлежащее, сказуемое, дополнения, определения и обстоятельства.
– Сравнить результаты работы двух библиотек обработки текста.
– Проанализировать ошибки автоматического разбора.
Результат работы — программа, выполняющая морфологический и синтаксический анализ русскоязычных текстов.
Примеры вопросов к экзамену
-
Что изучает компьютерная лингвистика?
-
Какие уровни анализа естественного языка выделяют в компьютерной лингвистике?
-
Что такое токенизация и какие проблемы возникают при токенизации русскоязычных текстов?
-
В чём различие между лемматизацией и стеммингом?
-
Что такое морфологический анализ текста?
-
Что такое часть речи и зачем она определяется в автоматической обработке текста?
-
Что такое синтаксический анализ?
-
Чем синтаксический разбор на основе зависимостей отличается от разбора по составляющим?
-
Что такое семантический анализ текста?
-
Что такое многозначность слова и почему она создаёт трудности для автоматической обработки языка?
-
Что такое прагматический анализ?
-
Что изучает дискурсивный анализ?
-
Что такое электронный словарь, тезаурус и онтология?
-
Что такое лингвистический корпус?
-
Какие требования предъявляются к корпусу текстов?
-
Что такое морфологическая, синтаксическая и семантическая разметка корпуса?
-
Что такое машинный перевод?
-
Какие подходы к машинному переводу существовали до появления нейросетевых моделей?
-
Какие метрики применяются для оценки качества машинного перевода?
-
Что такое автоматическое распознавание речи?
-
Какие факторы влияют на качество распознавания речи?
-
Что такое синтез речи?
-
Что такое информационный поиск?
-
Чем полнотекстовый поиск отличается от семантического поиска?
-
Что такое индексирование документов?
-
Что такое TF-IDF?
-
Что такое эмбеддинг текста и для чего он используется?
-
Что такое извлечение именованных сущностей?
-
Какие типы сущностей обычно выделяются в текстах?
-
Что такое извлечение отношений и фактов из текста?