1. Введение. Общие основы изучения автоматического анализа и генерации человеческой речи и текста.
  2. Морфологический анализ. Определение частей речи, грамматических форм, основ и аффиксов слов.
  3. Синтаксический анализ. Построение структуры предложения и выявление связей между словами.
  4. Семантический анализ. Определение смысла слов, фраз и предложений с учётом контекста.
  5. Прагматический и дискурсивный анализ. Интерпретация текста с учётом ситуации общения, намерений автора и связей между предложениями.
  6. Компьютерная лексикография. Создание, хранение и использование электронных словарей, тезаурусов, онтологий и лингвистических баз данных.
  7. Корпусная лингвистика. Изучение языка на больших коллекциях текстов, называемых корпусами.
  8. Машинный перевод. Автоматический перевод текста или речи между языками.
  9. Распознавание речи. Преобразование устной речи в текст.
  10. Синтез речи. Преобразование текста в естественно звучащую речь.
  11. Информационный поиск. Поиск релевантных документов и ответов на запросы пользователя.
  12. Извлечение информации. Автоматическое выделение сущностей, фактов, событий и отношений из текста.
  13. Автоматическое реферирование. Создание кратких изложений документов.
  14. Анализ тональности и эмоций. Определение оценок, настроения и эмоциональной окраски текста.
  15. Диалоговые системы и чат-боты. Программы, поддерживающие общение с человеком на естественном языке.
  16. Генерация текста. Автоматическое создание связных текстов: ответов, описаний, отчётов, аннотаций и другого контента.

Дополнительные материалы

Задачи освоения дисциплины

Цель дисциплины — сформировать у обучающихся знания и практические навыки в области компьютерной лингвистики и обработки естественного языка, необходимые для анализа, поиска, извлечения, преобразования и генерации текстовой и речевой информации.

Задачи освоения дисциплины:

– Освоить понятийный аппарат компьютерной лингвистики, обработки естественного языка и интеллектуального анализа текстов.

– Освоить методы морфологического, синтаксического, семантического, прагматического и дискурсивного анализа текста.

– Освоить принципы построения лингвистических ресурсов: электронных словарей, тезаурусов, онтологий, корпусов текстов и баз лингвистических данных.

– Научиться применять понятийный аппарат обработки естественного языка для решения практических задач профессиональной деятельности.

– Научиться выполнять автоматическую предварительную обработку текстов: токенизацию, нормализацию, лемматизацию, определение частей речи и выделение синтаксических связей.

– Научиться применять методы семантического анализа для определения смысла слов, словосочетаний и предложений с учётом контекста.

– Научиться использовать корпусные методы для исследования языковых явлений и создания обучающих выборок.

– Научиться разрабатывать и оценивать системы машинного перевода, распознавания и синтеза речи.

– Научиться строить системы информационного поиска, ранжирования документов и поиска ответов на вопросы пользователей.

– Научиться извлекать из текстов сущности, факты, события, отношения и другие структурированные сведения.

– Научиться применять методы автоматического реферирования и генерации текстов.

– Научиться анализировать тональность, эмоциональную окраску и субъективные оценки в текстах.

– Научиться проектировать диалоговые системы, чат-боты и интеллектуальных текстовых ассистентов.

– Научиться оценивать качество систем обработки естественного языка с использованием количественных и экспертных методов.

Результаты обучения по дисциплине:

После освоения дисциплины обучающийся должен знать основные уровни лингвистического анализа, принципы представления языка в компьютерных системах, методы обработки текстов и речи, а также области применения технологий NLP.

После освоения дисциплины обучающийся должен уметь подготавливать текстовые данные, выбирать методы решения NLP-задач, использовать готовые библиотеки и модели, анализировать ошибки и оценивать качество результатов.

После освоения дисциплины обучающийся должен владеть навыками разработки программных прототипов для обработки текста и речи, работы с корпусами, лингвистическими ресурсами, предобученными моделями и API языковых сервисов.

Входные требования для освоения дисциплины

Для успешного освоения дисциплины требуются компетенции, сформированные в ходе освоения образовательных программ предшествующего уровня образования.

Обучающийся должен обладать базовыми знаниями в области программирования, алгоритмов, структур данных, баз данных, математической статистики и основ искусственного интеллекта.

Желательно наличие общего представления о лингвистике, теории языка, машинном обучении и анализе данных.

Для успешного освоения дисциплины требуются результаты обучения по следующим дисциплинам или их содержательным аналогам:

– «Программирование».

– «Объектно-ориентированное программирование».

– «Алгоритмы и структуры данных».

– «Базы данных».

– «Математическая статистика».

– «Теория вероятностей».

– «Дискретная математика».

– «Основы искусственного интеллекта».

– «Машинное обучение» или «Интеллектуальный анализ данных».

– «Информационные технологии».

– «Русский язык и культура речи» или «Введение в языкознание» в части базовых лингвистических понятий.

Минимальные практические входные навыки:

– Владение языком программирования Python на базовом или среднем уровне.

– Умение работать с функциями, классами, коллекциями, файлами, исключениями и пакетами Python.

– Умение устанавливать библиотеки и использовать виртуальные окружения.

– Понимание форматов TXT, CSV, JSON, XML и HTML.

– Базовые навыки работы с таблицами данных.

– Понимание принципов работы с базами данных и SQL на начальном уровне.

– Базовые представления о классификации, регрессии, обучающей и тестовой выборках.

– Умение читать техническую документацию на русском и английском языках.

Для обучающихся без опыта в программировании рекомендуется предварительно освоить основы Python, работу с библиотеками pandas и регулярными выражениями.

Для обучающихся без лингвистической подготовки рекомендуется изучить базовые понятия: слово, лемма, морфема, часть речи, синтаксическая зависимость, значение слова, омонимия, синонимия и многозначность.

Экзамен

Для данной дисциплины рекомендуется проводить устный экзамен с практической составляющей. Такая форма позволяет проверить понимание лингвистических и алгоритмических основ обработки естественного языка, а также умение выбирать методы решения прикладных задач. Обучающийся должен не только дать определение используемым понятиям, но и объяснить, почему для конкретной задачи следует применять определённый метод, модель или способ оценки качества.

Рекомендуемая структура экзамена:

– Один теоретический вопрос по основам компьютерной лингвистики или обработке естественного языка.

– Один практико-ориентированный вопрос с анализом прикладной ситуации.

– Ответы на дополнительные вопросы преподавателя.

Рекомендуемая литература, электронные курсы и программное обеспечение

  1. Jurafsky D., Martin J.
    Speech and Language Processing.
    Электронная версия учебника доступна на сайте авторов.
    Книга охватывает морфологический и синтаксический анализ, семантику, машинный перевод, распознавание речи, диалоговые системы, информационный поиск и языковые модели.

  2. Manning C. D., Schütze H.
    Foundations of Statistical Natural Language Processing.
    MIT Press.
    Классическое издание по статистическим методам обработки естественного языка.

  3. Bird S., Klein E., Loper E.
    Natural Language Processing with Python.
    O’Reilly Media.
    Практическое введение в компьютерную лингвистику и обработку текстов с использованием библиотеки NLTK.

  4. Eisenstein J.
    Introduction to Natural Language Processing.
    MIT Press.
    Современный учебник по методам анализа текста, машинному обучению и нейросетевым подходам в NLP.

  5. Goldberg Y.
    Neural Network Methods for Natural Language Processing.
    Morgan & Claypool Publishers.
    Книга посвящена нейросетевым моделям для обработки текстов.

  6. Сокирко А. В.
    Компьютерная лингвистика.
    Учебные и методические материалы по автоматической обработке русского языка, корпусной лингвистике и лингвистическим ресурсам.

Дополнительная литература и электронные ресурсы

  1. Документация NLTK.
    https://www.nltk.org

  2. Документация Hugging Face Transformers.
    https://huggingface.co/docs/transformers
    Материалы по применению трансформерных моделей для классификации, перевода, суммаризации, извлечения информации и генерации текста.

  3. Документация Hugging Face Datasets.
    https://huggingface.co/docs/datasets
    Материалы по загрузке, обработке и использованию наборов текстовых и речевых данных.

  4. Национальный корпус русского языка.
    https://ruscorpora.ru
    Ресурс для изучения русского языка на материале размеченных текстовых коллекций.

  5. OpenCorpora.
    https://opencorpora.org
    Открытый корпус русского языка с морфологической и синтаксической разметкой.

  6. Universal Dependencies.
    https://universaldependencies.org
    Коллекция деревьев зависимостей для многих языков, используемая при обучении и оценке синтаксических моделей.

Электронные курсы

  1. Hugging Face Course.
    https://huggingface.co/learn/nlp-course
    Бесплатный курс по трансформерным моделям, токенизации, классификации текстов, генерации и дообучению моделей.

  2. DeepLearning.AI — Natural Language Processing Specialization.
    Специализация по классификации текстов, вероятностным моделям, последовательным нейронным сетям, attention-механизмам и трансформерам.

  3. Coursera — Natural Language Processing.
    Курсы по основам NLP, информационному поиску, анализу тональности, машинному переводу и диалоговым системам.

  4. Stepik — курсы по Python, машинному обучению и обработке естественного языка.
    Можно использовать русскоязычные курсы как подготовительный материал для работы с текстами на русском языке.

  5. Kaggle Learn.
    Краткие интерактивные курсы по Python, pandas, машинному обучению и анализу данных.

Необходимое программное обеспечение

Обязательное ПО:

– Операционная система Windows, Linux или macOS.

– Python версии 3.10 или выше.

– Visual Studio Code, PyCharm Community Edition или другая среда разработки.

– JupyterLab или Jupyter Notebook.

– Git.

– Браузер для работы с электронными корпусами, документацией и облачными сервисами.

– pip, Poetry, uv или Conda для управления зависимостями.

Основные библиотеки Python:

– pandas для обработки табличных данных.

– NumPy для численных вычислений.

– matplotlib и seaborn для визуализации данных.

– scikit-learn для классического машинного обучения и расчёта метрик.

– NLTK для изучения базовых задач обработки текста.

– transformers для применения предобученных трансформерных моделей.

– datasets для работы с наборами данных.

– sentence-transformers для построения текстовых эмбеддингов и семантического поиска.

– gensim для тематического моделирования и работы с векторными представлениями слов.

– pymystem3 или Mystem для лемматизации русскоязычных текстов при необходимости.

Дополнительные инструменты:

– Docker для запуска баз данных, поисковых систем и сервисов в контейнерах.

– PostgreSQL или SQLite для хранения текстов, разметки и результатов обработки.

– Elasticsearch или OpenSearch для реализации полнотекстового поиска.

– Qdrant, Chroma или FAISS для семантического поиска по эмбеддингам.

– Label Studio или Doccano для ручной разметки текстов, сущностей, тональности и классификационных меток.

5. Лабораторные работы

Лабораторная работа № 1. Предварительная обработка текста

Цель работы — освоить базовые методы подготовки текстовых данных для дальнейшего анализа.

Содержание работы:

– Загрузить текстовый корпус.

– Выполнить очистку текста от технических символов, HTML-разметки и нерелевантных элементов.

– Реализовать токенизацию текста.

– Выполнить нормализацию регистра.

– Удалить или проанализировать стоп-слова.

– Выполнить лемматизацию или стемминг.

– Рассчитать частотные характеристики слов и словосочетаний.

– Визуализировать наиболее частотные единицы корпуса.

Результат работы — подготовленный набор текстов и отчёт о применённых методах предобработки.

Лабораторная работа № 2. Морфологический и синтаксический анализ

Цель работы — изучить автоматическое определение грамматических характеристик слов и связей между ними.

Содержание работы:

– Определить части речи для слов в предложениях.

– Выполнить морфологический разбор слов.

– Получить начальные формы слов.

– Построить дерево синтаксических зависимостей.

– Выделить подлежащее, сказуемое, дополнения, определения и обстоятельства.

– Сравнить результаты работы двух библиотек обработки текста.

– Проанализировать ошибки автоматического разбора.

Результат работы — программа, выполняющая морфологический и синтаксический анализ русскоязычных текстов.

Примеры вопросов к экзамену

  1. Что изучает компьютерная лингвистика?

  2. Какие уровни анализа естественного языка выделяют в компьютерной лингвистике?

  3. Что такое токенизация и какие проблемы возникают при токенизации русскоязычных текстов?

  4. В чём различие между лемматизацией и стеммингом?

  5. Что такое морфологический анализ текста?

  6. Что такое часть речи и зачем она определяется в автоматической обработке текста?

  7. Что такое синтаксический анализ?

  8. Чем синтаксический разбор на основе зависимостей отличается от разбора по составляющим?

  9. Что такое семантический анализ текста?

  10. Что такое многозначность слова и почему она создаёт трудности для автоматической обработки языка?

  11. Что такое прагматический анализ?

  12. Что изучает дискурсивный анализ?

  13. Что такое электронный словарь, тезаурус и онтология?

  14. Что такое лингвистический корпус?

  15. Какие требования предъявляются к корпусу текстов?

  16. Что такое морфологическая, синтаксическая и семантическая разметка корпуса?

  17. Что такое машинный перевод?

  18. Какие подходы к машинному переводу существовали до появления нейросетевых моделей?

  19. Какие метрики применяются для оценки качества машинного перевода?

  20. Что такое автоматическое распознавание речи?

  21. Какие факторы влияют на качество распознавания речи?

  22. Что такое синтез речи?

  23. Что такое информационный поиск?

  24. Чем полнотекстовый поиск отличается от семантического поиска?

  25. Что такое индексирование документов?

  26. Что такое TF-IDF?

  27. Что такое эмбеддинг текста и для чего он используется?

  28. Что такое извлечение именованных сущностей?

  29. Какие типы сущностей обычно выделяются в текстах?

  30. Что такое извлечение отношений и фактов из текста?