Программа лекций и презентации по курсу "Обработка естественного языка"

• Лекция 1: введение
  1. Классификация задач обработки естественного языка.
  2. Численные оценки качества обработки.
  3. Классификация методов обработки языка.
• Лекция 2: вспомогательные задачи и формальные грамматики (презентация)
  1. Токенизация и сегментация.
  2. Формальные грамматики и Tomita-parser.
  3. Лемматизация и стемминг.
• Лекция 3: вероятностные алгоритмы (презентация)
  1. Скрытые марковские модели и алгоритм Витерби.
  2. Тематическое моделирование.
  3. EM-алгоритм.
• Лекция 4: введение в ИНС и полносвязные сети (презентация)
  1. Перцептрон, полносвязные сети и функции активации
  2. Векторное представление слов. и Word2vec.
  3. TensorFlow, Keras и PyTorch.
• Лекция 5: рекуррентные ИНС и модели памяти (презентация)
  1. Рекуррентные ИНС и и Seq2seq.
  2. Долгая краткосрочная память (LSTM).
  3. Управляемый рекуррентный блок (GRU).
• Лекция6: механизм внимания (презентация)
  1. Идея механизма внимания
  2. Подходы Бахданау и Луонга
  • Self-attention
• Лекция 7: трансформер (презентация)
  1. Трансформер.
  2. BERT.
• Лекция 8: GPT-3 и голосовые ассистенты (презентация)
  1. GPT-3.
  2. Голосовые ассистенты.