Программа лекций и презентации по курсу "Обработка естественного языка"
- Лекция 1: введение
- Классификация задач обработки естественного языка.
- Численные оценки качества обработки.
- Классификация методов обработки языка.
- Лекция 2: вспомогательные задачи и формальные грамматики (презентация)
- Токенизация и сегментация.
- Формальные грамматики и Tomita-parser.
- Лемматизация и стемминг.
- Лекция 3: вероятностные алгоритмы (презентация)
- Скрытые марковские модели и алгоритм Витерби.
- Тематическое моделирование.
- EM-алгоритм.
- Лекция 4: введение в ИНС и полносвязные сети (презентация)
- Перцептрон, полносвязные сети и функции активации
- Векторное представление слов. и Word2vec.
- TensorFlow, Keras и PyTorch.
- Лекция 5: рекуррентные ИНС и модели памяти (презентация)
- Рекуррентные ИНС и и Seq2seq.
- Долгая краткосрочная память (LSTM).
- Управляемый рекуррентный блок (GRU).
- Лекция6: механизм внимания (презентация)
- Идея механизма внимания
- Подходы Бахданау и Луонга
- Лекция 7: трансформер (презентация)
- Трансформер.
- BERT.
- Лекция 8: GPT-3 и голосовые ассистенты (презентация)
- GPT-3.
- Голосовые ассистенты.