Канд. тех. н. Пожидаев М. С., канд. пед. наук Голошумов А. Ю., Михайлова С. М., Теплых Е. С.
Научный электронный журнал «Вопросы устойчивого развития общества», №3, 2022 г.
Статья предлагает классификацию задач тифлопедагогики с точки зрения возможности их решения при помощи ИТ. Особое внимание уделено практической возможности адаптации учебных материалов и применению для этого технологий автоматической обработки информации. Приведено описание имеющихся результатов и исследований, ведущихся в настоящий момент.
Шрифт Брайля играет роль основы тифлопедагогики на протяжении уже почти двухсот лет, но в настоящее время новые возможности обучения детей с нарушениями зрения могут предоставить информационные технологии (ИТ), обладающие потенциалом расширения и замещения традиционных образовательных методик. Преимущества применения ИТ очевидны: распространение и чтение учебных материалов становятся проще и дешевле, больше автоматизируется работа педагогов и т. д., но на первое место мы хотели бы поставить снижение дистанции между детьми с нарушениями зрения и цифрового мира, позволяющее сблизить незрячих учащихся со сверстниками, не имеющих существенных ограничений зрения.
При всей сложности решения тифлопедагогических задач следует помнить, что доля людей с нарушениями зрения в общем количестве населения сравнительно невелика: по разным оценкам количество незрячих в России колеблется от 100 до 300 тыс. человек, что составляет приблизительно 0,07–0,2% от населения России. Коллективы, ведущие разработку ИТ для такой сравнительно небольшой аудитории, не могут иметь в своём составе более 10–15 человек. Таким образом, возникает необходимость решения весьма сложной задачи, направленной на обеспечение высокого уровня образования и качества жизни при наличии крайне скромных ресурсов. Это возможно только при максимальном задействовании предельно автоматизированных решений, включая переживающих в настоящий момент активное развитие интеллектуальных технологий, подразумевающих минимальное применение ручного труда операторов.
Целью настоящей статьи является классификация тифлопедагогических задач и предложение их решений в существующих обстоятельствах. Помимо упомянутой основной сложности следует также учитывать такие дополнительные трудности:
В соответствии с Федеральным Законом от 29.12.2012 №273-ФЗ "Об образовании в РФ" и ФГОС ОВЗ НОО, на данный момент в России существуют и функционируют коррекционные учебные заведения для детей с особыми возможностями. Однако инклюзивное образование является одним из основных направлений реформы системы специального образования, цель которой — реализация права на образование без дискриминации.
Обучающимся, читающим с помощью осязания, не хватает времени, незрячий школьник имеет возможность обучаться, используя учебники и книги с точечно-рельефным шрифтом, аудиокниги. Но эта возможность часто оказывается недоступной, т. к. учебники и книги по Брайлю учащиеся не имеют возможность самостоятельно приобретать, (только в специальных библиотеках), что затрудняет процесс обучения, да и учебная информация зачастую не совпадает с той, которая содержится в современных учебниках. Таким образом, учащиеся с особыми образовательными возможностями оказываются в неравных условиях с остальными учащимися. У них нет практической возможности адаптации учебных материалов. Сложившаяся ситуация не только тормозит обучение в школе, но и ограничивает людей с особыми возможностями получать участие в глобальном обмене информацией, а значит и получения образования, и производительной и высокоинтеллектуальной профессиональной деятельности, и, в конечном итоге, плодотворной и полноценной жизни на благо общества.
Мы предлагаем следующую классификацию существующих задач, не предполагающих выполнение самостоятельных упражнений, т. е. связанных преимущественно с восприятием учебно-методического материала:
В следующем разделе рассмотрим способы решения перечисленных задач, кроме последнего пункта, решение которого описано в разд. 4.1.
Рассмотрим наиболее практически пригодные способы решения перечисленных задач. Почти все из них предполагают наличие комплекса технических средств, включающий в себя как инструментарий для учащегося, при помощи которого он способен работать с материалом, так и инструментарий для подготовки материала. Подготовка материала является намного более сложной и масштабной задачей, нежели подготовка инструментария для его интерактивного восприятия учащимися, поскольку информации для обработки очень много, и она крайне разнохарактерна.
Основой для чтения текстов, включающих художественную литературу и любые учебники, не содержащие математические, физические и химические формулы, служит международный формат DAISY [1]. Этот формат подразумевает синхронизацию текста и записанного голоса диктора. Ключевой характеристикой книги в нём является детальность проведённой синхронизации. Ниже мы будем рассматривать только случаи, когда синхронизация проводится с точностью не грубее, чем по предложениям.
Совершенно очевидно, что в качестве речевой части книги может выступать как записанный в студии голос диктора, так и запись, созданная при помощи речевого синтезатора. Ручная разметка записей, созданных при помощи диктора, — чрезвычайно трудоёмкий процесс. Иногда можно встретить упоминание, что отношение необходимого времени оценивается как 1:20, т.е. для одного часа записи диктора требуется около 20 часов ручной работы для последующей разметки. Наш собственный опыт позволяет дать другую оценку (см. ниже), но в любом случае затраты остаются неприемлемыми. Процесс автоматизируется при помощи алгоритмов обработки сигналов с использованием математического аппарата, но неожиданной сложностью оказался поиск текстов, использованных диктором для производства большинства существующих записей. Другими словами, даже при наличии безупречного алгоритма автоматической синхронизации текста и речи требуется ручная проверка точности соответствия текста записи, что практически сводит к минимуму любой полезный эффект автоматизации.
Создание литературы в формате DAISY при помощи речевых синтезаторов ещё недавно вызывало всеобщее неприятие, но развитие речевых технологий, которое можно в настоящий момент наблюдать, приводит к тому, что качество получаемых записей улучшается, и даже при сохранении общего ощущения работы "робота", прочие преимущества этого подхода могут сделать его одним из самых популярных. Мы видим здесь некоторую аналогию с ситуацией, которую пережили сферы цифровой фотографии и цифровых музыкальных инструментов — даже при сохраняющихся недостатках цифровой фотографии и качества звучания цифровых пианино они становятся крайне популярными за счёт более высокой практичности и меньших расходов на обслуживание.
При этом на первое место выходит задача обработки исходного материала, на основе которого создаётся DAISY-книга. Здесь уже нет диктора, который в ходе подготовки записи проводит визуальное восприятие материала и транслирует его в речь естественным образом. Это приводит к необходимости решения двух непростых задач:
Книги, которые можно использовать в качестве исходного материала для подготовки DAISY-издания, у правообладателей чаще всего находятся в самых неудобных для этого форматах — TXT и PDF. Оба эти формата не имеют внутренней информации о структуре издания, подразумевая, что читатель самостоятельно разберётся с тем, как организована книга. Причём в случае формата PDF это восприятие преимущественно визуальное. Некоторые варианты документов в формате PDF не имеют даже пробелов в тексте, что приводит к необходимости их восстановления при помощи эвристических алгоритмов. Существуют книги в более удобных форматах, таких как, например, EPUB и FB2, но они популярны преимущественно среди нелегальных распространителей литературы.
Как в случае с TXT, так и в случае с PDF задача восстановления структуры может быть решена при помощи построения нейросети, выполняющую задачу классификации. Здесь под классификацией мы подразумеваем задачу, в которой определены: множество классов C = {c1,c2,...,cn}, множество элементов для классификации E={e1,e2,...,ek}, в котором каждый элемент ei имеет множество атрибутов и их значений Ai={a1=vi1,a2=vi2,...,am=vim}. Напомним, что согласно традиции построения алгоритмов машинного обучения элементы vij могут быть только числами. Задача сводится к тому, чтобы каждый ei был бы однозначно отнесён одному из классов, принадлежащих C, на основе множества атрибутов Ai.
В случае файлов TXT множество классов C включает в себя такие элементы как начало абзаца, заголовок первого, второго и т. д. уровня, элемент для пропуска, начало элемента списка, и пр. Множество E состоит из множества всех строк входного файла, а множество Ai формируется на основе различных вычисляемых числовых признаков некоторой строки в файле: длины, количества пробелов, характеристик начала и конца строки, включающих в себя наличие пробелов и знаков препинания, и т. д.
В случае файлов PDF множество классов C в целом выглядит аналогично множеству классов для файлов TXT, но множество E включает в себя уже множество всех символов, а характеристики ai вычисляются преимущественно на основе геометрической информации. Обратим внимание, что процесс построения обучающих данных для файлов PDF можно автоматизировать, используя какой-либо текстовый редактор — процесс получения отформатированного документа при наличии некоторого исходного не требует ручного труда.
Задача построения устной речи на основе письменной эффективно решается за счёт применения инструментария для построения формальных грамматик, подготовленных для обработки естественного языка [2]. Непосредственно разбор текста по грамматическим правилам может быть осуществлён при помощи утилиты Томита-парсер, разработанной компанией Яндекс [6]. Важнейшая функция, необходимая для возможности применения формальной грамматики, — извлечение синтаксической информации из текста по правилам русского языка, доступной для наложения ограничений в грамматических терминалах. Эта информация подразумевает данные о частях речи, возможность определения начальной формы слова (лемматизация), согласования словоформ и т. д. Здесь грамматика выполняет аналитическую функцию, т. е. распознаёт некоторый фрагмент, буквальное прочтение которого отличается от способа устного произношения. После грамматического разбора получается исходный текст, в которым распознанные места помечены специальными метками (фактами в терминологии Томита-парсера). В результате поставленная задача может быть решена путём построения достаточного количества грамматических правил и обработчика фактов, выполняющего разворачивание фрагмента текста в устную речь.
Плоскопечатные издания изобилуют различными иллюстрациями. Среди них как фотографии и художественные изображения, так и схемы, диаграммы и другие структурные объекты. Фотографии, вероятно, не могут быть как-либо воспроизведены через тифлоинформационные инструменты, кроме построения словесного описания (что теоретически тоже может осуществляться автоматически путём классификации изображений), но для восприятия пространственных и схематических структур мы хотели бы предложить интерактивную методику, описанную ниже.
При работе на ПК популярным путём взаимодействия человека с программными инструментами является использование клавиш-стрелок, обозначающих четыре направления: вверх, вниз, вправо и влево. В некоторых случаях их функциональность можно заменить ещё более интуитивным инструментом — тачпадом, который позволяет отдавать пространственные команды на плоскости.
Предлагаемая методика подразумевает построение звуковой реакции на пространственные команды ребёнка, обозначающие попытку небольшого пространственного перемещения. При разработке обучающих материалов в таком виде упор делается на воображение ученика, которое позволит получить представление о некоторой пространственной или схематической структуре путём совершения большого количества попыток перемещения в воображаемом пространстве и последующего анализа реакции ПК. Мы выражаем надежду, что этот способ позволит воспроизводить структуры произвольной сложности.
Мы ставим цель со временем подготовить комплекс материалов по теме анатомии человека, поскольку эта тема предполагает необходимость наличия как пространственных представлений о взаимном расположении различных органов, так и структурных: устройство скелета, сосудов, нервов и пр. При этом необходимость в наличии подобного инструмента может наблюдаться не только в общеобразовательных учреждениях, в которых обучаются дети с нарушениями зрения, но и в медицинских колледжах, где проводят обучение незрячих массажистов (как известно, массаж — одна из самых распространённых профессий для незрячих людей). Реализация подобного приложения осуществляется на базе платформы LUWRAIN, описанной в разд. 4.
Как и в случае с чтением книг, основную трудность в разработке таких приложений представляет фаза подготовки материала. Проблема, с одной стороны, связана с тем, что объёмы данных могут быть достаточно большими, с другой, реализация должна отражать содержание какого-либо уже одобренного учебного пособия, в частности, сохранять его полноту. В результате главным барьером для создания интерактивных приложений является недостаточная готовность инструментов для автоматизации обработки исходного материала.
В ходе работ по созданию экспериментального приложения по теме анатомии человека применялось построение формальной грамматики, способной обработать естественный русский язык для выделения в нём анатомических понятий. Попытка восстановить также структурные отношения между выделенными понятиями путём применения формальных грамматик не увенчалась успехом. Пространственная информация о взаимном расположении анатомических элементов сохранялась путём ручной разметки растровых изображений, в ходе которой сохраняется проекция каждого элемента на плоскость вправо-влево-вверх-вниз и плоскость вперёд-назад-вверх-вниз (сагиттальная плоскость). Эта информация, очевидно, неточно описывает все пространственные параметры каждого элемента, но её достаточно, чтобы определить взаимное расположение элементов между собой. Разметка осуществлялась Теплых Е. С. при помощи специального созданного для этих целей приложения. Подобный подход не оправдывает себя, и в настоящий момент исследуется метод автоматической трансформации онтологии, в виде которой уже известны попытки описания анатомических понятий.
Дополнительно к теме анатомии человека подход к созданию интерактивных приложений проверялся на примере интерактивной таблицы химических элементов и таблицы растворимости, которые оказались вполне удачными.
Вопросы восприятия формул и нотных записей мы рассмотрим в общем разделе, поскольку в них прослеживается много идентичных элементов. Они требуют решения следующих трёх технических задач:
Одна из трудностей, исторически связанная с изучением математики и музыки в тифлопедагогике, заключается в том, что запись шрифтом Брайля, доступная учащимся, требует навыков чтения шрифта Брайля у педагогов, которые очень часто не имеют каких-либо собственных нарушений зрения. В результате это существенно замедляет и усложняет процесс обучения детей с нарушениями зрения, требуя дополнительной подготовки педагогов.
Формально можно выделить четыре типа передачи математических и нотных записей: от незрячего человека к незрячему, от незрячего человека к зрячему, от зрячего человека к незрячему и от зрячего человека к зрячему.
Трудность вызывают именно передача записей между незрячими людьми и зрячими. В этом контексте мы хотели бы отдельно обратить внимание на издательские системы TeX [3, 4] и GNU Lilypond [5], которые предлагают как устоявшуюся форму записей путём создания текстовых файлов, так и инструменты для оформления достаточно качественных графических материалов на основе подготовленных записей для визуального восприятия.
Ввод записей незрячими людьми подразумевает ввод текста, что не представляет особых сложностей, хотя требует навыков и наличия удобных инструментов, упрощающих этот процесс. Проблемы не возникает, потому что это всегда информация, создаваемая людьми с нарушениями зрения в ходе процесса обучения (упражнения, рефераты и пр.), но ввод информации в нотации TeX и Lilypond крайне непрост, потому что эта проблема требует перевода огромного количества уже существующих в плоскопечатном виде учебных материалов.
Какая-либо автоматизация перевода математических и нотных записей на основе распознавания плоскопечатных изданий развивается крайне медленно и не позволяет ожидать скорого прогресса в будущем. В сложившейся ситуации мы предлагаем способ ввода математических и нотных записей при помощи распознавания речи диктора и последующей обработке полученного текста опять при помощи формальных грамматик. Непосредственно генерация записей в нотации TeX и Lilypond должна осуществляться обработчиком фактов, получаемых после трансляции текста при помощи грамматики. Способ, очевидно, обладает рядом недостатков, большей частью связанных с необходимостью начитывания изданий. Тем не менее, это, возможно, самый практичный способ, поскольку, как часто утверждается, математические знания обновляются крайне редко, фундаментальные курсы могут не претерпевать существенных изменений на протяжении десятков лет.
Следует разделять подобную реализацию на случай, когда диктору формулируются заранее правила прочтения записей, и на случай, когда никаких априорных требований нет. Второе позволило бы подвергнуть обработке уже существующие голосовые записи или применять такое решение для обработки записанных лекций, прося лектора произносить голосом формулы, которые он пишет на доске. Отметим, что описанная реализация может быть востребована не только в контексте тифлопедагогической практики, но и в любой другой работе, предполагающей вёрстку математических и нотных записей.
Подготовленные записи формул и нот можно воспринимать следующими способами:
Проведённые работы включают в себя экспериментальную адаптацию учебных материалов по курсу обществознания за 10-й класс, выполненную в 2016–2017 учебном году в ГБОУ "Школа-интернат №1 для обучения и реабилитации слепых" (г. Москва), и адаптацию учебных материалов по курсу биологии за 8 класс для апробации в ОГКОУ "Школа-интернат для обучающихся с нарушениями зрения" (г. Томск).
Все работы проводились с использованием платформы невизуальных приложений LUWRAIN [7, 8]. LUWRAIN представляет собой интерактивное окружение для построения невизуальных приложений на базе виртуальной машины Java. Её отличительные характеристики следующие:
Результаты проведённых работ оказались успешными с точки зрения пользовательского восприятия и упрощения организационных мероприятий, но выявили основную преграду для дальнейшего развития — отсутствие достаточного количества адаптированных материалов. Именно эту проблему мы ставим в настоящий момент на первое место и направляем максимальные усилия на её решение. Средства доступности достаточно развиты, чтобы обеспечить возможность человеку с нарушениями зрения выполнять основные действия на ПК, но массовое решение образовательных проблем требует доступность не столько программных приложений, сколько учебно-методических материалов.
В ходе учебного года 2016–2017 в ГБОУ "Школа-интернат №1 для обучения и реабилитации слепых" г. Москва проводилось пилотное внедрение образовательного комплекса, включающего в себя:
Как упоминалось выше, для интерактивного взаимодействия учащихся с ПК использовались приложения на базе платформы LUWRAIN. Учащиеся имели возможность навигации по структуре пособия, поиска текста, обращений для пояснения понятий к свободной энциклопедии Википедия и т. д. Приложение для проведения контрольных работ и самопроверок представляет из себя "толстый клиент" для работы с "облачным" сервисом, на котором хранились задания и обрабатывались все результаты. Ученики могли установить подготовленный комплект на любой ПК, как в здании школы, так и у себя дома.
Запись текста пособия произведена диктором в студии, последующую разметку которой для подготовки книги в формате DAISY осуществили участники работ. Преподаватели школы и учащиеся положительно оценили эффект от использования созданного комплекта, но развитие этого направления по использованной методики практически неосуществимо, поскольку процедура разметки записи заняла приблизительно 120ч при её длительности около 22ч. К приведённой оценке затрат ресурсов необходимо добавить работу диктора. Массовое изготовление литературы таким способом, очевидно, невозможно.
В учебном году 2020–2021 в ОГКОУ "Школа-интернат для обучающихся с нарушениями зрения" (г. Томск) проводился второй педагогический эксперимент, который подразумевал подготовку материалов учебного пособия в формате DAISY с использованием коммерческих синтезаторов речи. В частности, был использован голос "Алёна" из комплекта Яндекс.SpeechKit. ДОполнительно к этому была внедрена загрузка материалов пособия с облачного сервиса, т. е. централизованно для всех участников эксперимента. Для этого учащиеся могли зарегистрироваться на сервисе и получить материалы с любого компьютера, который был им доступен.
Отзывы учащихся и преподавателей были крайне положительные, но распространение протестированной практики затруднено правовыми проблемами адаптации учебников из утверждённого перечня, поскольку процесс адаптации нарушает авторские права издательств.
В 2021 г. участниками коллектива были проведены работы по тестированию возможности запуска LUWRAIN на встраиваемом одноплатном компьютере Raspberry Pi 4 Model B. Стоимость одного комплекта на основе Raspberry Pi составляет около 10 000 руб. В него входит:
Основная часть мероприятий, необходимых для запуска LUWRAIN на этом устройстве, была связана с необходимостью компиляции платформозависимых компонентов под архитектуру ARM. Это касается синтезатора речи RHVoice и некоторых других библиотек. При этом основной код платформы не проходил повторную компиляцию, поскольку виртуальная машина Java для Raspberry Pi способна исполнять байткод, полученный на сторонних архитектурах. При этом исполнение проходит в полноценном режиме just-in-time compilation, а не в режиме программной эмуляции, что потенциально привело бы к заметному падению скорости работы.
Использование платформы LUWRAIN является почти единственным способом применения Raspberry Pi в образовательном процессе детей с нарушениями зрения. Microsoft Windows не запускается на этом устройстве или запускается с существенными ограничениями. Другие вспомогательные возможности GNU/Linux являются чрезвычайно непрактичными для широкого круга учащихся с нарушениями зрения.
Полноценное внедрение Raspberry Pi способно снизить остроту проблемы доступности вычислительной техники для учащихся. В здании образовательного учреждения учащиеся имеют доступ только в кабинете информатики и чаще всего под присмотром преподавателя, в то время как с использованием одноплатных компьютеров проводить работу с учебными пособиями можно как в любом помещении школы, так и дома.
Особая роль ИТ в решении образовательных задач для учащихся с нарушениями зрения не вызывает сомнений: имеющийся потенциал способен не только обеспечить достаточное количество учебных материалов, но и сократить разрыв в коммуникативном пространстве между зрячими и незрячими учениками.
При этом следует обратить внимание на следующие важные аспекты и проблемы: