XV Городская научно-практическая конференция «Молодые ученые — столичному образованию»';
В рамках проекта LUWRAIN развивается инструментарий, предоставляющий возможность быстрой разработки приложений, адаптированных для восприятия людей с нарушениями зрения. Подготовка приложений производится на языке Java с использованием библиотеки классов LUWRAIN API, запуск осуществляется внутри среды, которая способна функционировать как в виде самостоятельной операционной системы на ядре GNU/Linux, так и в виде приложения для Microsoft Windows и GNU/Linux. Концепция взаимодействия незрячего человека с ПК развивает традиции самоозвученных интерфейсов, и для её подготовки проводятся различные эксперименты с целью выработки наиболее простого и понятного способа передачи информации от компьютера к пользователю.
Библиотека классов LUWRAIN представляет собой набор компонентов с детально проектируемым дизайном, реализующих поведение различных типов элементов управления (редактирование текста, списки, иерархические структуры, формы, таблицы и т. д.), а также включает в себя набор дополнительных компонентов, осуществляющих унифицированную обработку структурированных документов, межпоточное взаимодействие, единое хранение персональной пользовательской информации и т. д. LUWRAIN API подготавливается таким образом, чтобы сделать создание приложений, ориентированных на аудиторию незрячих людей, понятным и удобным для специалистов без опыта в сфере вспомогательных технологий. По мнению авторов проекта эта возможность чрезвычайно важна, поскольку позволяет значительно упростить доступ незрячим людям ко многим востребованным сервисам, таким как:
Ниже мы попытаемся рассмотреть некоторые задачи из сферы образования, в которых LUWRAIN способен проявить себя с сильной стороны. Прежде всего это задачи, связанные с образовательными материалами. В настоящий момент известны два формата, предоставляющие доступ к текстовым документам, снабжённым синхронизированной звуковой записью, начитанной диктором: Daisy и Epub3, из которых первый, насколько можно судить, пока является более распространённым и узнаваемым.
Текущая версия LUWRAIN имеет в своём составе поддержку Daisy 2.2 на чтение. Пользователь работает с двумя основными областями: иерархической структурой, представляющей набор разделов и подзаголовков, и текстом текущего открытого раздела. При установке курсора в некоторое положение в тексте пользователь имеет возможность запустить прослушивание записи с голосом диктора, причём в информации на экране (которая обязательно присутствует для слабовидящих пользователей), курсор будет перемещаться вслед воспроизведению, показывая фактический текст документа. Поскольку текстовая версия доступна,существует возможность выполнения некоторых операций, таких как, например, поиск подстроки или перевод слова при помощи онлайн-переводчика (доступ к которому тоже интегрирован в интерфейс LUWRAIN).
При этом наблюдается дефицит различной литературы, распространяемой в форматах Daisy и Epub3. Несмотря на то, что услугу чтения книг диктором предоставляют целый ряд организаций в России, задача синхронизации звука и текста остаётся довольно трудоёмкой, и практически нет учреждений, готовых выполнять эту работу в массовом режиме. Чтобы упростить решение этой задачи в рамках нашего проекта обсуждаются две возможности, позволяющих в будущем реализовать набор функций для создания синхронизированных книг в предельно упрощённом виде.
Первая из них подразумевает ручное выполнение работы в режиме, при котором отметки синхронизации расставляются на границах приложений. Производится последовательное воспроизведение начитанной записи, и оператор нажатием клавиши отмечает конец каждого приложения. При этом в момент установки отметки утилита самостоятельно выполняет поиск конца следующего приложения и при помощи речевого синтезатора уведомляет оператора о фразе, после которой будет следовать конец предложения.
Второй метод подразумевает автоматический режим работы. После получения записи книги голосом диктора выполняется прочтение этой же книги голосом речевого синтезатора, причём для записи речевым синтезаторам сохраняются отметки времени для синхронизации с текстом. Далее выполняется сопоставление записей диктора и синтезатора при помощи библиотеки с алгоритмами машинного обучения, скажем TensorFlow от компании Google . Несмотря на то, что этот метод подразумевает проведение некоторых академических исследований, фундаментальный поиск методов решения не требуется, поскольку существующая научная база имеет практически весь необходимый опыт для решения этой задачи.
В завершение нашего описания мы хотели бы обратить внимание, что LUWRAIN легко устанавливается на компактные портативные компьютеры, которые учащиеся могут использовать в обстановке, комфортной для себя. В том числе проверяется возможность запуска системы на устройствах Raspberry Pi, предоставляющих необходимые возможности и имеющих цену менее 5000 р.