«Настоящий рай — потерянный рай»
/Марсель Пруст/
Место работы:
ИПМКН ТГУ, доцент кафедры теоретических основ информатики
Пишите:
в Telegram на @Marigostra и на электронную почту msp@luwrain.org
Подписывайтесь:
на канал в Telegram @MarigostraRu и в VK
Слушайте:
на Яндекс.Музыке и
в Spotify
Компилируйте: исходники с GitHub @marigostra и @luwrain
Родился 23 марта 1983 г. в г. Томске. Учился в школе №87 г. Северска. В 2007 г. окончил факультет информатики (в настоящее время ИПМКН) Томского государственного университета. 2 декабря 2010 г. защитил диссертацию «Алгоритмы решения задачи маршрутизации транспорта» по специальности 05.13.18 с присуждением учёной степени кандидата технических наук (научный руководитель проф. Костюк Юрий Леонидович).
С 2012 г. доцент на кафедре теоретических основ информатики ИПМКН ТГУ.
С 2014 г. занят разработкой платформы невизуальных приложений LUWRAIN.
В 2001 г. потерял зрение по болезни.
14 октября 2023 г. Познаем ChatGPT и не только
Уже совсем не за горами окончание работы над моей книгой по обработке естественного языка, хотя пока воздержусь называть конкретные сроки. Книга построена в форме учебного пособия для предельно широкого круга читателей: математика в необходимом объёме присутствует, но без превращения повествования в нечитаемый кошмар. Предварительно договорился с издательством об её будущей публикации.
Книга окажется полезной всем, кто пожелает в самой глубине понять, как развивались модели искусственного интеллекта, и как они пришли к появлению семейства GPT, включая ChatGPT. Центральное место занимает Трансформер, разложенный во всех своих деталях. Кратко перечень тем выглядит следующим образом:
- задачи обработки языка и метрики для измерения качества решений;
- классические алгоритмы: формальные аналитические грамматики, вероятностные модели и пр.;
- общая идея искусственной нейронной сети, процесс обучения и функции активации;
- полносвязная сеть и перцептрон;
- рекуррентные сети: сеть Элмана, долгая краткосрочная память и управляемый рекуррентный блок;
- модель Seq2seq и механизм внимания;
- внутреннее внимание и Трансформер с разбором его кодирующей и декодирующей частей;
- BERT и fine tuning;
- генеративные модели и семейство GPT;
- техника подсказок (prompt engineering);
- проблема контроля (AI alignment) и другие гуманитарные вопросы больших языковых моделей.
В книге нет, очевидно, некоторых популярных тем, включая генерацию изображений и свежие LLM от Google и других корпораций. По части картинок я традиционно не силён, поэтому не знаю, что с этим делать. По части новых моделей от Google показалось, что конкретных технических подробностей в открытом доступе мало, писать толком не о чем. Если с этим что-нибудь придумаю, то пусть будет для условного будущего второго тома. Замахнувшись сейчас, можно не дописать никогда.
Книга немало интересна по форме и порядку работы. Во-первых, в ней всё делаю сам, включая математику и рисунки. В моём положении это такой good challenge на проверку мастерства. Во-вторых, книга сразу будет оформлена в виде аудиокниги с поддержкой формата DAISY. В аудио, конечно, попадёт не всё, потому что математику читать смысла нет, но слушать будет всё равно интересно. Оба аспекта являются крайне нетривиальными.
14 июня 2021 г. Raspberry Pi и LUWRAIN
Давно ожидалось, но только вот-вот подтвердилось — Raspberry Pi прекрасно исполняет Java! Это означает, что Raspberry Pi может быть компьютером для работы с LUWRAIN. Причём в этом сегменте у LUWRAIN практически нет конкурентов: Microsoft Windows на Raspberry Pi работает только в виде какой-то сильно облегчённой версии с запуском приложений в режиме эмуляции, а использование Linux с Orca на таком устройстве неудобно (да много через Orca и не сделаешь)...
12 декабря 2017 г. Граффити в Екатеринбурге
Добрые люди, организовавшие фестиваль "Стенограффия", и сотрудники агентства POSSIBLE оставили в Екатеринбурге на стене здания Свердловской государственной детской филармонии посвящённый мне граффити.. Два других изображения посвящены музыканту Рэю Чарльзу и спортсменке Марле Раньян. Новость дошла от Михаила Войцеховского. Затея по смыслу заслуживает всяческой поддержки — заниматься вопросами активности и социализации людей с нарушениями зрения, действительно, надо. Долго думал, почему это произошло именно в Екатеринбурге.
6 декабря 2017 г. Пара слов на REGNUM
Сегодня REGNUM ппроцитировало пару слов наших размышлений о существующих проблемах социализации и мотивации людей с ограниченными возможностями!
..."Плохо оборудовано, дело в том, что тактильная плитка в принципе положена не по правилам. Человек скорее попадёт под машину, чем она ему поможет. Это результат того, что зрячие люди пытаются решить проблемы незрячих. Много трудностей вызвано именно этой традицией. Люди уже не жалуются, так как у людей очень низкий уровень мотивации из-за отсутствия возможностей для реализации", — заявил корреспонденту ИА REGNUM один из создателей ПО для людей с нарушениями зрения LUWRAIN Михаил Пожидаев...
9 ноября 2016 г. Стихотворение моей крестницы Полины
Моя крестница Полина, которая сейчас живёт в Лондоне, подарила мне стихотворение. Оно называется "Ночной полет". Хочу здесь со всеми им поделиться. Мне кажется, что получилось очень образно! Луна серебром освещает долину...