Желающие приобрести книгу в личное пользование могут легко её найти в популярных маркетплейсах:

• Яндекс Маркете
• OZON
• Ридеро

Книга раскрывает этапы развития интеллектуальных алгоритмов обработки естественного языка, приведших к появлению архитектуры трансформера и моделей семейства GPT, самым ярким представителем которых стал чат-бот ChatGPT. Она поможет читателю проникнуть в тайны построения трансформера, обучить свою модель GPT и узнать множество любопытных фактов о природе языка, проявляющихся при его обработке искусственными нейронными сетями. Книга содержит ключевые примеры кода на Python, необходимые математические сведения о процессе вычислений и предысторию развития алгоритмов этой отрасли, включая базовые принципы работы искусственных нейронных сетей, до момента появления технологий, за которыми люди увидели намёк на создание искусственного интеллекта.

ISBN 978-5-0067-9266-1

На 220 страницах книга раскрывает последовательное гармонизированное изложение всех основ от перцептрона до GPT и интеллектуальных агентов с красиво набранной математикой, рисунками, примерами ключевых блоков на Python и никакой воды — только точная наука. Только 100% авторский текст без копирования описаний из сторонних источников.

Надеюсь, что должен получиться не только отличный учебник, но и источник понимания принципов работы разного рода ChatGPT для всех пытливых умов.

Большая и искренняя благодарность всем причастным! Особенно благодарен коллегам из числа студентов, которые помогли со сбором сведений и проверкой математических выкладок. Все причастные будут обязательно упомянуты.

Ниже приведено содержание книги, а тут можно найти аннотацию и предисловие.

1. О чём эта книга?
   • Классификация задач обработки языка
   • Для кого предназначено эта книга?
   • Использованные обозначения
2. Предварительная обработка текста
   • Токенизация
   • Сегментация
   • Лемматизация и стемминг
3. Классические алгоритмы
   • Аналитические формальные грамматики
   • Вероятностные алгоритмы
     • Мера TF-IDF
     • Скрытые марковские модели
     • EM-алгоритм
4. Искусственные нейронные сети
   • Перцептрон
   • Термины и понятия
   • Модель ИНС
   • Метод обратного распространения ошибки
   • Обучение ИНС
   • CUDA
5. Введение в PyTorch
   • Тензоры и вычисление градиентов
   • Обработка градиентов и оптимизаторы
   • Общая схема обучения модели
   • Модели и датасеты
   • Выбор устройства для вычислений
6. Сеть прямого распространения
   • Функции активации
   • Обучение сети прямого распространения
7. Векторное представление слов
   • Вложение слов (word embedding)
   • Word2vec
   • FastText
   • ELMO
   • GloVe
8. Рекуррентные ИНС
   • Сеть Элмана
   • Модель кодер-декодер
   • Долгая краткосрочная память
   • Управляемый рекуррентный блок
   • Механизм внимания
9. Трансформер
   • Внутреннее внимание
   • Multi-head attention
   • Позиционное кодирование
   • Кодирующая часть
   • Декодирующая часть трансформера
   • Обучение трансформера
   • Модель BERT
   • Модель T5
10. Генеративные модели
    • Архитектура GPT
    • Двухбайтная токенизация
    • Запуск генеративной модели
    • Обучение генеративной модели
    • Точная настройка и PEFT
    • Построение промта
      • Цепочка мыслей
      • Генерация, дополненная поиском
      • Рассуждающие модели и агенты
    • Популярные языковые модели
11. Оценка качества
    • Оценка решений задачи классификации
    • Основные датасеты, метрики и тесты
    • Оценка работы языковых моделей

Введение

К концу XX в. прогрессивная философская мысль пришла к парадоксальному заключению: язык и законы логики, находясь в прочной связке друг с другом, остаются ограниченными и неспособными полностью выразить сложность человеческого опыта. А ведь они исторически служили основой практически любого традиционного познания! К примеру, критикой так называемого логоцентризма известен французский философ Жак Деррида. Он видел в избыточной ориентировке на слово и его связь с логикой один из ключевых барьеров на пути к расширению возможностей человеческого познания.

Удивительно, но пессимистичные умозаключения передовых мыслителей никак не повлияли на амбиции специалистов в сфере теоретической информатике найти способ обработки текста на естественном языке при помощи программных инструментов. Вычислительная техника, очевидно, воплощает на практике буквальные законы логики в самой строгой их форме, и это, казалось бы, не должно сулить ничего хорошего — намерения информатиков требуют связку языка и логики, перед которой философы уже почти готовы признать своё бессилие. Но программисты никогда не унывают! Интересно, что именно автоматизированная обработка естественного языка стала олицетворением искусственного интеллекта, поскольку текст является основным способом обмена мыслями как людей между собой, так и с вычислительной техникой.

В теории поставленная задача не казалась такой уж невероятно сложной. Так, например, в 1980 г. американский философ Джон Сёрл опубликовал описание мысленного эксперимента под названием «Китайская комната», в котором предложил своё доказательство возможности создания искусственного интеллекта с сознанием, внешне неотличимого от естественного. Эксперимент описывает человека, находящегося в изолированной комнате и имеющего обширную инструкцию с коллекцией пронумерованных карт, на которых изображены китайские иероглифы. При этом в инструкции полностью отсутствуют сведения о смысле иероглифов. Получая через щель вопрос на китайском языке от человека, понимающего смысл вопроса, человек в комнате обрабатывает последовательность полученных иероглифов в соответствии с имеющейся инструкцией и формирует ответ, который передаёт обратно в виде новых карт.

Очевидно, что качество обработки вопросов зависит от полноты инструкции. Она, будучи даже безупречно совершенной, никак не приближает человека в комнате к пониманию китайского языка, но это неважно ни в малейшей степени, потому что не препятствует ему в выполнении его работы. Предложенное доказательство носит, скорее, полемическую природу и не является доказательством в математическом смысле, но оно хорошо представляет процесс обработки текста. Человек в комнате выполняет функцию процессора или множества процессоров, а инструкция — программу или алгоритм. При этом процессор, в отличие от человека в комнате, не имеет никаких иных способностей, кроме обработки инструкции. Таким образом, единственный способ научиться отвечать на вопросы на китайском языке — это правильно составить программу-инструкцию, чем и следует заняться программистам.

Как известно, в теории нет различий между теорией и практикой, но они, к сожалению, есть на практике. Специалисты по комбинаторике, услышав описание эксперимента, вежливо развели руками, потому что идея «Китайской комнаты» не учитывает потенциальный размер инструкции. С большой вероятностью её составление окажется невозможным в силу чрезмерного количества информации, с хранением которой не справятся современные вычислительные мощности, какими бы совершенными они ни были.

Подозрение о том, что комбинаторика, в свою очередь, как-то должна быть связана с языком и знаниями у пытливых умов появлялось задолго до этого. В 1941 г. аргентинский писатель Хорхе Луис Борхес в своём рассказе «Вавилонская библиотека» заключил, что, собственно, одной только комбинаторики самой по себе уже достаточно для получения любых знаний, которые могут потенциально существовать, одновременно подсчитав, сколько потребуется книг для хранения таких знаний. Он получил так называемое число Борхеса, которое для своего представления потребует 1 834 098 десятичных цифр.

Деррида, Сёрл, Борхес представили очень наглядную иллюстрацию проблем современной компьютерной лингвистики. Обобщение их утверждений позволяет представить многогранность и комплексность проблемы автоматизированной обработки текста. Каждый из них во многом, бесспорно, прав, но и в чём-то ошибается, т. к. прогресс, который в наше время демонстрируют большие языковые модели, наглядно доказывает, что решение задачи автоматизированной обработки естественного языка всё же может существовать. Естественный язык — чрезвычайно гибкое явление, хранящее множество сюрпризов и нераскрытых возможностей. Его представление напрямую в цифровом виде требует недостижимого количества вычислительных ресурсов, так что основные усилия исследователей направлены на понижение вычислительной сложности с целью нахождения методов, которые были бы способны дать полезный эффект с задействованием доступных мощностей.

Теоретическая информатика накопила немалый опыт в оценке сложности различных задач и способна предложить разнообразные способы оптимизации. Нередко оптимизация приводит к понижению точности результата, но он может считаться оправданным, если прежде неразрешимая задача становится разрешимой.

В настоящий книге читателю предлагается обзор современных методов обработки естественного языка, показывая в общих чертах эволюцию их развития, которая в значительной мере идёт по пути увеличения полноты представления знаний о языке и стремления к понижению вычислительной сложности.

Помимо Wildberries книга доступна для чтения в электронном виде на популярных площадках:

• Яндекс.Книги
• МТС Строки
• Amazon
• Google Books
• Литрес
• Ридеро

По замыслу это интеллектуальная история о поиске капельки светлого для себя и других, потребности в истине и исследовании своего разума. В книге абсолютно нет политики, параллельных миров и прочих вездесущих вещей. В ней даже толком борьбы добра со злом нет, но ничего от этого не становится проще. Это первая книга из четырёх, в которых будет раскрываться борьба нескольких неординарных людей с сообществом тадегессеров.

Аннотация:

Молодой человек приходит в великий город тадегессеров — единственный город во всём мире, жизнь которого построена вокруг поиска вечной и подлинной истины. Оставленные близкие люди и страх не быть принятым в ученики не способны его остановить, поскольку он верит, что со временем станет выдающимся тадегессером, но действительность оказывается неожиданной. Честные и искренние в своих стремлениях тадегессеры не замечают, как искажают и даже почти разрушают жизнь горожан вокруг себя. Юноше предстоит встретить в городе новых друзей, беспокойную девушку, уму которой не может противопоставить практически ничего, и сделать непростой для себя выбор. Он окажется втянут в странную борьбу, в которой человеческое противостоит безудержной страсти к неуправляемому познанию. Получится ли у него и его друзей найти путь к знаниям, способный приносить людям благо? Владел ли таким знанием кто-либо прежде? Не подсказывает ли мир вокруг сам, где человек обретёт нужную для себя истину?

Найти книгу на:

• Литрес
• Google Books

Для нас, конечно, очень важно, что такой непростой проект, как LUWRAIN, получает дополнительное внимание. Теперь будем думать, как развить этот результат!

Все желающие детально узнать, что это было, могут воспользоваться ссылками ниже::

• смотреть выступление на YouTube;
• смотреть презентацию к выступлению.

Книга окажется полезной всем, кто пожелает в самой глубине понять, как развивались модели искусственного интеллекта, и как они пришли к появлению семейства GPT, включая ChatGPT. Центральное место занимает Трансформер, разложенный во всех своих деталях. Кратко перечень тем выглядит следующим образом:

• задачи обработки языка и метрики для измерения качества решений;
• классические алгоритмы: формальные аналитические грамматики, вероятностные модели и пр.;
• общая идея искусственной нейронной сети, процесс обучения и функции активации;
• полносвязная сеть и перцептрон;
• рекуррентные сети: сеть Элмана, долгая краткосрочная память и управляемый рекуррентный блок;
• модель Seq2seq и механизм внимания;
• внутреннее внимание и Трансформер с разбором его кодирующей и декодирующей частей;
• BERT и fine tuning;
• генеративные модели и семейство GPT;
• техника подсказок (prompt engineering);
• проблема контроля (AI alignment) и другие гуманитарные вопросы больших языковых моделей.

В книге нет, очевидно, некоторых популярных тем, включая генерацию изображений и свежие LLM от Google и других корпораций. По части картинок я традиционно не силён, поэтому не знаю, что с этим делать. По части новых моделей от Google показалось, что конкретных технических подробностей в открытом доступе мало, писать толком не о чем. Если с этим что-нибудь придумаю, то пусть будет для условного будущего второго тома. Замахнувшись сейчас, можно не дописать никогда.

Книга немало интересна по форме и порядку работы. Во-первых, в ней всё делаю сам, включая математику и рисунки. В моём положении это такой good challenge на проверку мастерства. Во-вторых, книга сразу будет оформлена в виде аудиокниги с поддержкой формата DAISY. В аудио, конечно, попадёт не всё, потому что математику читать смысла нет, но слушать будет всё равно интересно. Оба аспекта являются крайне нетривиальными.

LUWRAIN превращает Raspberry Pi в няшную коробочку, которая создаёт комфортное речевое окружение, интегрированное с сетевыми сервисами (в частности, подходит для работы с LUWRAIN Books). Несколько переживал про отклик, но приятно был удивлён, никакого лага с откликом нет. Всех неравнодушных приглашаю присоединяться к нашему сообществу для совместной работы над LUWRAIN с целью повышения функциональности при использовании с Raspberry Pi. Думаю начать поддерживать образы LUWRAIN, уже полностью подготовленные для прошивки на карты для Raspberry Pi.

Для тех, кто впервые слышит про Raspberry Pi (если быть точным, то Raspberry Pi 4 Model B), пишу, что это одноплатный компьютер от британской компании Raspberry Pi Foundation. Весь комплект для работы с ним обходится по цене до 10 тыс. рублей. Может работать от Power bank, причём достаточно долго — 15-20 часов. Размеры с банковскую карту по площади и с пару спичечных коробков толщиной.

Очевидно, что протаптывание тропинки с использованием Raspberry Pi открывает безграничные перспективы предоставления устройст, доступным массовым пользователям с нарушениями зрения по всей России и за её пределами. Устройства получаются простыми, дружественными в работе и дешёвыми. Это реальная и фактическая возможность повысить доступность цифровых сервисов для незрячих людей!

Два других изображения посвящены музыканту Рэю Чарльзу и спортсменке Марле Раньян. Новость дошла от Михаила Войцеховского. Затея по смыслу заслуживает всяческой поддержки — заниматься вопросами активности и социализации людей с нарушениями зрения, действительно, надо. Долго думал, почему это произошло именно в Екатеринбурге...

Как всегда в подобных ситуациях, пишу, что вся нынешняя активность проходит при постоянной поддержке двух надёжных друзей Лёши и Лены. Они целенаправленно занимаются вопросами организации разработки LUWRAIN, практически всё мы делаем вместе.

..."Плохо оборудовано, дело в том, что тактильная плитка в принципе положена не по правилам. Человек скорее попадёт под машину, чем она ему поможет. Это результат того, что зрячие люди пытаются решить проблемы незрячих. Много трудностей вызвано именно этой традицией. Люди уже не жалуются, так как у людей очень низкий уровень мотивации из-за отсутствия возможностей для реализации", — заявил корреспонденту ИА REGNUM один из создателей ПО для людей с нарушениями зрения LUWRAIN Михаил Пожидаев.

Он отметил, что в России отсутствует экономическая модель, которая позволила бы людям с ограниченными возможностями раскрыть свой потенциал. В результате огромный человеческий капитал остаётся нереализованным. При этом на деле как государству, так и коммерческим структурам это может быть выгодно — появятся новые работники, которые зачастую могут работать гораздо эффективнее.

"Можно просто бессмысленно вкладывать деньги в фонды и всю жизнь этим заниматься, но нет экономической или социальной модели, которая позволила бы такой капитал раскрыть и применять. Нет компетентных центров, которые могли бы это показать. Если проводить сейчас исследования, что государство вложит столько-то, частные фонды столько-то, вопросы качества интеграции людей в общество будут стоить столько-то, то в перспективе эти люди получат образование, будут лучше трудоустроены. Если будут интегрироваться в общество, то будет меньше необходимости платить пенсии. Государство и коммерческие структуры могут получить своё преимущество", — подчеркнул он...

Луна серебром освещает долину,

Как привидение сова летит.

С крыльями сильными, С клювом опасным,

Пока весь животный мир спит.

Она глазами своими золотыми

Осматривает черный лес,

Летит и летит, без остановки

через темную ленту небес.

И сегодня у Полины День рождения! С праздником, Полина!

1. LUWRAIN потенциально запускаем на Ubuntu Phone и На Ubuntu Tablet, и есть все основания думать, что это может быть очень полезное и удобное устройство. Так что стоит приложить все усилия, чтобы сделать такой продукт реальностью.
2. Canonical может всесторонне посодействовать нам в направлении поддержки национальных языков.

В итоге вылетел из Blue Fin Building в крайне позитивном настроении! Само собой, передали несколько подарков из России, часть из которых предназначалась лично Марку.

Все материалы этого мероприятия можно найти здесь.