Познаем ChatGPT и не только — Михаил Пожидаев

14 октября 2023 г. Познаем ChatGPT и не только

Уже совсем не за горами окончание работы над моей книгой по обработке естественного языка, хотя пока воздержусь называть конкретные сроки. Книга построена в форме учебного пособия для предельно широкого круга читателей: математика в необходимом объёме присутствует, но без превращения повествования в нечитаемый кошмар. Предварительно договорился с издательством об её будущей публикации.

Книга окажется полезной всем, кто пожелает в самой глубине понять, как развивались модели искусственного интеллекта, и как они пришли к появлению семейства GPT, включая ChatGPT. Центральное место занимает Трансформер, разложенный во всех своих деталях. Кратко перечень тем выглядит следующим образом:

задачи обработки языка и метрики для измерения качества решений;
классические алгоритмы: формальные аналитические грамматики, вероятностные модели и пр.;
общая идея искусственной нейронной сети, процесс обучения и функции активации;
полносвязная сеть и перцептрон;
рекуррентные сети: сеть Элмана, долгая краткосрочная память и управляемый рекуррентный блок;
модель Seq2seq и механизм внимания;
внутреннее внимание и Трансформер с разбором его кодирующей и декодирующей частей;
BERT и fine tuning;
генеративные модели и семейство GPT;
техника подсказок (prompt engineering);
проблема контроля (AI alignment) и другие гуманитарные вопросы больших языковых моделей.

В книге нет, очевидно, некоторых популярных тем, включая генерацию изображений и свежие LLM от Google и других корпораций. По части картинок я традиционно не силён, поэтому не знаю, что с этим делать. По части новых моделей от Google показалось, что конкретных технических подробностей в открытом доступе мало, писать толком не о чем. Если с этим что-нибудь придумаю, то пусть будет для условного будущего второго тома. Замахнувшись сейчас, можно не дописать никогда.

Книга немало интересна по форме и порядку работы. Во-первых, в ней всё делаю сам, включая математику и рисунки. В моём положении это такой good challenge на проверку мастерства. Во-вторых, книга сразу будет оформлена в виде аудиокниги с поддержкой формата DAISY. В аудио, конечно, попадёт не всё, потому что математику читать смысла нет, но слушать будет всё равно интересно. Оба аспекта являются крайне нетривиальными.