Образование для образованных. 2021

Предобучение людей и машин

ПРИМЕНИМЫЕ ПОВСЕМЕСТНО НАВЫКИ:

БАКАЛАВРИАТ, ШКОЛА, ДЕТСКИЙ САД

Обычно прикладному техническому знанию и опыту учат в магистратуре. Именно это и считают высшим образованием – первым, вторым, третьим. Несколько высших образований получить легко. Не особо напрягаясь (ибо часть предметов перезачитывают), за десяток лет можно легко пройти программы пяти магистратур или даже специализированных программ второго образования для уже имеющих высшее образование магистров, по паре лет на каждый вид прикладного мастерства.

Применимым повсеместно профессиональным знаниям и умениям и личным качествам учат главным образом в бакалавриате: входишь туда неосмысленным школьником, выходишь уже более-менее подготовленным к жизни, собранным человеком.

Беда в том, что учебные программы бакалавриата люди не проходят за свою жизнь два-три раза, как это обычно происходит с магистратурами. То есть общие для всех проектов знания и умения, личные качества остаются на уровне первого прохождения бакалавриата, как у остановившихся в развитии зверюшек после взросления, а рост идёт только в магистерских прикладном мастерстве, технических знаниях и опыте – но на морально стареющем год от года личностном фундаменте, полученном давным-давно в бакалавриате.

Появляется ситуация, в которой знания, а хоть и пятого высшего/магистерского образования, укладываются на фундамент бакалавриата, законченного десятки лет назад. Магистр с самым современным прикладным инженерным знанием оказывается с личными качествами и применимыми повсеместно навыками, полученными двадцать или даже тридцать лет назад! Например, математика за это время перестала требовать ручной работы, она идёт сейчас в специальных программах компьютерной алгебры. Это учитывают программы бакалавриата (увы, не все, но общий курс высшей математики в лучших вузах это уже учитывает), но магистерские курсы не включают обычно математику, инженерную графику и прочие курсы общеинженерной подготовки! Если такой магистр не занимался самообразованием, то он оказывается в странной ситуации: современное прикладное знание у него совмещается с допотопным знанием по важнейшим дисциплинам. Этот разрыв можно преодолеть только самостоятельным изучением современных версий бакалаврских дисциплин – но этим мало кто занимается.

Получается эдакий молодящийся старик: прикладная часть, технарство у него современное, а личность, ожидаемое им устройство командной работы, понимание использования компьютеров для организации работы – антикварные.

И это рассуждение про бакалавриат – очень консервативное, ибо многие повсеместно применяемые (знания, умения и навыки (о мастерстве и компетенциях тут говорить не приходится) полностью можно применить и к школе и даже детскому саду. Действительно, что из изучаемого в школе (от «физкультуры» до той же физики) вы используете в работе и личной жизни сегодня? А ведь учились кто десять, а кто и все одиннадцать лет!

Детский сад тут не исключение: если посмотреть, чему учат в детских садах Монтессори, так это умению ухода за собой (поесть, поспать, держать себя в чистоте, убрать место своих занятий), проявлению любопытства и разумной осторожности в сложных ситуациях, соблюдению правил, но не слепо игнорируя при этом ситуацию, чтобы не стать заложником ошибок в правилах. Очень многие известные успешные предприниматели вышли из детских садов и школ Монтессори – так может быть нужно учить сразу тому, чему там учат, причём учить современному знанию, как это нужно делать, а не старинному времён начала деятельности Монтессори в середине прошлого века? За почти сто лет многое ведь изменилось, человечество много чего узнало нового?

Так что первый шаг – это разобраться, что в детском саду, школе, бакалавриате даётся общего и полезного для повседневного использования в жизни, для разбирательства с новыми ситуациями, а что там преходящее, прикладное, требующее постоянного переучивания.

И ещё дополнительно нужно следить, чтобы это «общее и полезное для повседневного использования» было самой свежей версии. Например, общеполезное знание «в незнакомой ситуации погугли» относительно недавнее. Раньше это было эквивалентно «сходи в библиотеку», и даже в библиотеке не было понятно, что делать дальше. Относительно новый повседневный навык, общий для всех ситуаций – воспользоваться полнотекстовым поиском в интернете. И это должно даваться ещё в детском саду (если писать не умеешь, то спроси голосового помощника, он ответит голосом даже детсадовцу: Google Assistant, Алиса от Яндекса, Маруся от мейл.ру, семейство Салют от Сбера, и всё это имеет ещё и телефонные, и компьютерные версии, необязательно иметь именно «железо» помощника). Увы, и детский сад, и школа проходят мимо этого, ещё и ограничивают доступ, «как бы чего-нибудь нецензурного не узнали»! И в вузе скорее учат не пользоваться интернетом, «чтобы оттуда не списывали», чем учат пользоваться! Так что новые повседневные навыки не имеют шанса сегодня попасть в общеобразовательную программу.

Вообще, свежесть общецивилизационного, а не узкоприкладного знания – это отдельный важный вопрос, и его затронем чуть попозже. Пока же разбираемся с вопросом о самом различении умений и навыков с повсеместной используемостью в разных ситуациях и умений и навыков с прикладной более узкой применимостью. Одним учат в детском саду, школе, бакалавриате и это не предполагает «профессионализма», а другим – в магистратуре, и там даются «профессиональные» навыки и умения.

ПРЕДОБУЧЕНИЕ В МАШИННОМ ИНТЕЛЛЕКТЕ

Какой-то аналог этой ситуации с общим предобучением в детском саду, школе, бакалавриате и потом дообучением целевому прикладному мастерству в магистратуре может быть подсмотрен в исследованиях по машинному интеллекту. Там ведь стоит такая же задача по обучению нейронной сети самым разным прикладным умениям (о мастерстве/компетенциях в применении к нейронным сетям говорить сложно: там ведь включается в разговор личное отношение к делу, в отличие от знаний, навыков, умений, которые демонстрируются и вне связи с личным отношением. То есть нейронная сетка может быть умелой, но не может продемонстрировать мастерство!).

Говорят об этом обучении/learning нейронных сетей ровно тем же языком, которым говорят об обучении людей. Но говорят точнее, ибо математиков и логиков в сфере AI больше, чем среди педагогов, и решают эти математики задачи более трудные: компьютеры научить интеллекту как умению решать задачи, ранее не встреченные в учебных примерах, труднее, чем людей. Поэтому мы активно будем делать «реэкспорт» идей из сферы инженерии AI в сферу образования людей, включая «реэкспорт» терминологии. После того как люди из AI взяли эти идеи из образования, почистили и обогатили их, мы возьмём их и опять применим к обучению людей.

Главное направление в обучении AI решению самых разных задач, связанных с пониманием естественного языка – это использование так называемых больших языковых моделей. Берётся огромная нейронная сеть. Насколько огромная? На данный момент речь идёт о единицах триллионов настраиваемых индивидуально в ходе обучения параметров, но уже ожидается и до сотни триллионов параметров. Этой нейронной сети скармливается огромное/gargantuan число самых разных текстов на всех доступных языках (так, для обучения языковой модели GPT-3 вся википедия составила только 3% от использованных текстов). В этих текстах отражены как и какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка, и даже не только естественного языка, но кодами на языках программирования), так и какие-то свойства мира (ибо все эти тексты о чём-то в мире, речь не идёт о фантастике и сказках). В последнее время в обучение добавляют не только тексты, но и фотографии, рисунки, и даже видео. Нейронная сетка выучивает из всех этих описаний мира что-то общее про языки и мир. Это называется pre-train, предобучение. И занимает это предобучение довольно много времени и денег – одна предобученная языковая модель на пару сотен миллиардов параметров на середину 2020 года могла обходиться в десятки миллионов долларов⁷⁸, и эта ситуация не меняется: стоимость суперкомпьютеров падает, но размеры нейронных сетей растут, и речь идёт уже о триллионах параметров! Бакалавриат для нейронных сетей оказался весьма недешёв, и занимаются созданием универсальных предобученных языковых моделей только несколько очень крупных и богатых фирм мира (в России, например, это Сбер и Яндекс⁷⁹).

Предобучение даёт нейронной сети какие-то знания о языке и мире, но языковая модель сама по себе не может при этом решать никаких прикладных задач. Про задачи и конкретные предметные области эта сеть ничего не знает. Это сеть-школьник, сеть-бакалавр!

Так что потом идёт fine-tune, прикладная подстройка: берётся эта безумно дорогая предобученная языковая модель и очень быстро и дёшево на небольшом прикладном материале (скажем, несколько книг) доучивается решать одну или даже десять разных прикладных задач в какой-то узкой предметной области. Например, можно быстро доучить такую языковую модель сдавать экзамен MIT по курсу машинного обучения с результатами лучше, чем у студентов⁸⁰.

Это оказывается экономически эффективно: дорогое и долгое предобучение делается один раз, результат запоминается. Потом подстройка делается легко и быстро каждый раз. За пару последних лет такой подход предобучения+настройки стал мейнстримом в AI⁸¹. И чем больше и лучше предобученная языковая модель, тем дешевле и быстрее для неё делать подстройку для какого-то класса задач. Большие деньги на предобучение языковой модели нужно затратить один раз, а на прикладную подстройку много денег не нужно, так что это можно делать много раз для самых разных предметных областей⁸².

Более того, качественное предобучение часто оказывается достаточным, и подстройки не требуется вообще! Новая парадигма машинного интеллекта связана не с «предобучи, потом подстрой», а с «предобучи, получи приглашение/prompt, предскажи»⁸³ (prompt engineering, иногда называют это Software 3.0).

Знаний у предобученного человека уже вполне достаточно, чтобы предсказать хоть что-то и без подстройки под предметную область, если он сможет какие-то части ситуации воспринять как приглашение к рассуждениям. Но нужно уметь выхватывать из жизни правильные «приглашения», этому тоже нужно учиться. В том числе нужно учиться, конечно, и давать правильные «приглашения» другим людям, чтобы получить от них ответы.

Этот способ взаимодействия с миром очень похож на происходящее в детской песенке:

 
– Далеко, далеко На лугу пасутся ко…
– Кони?
– Нет, не кони!
– Далеко, далеко На лугу пасутся ко…
– Козы?
– Нет, не козы!
– Далеко, далеко На лугу пасутся ко…
– А, коровы!
– Правильно, коровы! Пейте, дети, молоко – Будете здоровы!
 

Обратите внимание, что для правильного ответа нужно уже много чего знать. Идея предобучения в том, чтобы (в отличие от детской песенки, где требуется просто заранее знать возможные ответы) иметь компактное описание самых разных ситуаций, чтобы делать приемлемые предсказания ответов даже в отсутствие знаний о конкретных предметах какой-то предметной области. Рассуждения делаются с абстрактными описаниями, которые оказываются приложимы к самым разным конкретным предметам – и это срабатывает! Умный человек оказывается не столько много знающим, сколько знающим что-то универсальное, а потом умеющим это универсальное знание применять в самых разных ситуациях.

В детском саде, школе и бакалавриате занимаются предобучением нейронной сети мозга человека, хотя для этого и используют другие методы, нежели при предобучении компьютерных нейронных сетей. Это предобучение формирует у студентов самые общие фундаментальные знания о мире и не предполагает какой-то специализации и профессиональных умений для каких-то отдельных задач. Нет, «общий интеллект», умение учиться, какой-то кругозор – и всё. Для большинства задач, которые нужно решать в рабочих проектах, нужно будет доучиваться специально: заканчивать магистратуру (а если даже речь идёт не о высшем образовании, то всё равно придётся пройти курсы специализации в колледже).

Свой язык и даже один-два иностранных языка ко времени прохождения бакалавриата все уже знают, текстов самых разных прочли много, так что именно языковой модели учить не нужно, но вот надёжной и компактной модели мира и себя, паттернов эффективного мышления у большинства людей на входе детского сада, школы, бакалавриата нет – вот им и учат, предобучают «мокрую нейросетку» студентов, много-много лет.

С людьми тут проще, это же не изначально тупые компьютеры! Тупым компьютерам нужно давать на вход для предобучения огромное количество текстов (помним, что вся википедия там только 3% от объёма), добавлять к ним миллионы картинок и видео, а студентам-людям достаточно небольшого количества хорошо структурированных учебников, задачников и возможности получить консультации преподавателя для коррекции неизбежных ошибок понимания материала. Конечно, ещё нужен доступ к миру: побывать несколько раз на разных производствах, поучаствовать в разных культурных событиях, пожить в семье и получить примеры общения. Но это не такие большие объёмы, как для компьютеров! Люди крайне эффективны в обучении, компьютеры пока так не могут!

Получение прикладного (инженерного, менеджерского, предпринимательского, врачебного, педагогического и т.д.) мастерства на базе полученного в бакалавриате предобучения – это лёгкая и быстрая подстройка, она делается в магистратуре. И чем тщательней выполнено предобучение, тем проще идёт подстройка. Но часто удаётся обойтись и без подстройки!

По факту предобучение даёт что-то типа операционной системы для аппаратуры человеческого мозга. Предобучение – это прошивка, оживляющая аппаратуру мозга какой-то версией модели мира, какими-то фундаментальными знаниями, пригождающимися во многих проектах, помогающими ориентироваться в командной работе. И после такой прошивки в мозг потом просто быстро в порядке подстройки под предметную область устанавливаются прикладные/applied дисциплины, дающие прикладное мастерство.

Как со смартфонами: мозг желательно помощнее, а прошивку поновее, и любые прикладные (инженерные, менеджерские, предпринимательские, педагогические, врачебные, спортивные, художественные и т.д.) умения-приложения на нём будут «ставиться» легко в любом вузе-магазине приложений, итоговое прикладное мышление будет быстрым, и работать все эти прикладные умения будут одновременно, не мешая друг другу, и даже взаимно помогая. Одно фундаментальное образование и много-много прикладных, второе-третье-четвёртое высшее образование, за жизнь их может быть много!

Без не слишком дешёвого, не слишком быстрого, ни разу не прикладного (наоборот: общего для всего прикладного!) качественного предобучения никакой лёгкой подстройки не будет, а без подстройки так и вообще ничего не получится: «приглашения» из ситуации не будут считываться. Необученный чтению человек не сможет прочесть ни строчки, даже если эти строчки ему предъявят крупным шрифтом прямо перед глазами – для него это будут просто «узоры, красивое!». Если вам предъявят логичное рассуждение, то без знания логики вы его не сможете отличить от нелогичного, не сможете вообще понять, что перед вами рассуждение.

Бакалавриат должен быть качественным предобучением

Ключ к качественному современному образованию – качественный детский сад, школа, бакалавриат. Дальше мы будем отсылаться только к бакалавриату, хотя легко представить себе ситуацию, что детский сад и школа не научили студента заботиться о себе, поддерживать здоровье, одеваться и питаться, не научили как завести семью, как не ругаться с окружающими людьми, как вписываться в рабочие проекты. Вряд ли этому научит бакалавриат, взятый потом отдельно, но мы просто сократим длинное перечисление детского сада, школы, бакалавриата и (у некоторых) дополнительного домашнего образования до короткого «бакалавриата».

Этот бакалавриат должен дать общие для всех видов прикладного мастерства свойства личности (например, собранность, честность, дружелюбность), а также знания и умения интеллекта как умения разбираться с новыми и новыми проблемами, способ решения для которых неизвестен. Дисциплины этого «качественного предобучающего бакалавриата» сильно отличаются от традиционных вузовских «высших математик» с «историей философии».

В этот список дисциплин входят труд, системное мышление, экономика, методология, риторика, этика, эстетика, исследования, объяснения, логика, алгоритмика, онтология, теория понятий, теория информации, семантика, собранность, понятизация. Мы далее подробно расскажем про эти дисциплины и их практики в их современном (2021 год) состоянии.

Предобучение людей мыслительному мастерству, как и предобучение нейронных сетей – это долго, дорого и малопонятно в части изучаемых предметов («очень широко, но не очень глубоко»). Бакалавриат занимает обычно четыре года интенсивного обучения, из них пару лет даже лишнего, ибо часть времени уходит не на предобучение (включая повторение того, что уже учили в школе), а на обучение уже каким-то прикладным видам мастерства, которые потом не пригодятся. Так, вы научитесь работать в современном техническом вузе на аппаратуре, которую никогда не встретите потом в жизни, моделировать какие-то системы на языках программирования, с которыми тоже в жизни потом не встретитесь, ибо они к моменту выпуска уже окончательно устареют и потеряют актуальность – но вас в бакалавриате этому всё равно научат, как будто умение работать с чем-то старым автоматически переходит в умение работать с чем-то новым.

Да, это основной аргумент в пользу сохранения подобного образования: почему-то считается, что вы как-то сможете обобщить навыки мышления и перенести из с одной аппаратуры на другую абсолютно для вас новую, с одного языка на другой абсолютно новый. Но так ли это? Точно ли, что познакомившись с китайским языком, вы потом легче освоите тамильский?! Разбираться нужно ровно с такими вопросами «переноса навыков» и давать в бакалавриате только общее для самых разных ситуаций, самых разных дисциплин! Нужно учить думать, заниматься предобучением, а не прикладным обучением. Прикладное обучение плохо обобщается на другие ситуации, на то оно и прикладное!

А подстройка-магистратура после бакалавриата? Подстройку могут дать тысячи и тысячи прикладных учебных заведений, это пара лет вечерних занятий магистратуры (ибо многие дисциплины в магистратурах ещё и перезачитываются, поэтому не нужно трёх лет, достаточно двух). Пара лет углубления знаний по какому-то предмету – это дёшево, это быстро, это понятно.

Основной аргумент Болонской системы, в рамках которой и происходит разделение бакалавриата и магистратуры по сравнению с традиционным для СССР «специалитетом» в виде непрерывных пяти лет прикладного образования – это возможность за четыре года стать зрелой «общеобразованной» личностью, чтобы потом осмысленно выбрать прикладную магистерскую программу. При этом недавнее исследование показало, что по факту и выпускники-бакалавры, и выпускники более дорогого и долгого специалитета, которые учатся на год дольше, чем бакалавры, получают одинаковые деньги и демонстрируют примерно одинаковые навыки⁸⁴! Оказывается, бакалавриат и специалитет по факту работают по части выгодности для поступления на работу одинаково, а бакалавриат и магистратура вместе выгодней специалитета.

Если у тебя ещё нет надёжной модели мира в голове, модели себя, модели сфер деятельности, то как ты будешь осмысленно и осознано выбирать прикладные области для своего развития в специалитете, как выбирать вид прикладных проектов, которыми будешь заниматься после окончания специалитета через пять лет? Выбор будет не осознанный, а случайный, интерес к учёбе на пятый год может варьироваться от сильного (у очень немногих) до негативного (у очень многих). Скажем, автор этих строк закончил специалитет по физической химии, но ни одного дня не проработал по специальности. Болонская система с разделением предобучения в бакалавриате и подстройки в магистратуре (да ещё и возможностью поработать и получить какой-то жизненный опыт в промежутке между ними) учитывает важность осознанного и информированного выбора прикладной глубокой специализации. Это и есть главное отличие от специалитета, где ты должен выбрать «профессию мечты» как можно раньше, неразумными ещё мозгами.

Если специализация происходит слишком рано, как в советских специалитетах, то вместо предобучения получается сразу подстройка сырых мозгов на прикладные знания – и надёжной образовательной платформы для последующей переспециализации не будет. Три из пяти лет могут быть потрачены на изучение машиностроения в рамках специалитета (пять лет обучения прикладному мастерству, без «неприкладного» бакалавриата), но через три года окажется, что интереса к машиностроению у человека нет, и он хочет стать операционным менеджером в сфере информационных технологий. Три года были потрачены зря на подстройку к машиностроению, а предобучения так и не произошло. Поэтому потом вместо пары лет на переучивание в другой магистратуре у недоученного машиностроителя уйдет куда больше времени на освоение новой специализации: у него не было полноценного бакалавриата, не было полноценного предобучения. Подстройка его «мокрой нейронной сети» после плохого предобучения будет трудна, займёт много времени. А без подстройки вообще нельзя будет обойтись, хотя хорошее предобучение часто срабатывает и без подстройки.

Если хочется меньше тратить времени жизни как цикла бесконечного совершенствования на постоянную наработку новых видов прикладного мастерства магистерского или даже докторского уровня, нужно потратить больше времени на образовательный фундамент, на ни разу не прикладное предобучение уровня бакалавриата. Зачем учиться тому, что потом не будет очевидным образом приложимо на практике? Только затем, чтобы потом быстрее научиться приложимому на практике, выиграть время. И ещё раз научиться чему-то прикладному, и ещё раз научиться – всё время подучиваться-подстраиваться, ибо набор мастерства – это непрерывное доучивание, набор прикладного опыта. Если у вас личность достаточного калибра, то есть вы получили достаточное предобучение, то набор самого разного прикладного мастерства будет быстрым. Вас будут уважать не только за то, что быстро разбираетесь в новых задачах (высокий интеллект, мыслительное мастерство), но и за профессионализм в решении этих задач (прикладное мастерство).

Увы, не все учебные программы бакалавриатов выстроены так, чтобы дать человеку общее образование, позволяющее ему потом легко специализироваться в сотнях и тысячах возможных прикладных практиках. Эти учебные программы для бакалавриатов нужно специально проектировать как программы предобучения⁸⁵.