В 2024 году Нобелевскую премию по физике получили Джон Хопфилд и Джеффри Хинтон за исследования в области машинного обучения нейросетей. Об этом сообщили представители Нобелевского комитета на церемонии.
«Это первая «Нобелевка», которая лежит на стыке физики, биологии и компьютерсайенс. Человечество упорно пытается понять, как работает там человеческий мозг. Несмотря на некоторые сложности, нейронные сети демонстрируют впечатляющие результаты, успешно решая конкретные задачи во многих областях. Это свидетельствует о том, что мы уже близки к разгадке, но пока не можем полностью понять, как работает мозг. Поэтому любая физическая теория, способствующая более глубокому осмыслению работы мозга, становится особенно ценной. По сути, за это и была дана премия в этом году», – рассказал «Газете.Ru» главный аналитик Центра искусственного интеллекта МФТИ Игорь Пивоваров.
Они обучили первые нейросети
Нейронная сеть мозга — это последовательность нейронов, соединенных между собой синапсами. Структура компьютерной нейронной сети пришла в мир программирования прямиком из биологии. По своей сути это машинная интерпретация структуры мозга человека, в котором находятся миллиарды нейронов, передающих информацию в виде электрических импульсов. Благодаря такой структуре, компьютер обретает способность анализировать, запоминать и воспроизводить различную информацию.
Однако сначала эту сеть нужно обучить. За разработку способов обучения компьютерной нейронной сети и была присуждена премия по физике в 2024 году.
При машинном обучении с помощью алгоритмов выявляются закономерности в данных. На основе этих закономерностей создается модель данных для прогнозирования. Чем больше данных обрабатывает такая модель и чем дольше она используется, тем точнее становятся результаты. Джон Хопфилд и Джеффри Хинтон развивали этот подход с 1980-х годов и сделали множество фундаментальных открытий в этой области.
«Сейчас очень большое внимание уделяется искусственному интеллекту. Есть серьезные научные достижения в этой области, их, конечно, хочется отметить. Однако Нобелевскую премию по математике, как мы знаем, не присуждают, поэтому достижения в этой области пытаются привязать к другим наукам, — в этом случае к физике. Поэтому сегодня наградили авторов тех моделей, которые при работе полагаются на физические принципы, несмотря на то, что есть более успешные разработки в обучении сетей, но не связанные с физикой», – отметил в беседе с «Газетой.Ru» директор центра когнитивного моделирования МФТИ и директор лаборатории Института AIRI Александр Панов.
Разработки Хопфилда и Хинтона основаны на принципе минимизации энергии. По словам Панова, лауреаты доказали, что компьютерное обучение и память тесно связаны с фундаментальным физическим понятием энергии.
Джон Хопфилд изобрел нейронную сеть, которая получила имя своего автора. Она представляет из себя автоассоциативную сеть из одного слоя нейронов, способную выполнять функцию ассоциативной памяти, то есть восстановление искаженного (зашумленного) сигнала (образца) по ближайшему к нему эталонному. Она также может применяться для фильтрации данных и решения задач оптимизации.
По словам Панова, нейронная сеть Хопфилда — это вычислительная функция. Она состоит из нескольких параметров, которые настраиваются без участия человека и без знания правильных ответов. В отличие от классических, сеть Хопфилда учится распознавать паттерны в автоматическом режиме, что называется обучением без учителя.
«В процессе обучения сеть настраивает свои параметры, а именно связи между нейронами, минимизируя абстрактную функцию, которая измеряет энергию. Мы видим определенные паттерны и запоминаем их таким образом, чтобы связь между нейронами обеспечивала наименьшую энергию. В результате мы сохраняем изображение и можем восстановить его в случае необходимости», — рассказал Панов.
Второй лауреат, Джеффри Хинтон, использовал сеть Хопфилда в качестве основы для новой сети, в которой используется другой метод: машина Больцмана. Она обучается на примерах.
«Хопфилд сделал очень много интересных работ в направлении изучения того, как из простых взаимодействий рождаются сложные системы, с упором на механизмы памяти (запоминание/забывание). Хинтон же показывает в своих работах как такие концептуальные строительные блоки можно описывать математически, превращать в формулы и код, а затем и в строительные блоки современных нейросетей — того что лежит в основе текущей «AI-революции». А его машина Больцмана является хорошей точкой пересечения для возможного объединения пока еще явно не оформленной теории нейронных сетей и классической физики», – объяснил прикладной математик, руководитель проектов лаборатории ГИС Института ИИ МФТИ Алексей Самосюк.
Но, по словам ученых, ни первая, ни вторая нейросети сейчас активно не применяются, их используют только для решения специфичных задач.
«Машина Больцмана и сеть Хопфилда на самом деле сейчас не очень активно используются. Они не то чтобы устаревшие, но они пока не показывают самые лучшие результаты на классических задачах, их не применяют ни в больших языковых моделях (ChatGPT, GigaChat), ни в распознавании изображений», — рассказал Панов.
Заведующий лабораторией суперкомпьютерных методов в физике конденсированного состояния МФТИ Владимир Стегайлов отметил, что эта Нобелевская премия, по сути, присуждена за разработку в сфере ИИ.
«Конечно, в основе ИИ лежат математические методы, но в своей основе методы машинного обучения вдохновлены тем, что мы видим в природе. Этим объясняется неразрывная связь с физикой, которая дает нам язык понятий для осмысления природы вокруг нас. Связь между методами машинного обучения и физикой очень глубокая. Конечно, сейчас искусственный интеллект вошел во все сферы жизни, кардинально изменил научную и исследовательскую деятельность», — отметил собеседник «Газеты.Ru» Стегайлов.
Он сменил пять увлечений
Джон Хопфилд родился в 1933 году в США в семье польских физиков Джона и Хелен Хопфилдов. По словам лауреата, в его семье преобладал научный взгляд на окружающий мир, согласно которому любой предмет или явление можно было изучить и объяснить.
«Атом, тропосфера, ядро, кусок стекла, стиральная машина, мой велосипед, фонограф, магнит — все это было попутно предметом изучения. Основная идея заключалась в том, что вы должны быть в состоянии разобрать что угодно, понять взаимосвязь между его составляющими, провести эксперименты и на этой основе развивать понимание его поведения. Физика была точкой зрения, что мир вокруг нас, приложив усилия, изобретательность и достаточные ресурсы, понятен предсказательным и количественным образом», — вспоминает Хопфилд.
Именно поэтому в детстве Джон Хопфилд разбирал и собирал различные предметы, чтобы понять, как они работают. Он чинил велосипеды, проводил химические эксперименты на кухне и в подвале, строил планеры, конструировал простые радиоприемники.
«Одно из моих самых ранних воспоминаний — это маленькая отвертка, которая хранилась в ящике швейной машинки с ножным приводом, которой пользовалась моя мать. Она предназначалась для мелких регулировок швейной машинки, но мне разрешалось использовать ее для чего угодно в доме — до тех пор, пока я кладу ее обратно в ящик. И если я иногда не мог собрать объект, мой отец терпеливо делал это вечером», — отметил ученый.
Получив степень бакалавра в колледже Суортмор в 1954 году, Хопфилд изучал теоретическую физику конденсированного состояния в Корнеллском университете, затем он стал сотрудником ATT Bell Laboratories, где 10 годами ранее изобрели первый транзистор. В 1982 году Хопфилд разработал модель нейронных сетей, чтобы понять работу памяти.
По словам Джона Хопфилда, он не привык задерживаться на одной проблеме слишком долго как в науке, так и вне ее. Это качество помешало стать ему хорошим пианистом, лыжником, теннисистом, гольфистом и яхтсменом.
Но привычка разбираться в устройстве всего сущего подтолкнула его к изучению одной из самых комплексных и неуловимых вещей во Вселенной — человеческого мозга, чему он отдал более 40 лет своей жизни.
В честь его родственника назвали Эверест
Джеффри Хинтон родился в 1947 году в семье известных лондонцев, которые занимались разными областями науки. Так, первые на дорожку открытий вступили его прадед и прабабушка, которые занимались изучением алгебры и Булевых функций, которые позже легли в основу работы компьютеров. А дядя его бабушки — Джордж Эверест — был географом и генеральным топографом Индии, в честь которого была названа гора Эверест. Отец Хилтона — Говард — был известным энтомологом, а мать, Ширли Гвендолин, — писательницей.
Одна из двоюродных сестер Джеффри — Джоан Хинтон — была физиком-ядерщиком и одной из немногих женщин, работавших над Манхэттенским проектом, в рамках которого было создано первое ядерное оружие.
В детстве Хинтон проявлял интерес к компьютерам и математике. Родители с детства поощряли его стремление к учебе и нередко были слишком настойчивы. Мать говорила: «Будь академиком или неудачником». Отец напоминал: «Работай очень усердно, и, может быть, когда ты будешь в два раза старше меня, ты будешь в два раза лучше».
Хинтон переехал из Британии в США, чтобы учиться в Кембриджском университете. Он изучал физиологию, философию и физику, прежде чем в 1970 году получил степень по экспериментальной психологии. Затем он поступил в Эдинбургский университет, где в 1978 году получил докторскую степень в области изучения искусственного интеллекта.
Несмотря на то, что его преподаватели отговаривали его, Хинтон занялся сетями, созданными по образцу нейронных узлов и структуры человеческого мозга. С тех пор он поработал во многих исследовательских коллективах и даже основал собственную компанию DNNresearch Inc., которая была приобретена Google.
Сейчас ученый занимается научной деятельностью в Канадском институте перспективных исследований.
А вот личная жизнь Джеффри Хинтона, в отличие от карьеры, была отмечена трагедиями. Первый брак ученый заключил с Розалинд Залин, от которой у него было двое детей — Томас и Эмма. К сожалению, Розалинд скончалась от рака яичников, а Хинтон стал отцом-одиночкой. В 1997 году Хинтон женился на Джеки Хинтон — британском искусствоведе. Пара оставалась в браке до смерти Джеки в апреле 2023 года после борьбы с раком поджелудочной железы.