Хороший, плохой слой

На рисунке 1 потоки информации идут сверху вниз. Сенсорные нейроны — глазные яблоки в верхнем слое — получают сигналы из внешнего мира и кодируют их в удобную для прочтения в рамках данной системы форму. В биологических нейронных сетях (человеческом мозге) это означает преобразование сигнала в электрические импульсы, в искусственных нейронных сетях, которые моделируют мозг, — оцифровка сигнала.

Кодированные таким образом сигналы передаются нейронам в следующий слой, расположенный ниже. Эффекторные нейроны — звездочки в нижнем слое — посылают свои сигналы «устройствам вывода данных» (для биологических нейронов это обычно мышцы, для искусственных — компьютерный терминал, с помощью которого с устройством взаимодействует пользователь). Посередине же находятся нейроны, которые не связаны напрямую с внешним миром — они не получают из него информацию и никак на него не воздействуют. Они взаимодействуют только с другими нейронами. Это и есть скрытые слои.

В первых искусственных нейронных сетях никаких скрытых слоев не было, и выходные данные были относительно простой функцией входных данных. Такие двухслойные «перцептроны» (от лат. perceptio — «восприятие», математическая и компьютерная модель восприятия информации мозгом. — Правила жизни), действующие исключительно на «вход-выход», были крайне ограничены в своих возможностях. К примеру, невозможно сконструировать перцептрон, который, столкнувшись с несколькими черными кругами на белом фоне, был бы в состоянии посчитать количество этих кругов. Лишь в 1980-е, спустя многие годы после первых работ в этой области, ученые поняли, что включение хотя бы одного или двух скрытых слоев поразительно расширяет возможности искусственных нейронных сетей. Сейчас такого рода многослойные сети используются, например, для анализа столкновений частиц высоких энергий в Большом адронном коллайдере. Человеку и не снилась та скорость и надежность, с которой они это делают.

В 1981 году Дэвид Хьюбел и Торстен Визел получили Нобелевскую премию по физиологии и медицине за то, что открыли механизм действия нейронов в зрительной зоне коры головного мозга. Они показали, что в скрытых нейронных слоях последовательно извлекаются наиболее информативные свойства визуальных сигналов (например, резкие смены яркости или цветов, свидетельствующие о границах объекта), а потом складывают их в единое целое (собственно, объекты).

Каждое мгновение нашей взрослой жизни, не занятое сном, мы преобразуем множества фотонов, которые приходят с разных сторон, из множества неупорядоченных источников и попадают на двухмерную сетчатку, в привычный нам трехмерный мир. Поскольку это не требует с нашей стороны никаких осмысленных усилий, мы склонны не замечать это «обыкновенное чудо» и принимать его как должное. Но когда инженеры попытались воспроизвести его, создавая зрение роботов, они потерпели неудачу. По человеческим меркам, зрение роботов до сих пор остается весьма примитивным. Хьюбел и Визел показали архитектурное решение, которое использовала Природа, — это архитектура скрытых слоев. Каждый нейрон в скрытом слое обладает матрицей сравнения, которая активизируется и посылает сигналы в следующий слой, только когда информация, поступающая из предыдущего слоя, соответствует (с некоторой точностью) этой матрице.

В разговоре о скрытых слоях важно делать различие между простой констатацией эффективности и силы хорошей сети и сложной проблемой того, как такую сеть создать. Играть на фортепиано, кататься на велосипеде или плавать легко, когда вы этому уже научились (функционирование готовой системы), но сам процесс обучения труден (создание системы). Одна из величайших нерешенных проблем современной науки: как в нейронной сети появляются и укладываются новые скрытые слои. Я бы даже рискнул назвать эту проблему величайшей.

Если же вывести идею скрытых слоев за рамки нейронных сетей, она становится очень мощной, богатой и многосторонней метафорой, с помощью которой можно многое объяснить. Например, занимаясь физикой, я заметил, насколько большое значение имеет называние тех или иных явлений. Когда Мюррей Гелл-Манн открыл элементарные частицы «кварки», он дал имя некоему набору парадоксальных фактов, объединив их в единое множество. Как только границы этого множества были очерчены, перед физиками встала задача его точного математического описания, но поворотным моментом в решении этой проблемы стало именно ее определение. Точно так же, когда я открыл «энионы» (тип частиц, объединяющий фермионы и бозоны, в двухмерных системах. — Правила жизни), я знал, что ухватил некое множество связанных между собой идей, но я даже представить не мог, какую потрясающую эволюцию пройдут эти идеи и какое место займут в реальности. Во всех подобных случаях именование явления рождает новые узловые соединения в скрытых слоях.

Убежден, что идея скрытых слоев очень точно объясняет принципы функционирования сознания — и не важно, человеческого, животного или инопланетного, сознания прошлого, настоящего или будущего. Сознание осваивает идеи, интегрируя их в себя как свойства, которые распознаются в скрытых слоях. И как чудесно бы было, если бы такая полезная идея, как «скрытые слои», была включена в скрытые слои повсеместно».

«Ничто в жизни не является настолько важным, насколько кажется важным, когда вы о нем думаете». Образование — важнейший фактор при определении дохода человека, но оно далеко не так важно, как принято считать. Если бы у всех в мире было одинаковое образование, разрыв в доходах между беднейшими и богатейшими людьми уменьшился бы всего на 10%. Когда вы сосредотачиваетесь на образовании, вы упускаете мириады других факторов, которые определяют доход. Между тем разница в доходах людей с одинаковым образованием может быть огромной. Доход — важнейший фактор удовлетворенности жизнью, но он далеко не так важен, как принято считать. Если бы у всех людей в мире был одинаковый доход, разрыв в степени их удовлетворенности жизнью сократился бы меньше чем на 5%. Доход значит еще меньше, когда речь заходит о счастье. Выигрыш в лотерее — счастливое событие, но эйфория скоротечна. Конечно, в среднем люди с более высоким доходом пребывают в более приподнятом настроении, чем люди с доходом низким, но эта разница в три раза меньше, чем принято считать. Когда вы думаете о богатых и бедных, вы неминуемо фокусируетесь на обстоятельствах, при которых их доход имеет значение. Но счастье зависит от уровня доходов в меньшей степени, чем от множества других факторов.

Люди, страдающие параличом, часто несчастливы, но нельзя сказать, что они несчастливы постоянно, потому что большую часть своего времени они не концентрируются на своей болезни. Когда мы думаем о том, каково это — быть паралитиком, или слепым, или победителем лотереи, или жителем штата Калифорния, мы фокусируемся на отличительных особенностях каждого из этих состояний. Это несоответствие в распределении внимания между теми, кто смотрит на те или иные жизненные обстоятельства со стороны, и теми, кто является «жертвой» этих обстоятельств, становится причиной «эффекта фокусировки». В результате человек, уделяющий слишком много внимания лишь одному аспекту явления, ошибается в своих оценках и предсказаниях.

Маркетологи нещадно используют «эффект фокусировки». Когда человеку навязывают представление о том, что он «должен» обладать некоторым товаром, он неминуемо преувеличивает значение, которое этот товар будет иметь для его жизни. Сила «эффекта фокусировки» для разных товаров различна — она зависит от того, насколько товар способен привлекать внимание на протяжении времени. И потому для кожаного салона машины «эффект фокусировки» сильнее, чем для аудиокниги.

Политики не хуже маркетологов научились прививать людям чувство, что проблемы, на которых они фокусируются, имеют чрезмерно высокое значение. Людей можно заставить верить, что школьная форма значительно улучшит качество образования, а реформа здравоохранения кардинальным образом изменит качество жизни в США (в лучшую или, напротив, в худшую сторону). Конечно, реформа будет иметь значение, но гораздо меньшее, чем вам кажется, когда вы на ней фокусируетесь».