Что стало причиной этого взлета и почему он оказался таким быстрым и неожиданным? Как часто бывает в случае прогресса, здесь соединилось несколько факторов, и определенную роль сыграли упорство разработчиков и счастливая случайность. Многие специалисты считают, что единственным важным фактором был закон Мура. По мере увеличения размера нейронные сети становятся намного более мощными и производительными, и только недавно по-настоящему крупные сети стали достаточно дешевы, чтобы быть доступными для большого числа ученых.

Исследователи с небольшим бюджетом также получили доступ к изучению искусственного интеллекта с помощью облачных вычислений. По словам предпринимателя Эллиота Тёрнера, к осени 2016 года вычислительные мощности, необходимые для осуществления передового проекта машинного обучения, можно было получить у провайдера облачных сервисов, например Amazon Web Services, в среднем за 13 тысяч долларов[193]. Как ни странно, рост популярности видеоигр также стал значительным толчком для машинного обучения. Оказалось, что специализированные графические процессоры, которые установлены в современных игровых приставках, хорошо подходят к типам вычислений, нужным для нейронных сетей, так что эти устройства в больших количествах привлекаются для выполнения таких задач. Исследователь искусственного интеллекта Эндрю Ын[194] сказал нам: «Ведущие группы делают с помощью графических процессоров такие безумно сложные вещи, каких я не мог вообразить два-три года назад»[195].

Появление больших данных — то есть недавнее взрывообразное увеличение количества цифрового текста, изображений, звуков, видео, показаний датчиков и тому подобного — было почти таким же важным для машинного обучения, как и закон Мура. Подобно тому как ребенок для изучения языка должен слышать множество слов и предложений, системам машинного обучения нужно иметь множество примеров, чтобы улучшать распознавание речи, классификацию изображений и решать другие задачи[196]. Сейчас данные поступают, по сути, непрерывно, причем их становится все больше. Системы типа тех, что создали Хинтон, Лекун, Ын и другие, обладают весьма полезным свойством: чем больше примеров они видят, тем лучше работают. Хинтон сказал с определенной скромностью: «Если посмотреть назад, то [успех в машинном обучении] был просто вопросом количества данных и количества вычислений»[197].

Возможно, Хинтон принижает собственный вклад. Благодаря ему нейронные сети значительно продвинулись вперед, а одна из его разработок дала новое название всей этой сфере. Статья 2006 года «Алгоритм быстрого обучения для глубоких сетей доверия»[198], написанная Хинтоном в соавторстве с Саймоном Осиндеро и И-Вай Те, продемонстрировала, что довольно мощные и надлежащим образом настроенные нейронные сети могут учиться сами, без вмешательства человека. Например, если такой сети показать множество написанных от руки цифр, она придет к правильному заключению, что в этих данных есть десять различных образцов, соответствующих цифрам от 0 до 9, и в дальнейшем будет точно распределять любые рукописные цифры по десяти категориям.

Такой тип неконтролируемого обучения остается относительно редким. Самые успешные системы основаны на контролируемом обучении, в ходе которого, как правило, сначала они получают набор вопросов и правильных ответов, а уже потом им предлагают самостоятельно ответить на какие-либо новые вопросы. Так, системе машинного обучения можно дать большой набор звуковых файлов с человеческой речью и файлов с соответствующими текстами в письменном виде. Система использует эти пары, чтобы создать ассоциации в рамках своей нейронной сети, которые позволят ей трансформировать в текст новые примеры речи. Поскольку оба подхода к машинному обучению — и контролируемый, и неконтролируемый — используют алгоритмы, описанные Хинтоном и его коллегами в статье 2006 года, сейчас основанные на них программы и устройства обычно называют системами глубокого обучения.

Если не считать весьма небольшого числа более ранних случаев (вроде системы Лекуна для распознавания рукописных номеров на чеках), можно сказать, что коммерческому применению глубокого обучения всего несколько лет. Однако такие технологии распространяются с удивительной скоростью. Разработчик программного обеспечения Джефф Дин[199], который возглавлял программы Google по использованию глубокого обучения, отмечает, что еще в 2012 году компания не применяла эту технологию для улучшения таких продуктов, как поиск Google, Gmail, YouTube или Google Maps[200]. Однако к третьему кварталу 2015 года глубокое обучение стало использоваться примерно в 1200 проектах компании и показало большую производительность по сравнению с другими методами.

Компания DeepMind особенно продвинулась в сочетании глубокого обучения с другой технологией, известной как обучение с подкреплением[201], сосредоточив внимание не только на информационных продуктах, предоставляемых клиентам, но и на важных процессах реального мира. Google ввела в строй несколько крупнейших в мире дата-центров, которые потребляют очень много энергии. В этих зданиях расположены 100 тысяч серверов, которые должны не только получать питание, но и охлаждаться. Проблема с охлаждением усугубляется тем фактом, что общая вычислительная нагрузка для центра, или общее количество запрашиваемых серверов, непредсказуемо изменяется во времени. Кроме того, на необходимость охлаждения влияет погода.

Как правило, всеми насосами, вентиляторами, охладительными башнями и прочим оборудованием, которое поддерживает нужную температуру в дата-центрах, управляют люди. Они следят за термометрами, датчиками давления и прочими сенсорами и принимают решения, как лучше охлаждать здание. Компания DeepMind захотела узнать, можно ли вместо этого использовать машинное обучение. Специалисты использовали данные прошлых лет о вычислительной нагрузке, показаниях датчиков, факторах окружающей среды (температуре и влажности), чтобы обучить систему нейронных сетей управлять всем имеющимся оборудованием для охлаждения. В каком-то смысле разработчики подошли к дата-центру как к гигантской видеоигре и дали указания своим алгоритмам постараться набрать максимальное количество очков; в рассматриваемом случае очки начислялись за оптимальную эффективность энергопотребления.

Когда реальный дата-центр перешел под управление этой системы, результаты появились немедленно и поражали воображение[202]. Общее количество энергии, используемой для охлаждения, снизилось на целых 40 процентов, а ситуация с непроизводительными потерями — энергией, которая не использовалась непосредственно для IT-оборудования и включала дополнительные нагрузки и потери, — улучшилась примерно на 15 процентов. Один из основателей DeepMind Мустафа Сулейман сказал нам, что это одно из самых крупных улучшений, которые когда-либо видела команда дата-центров Google. Сулейман также подчеркнул, что подход DeepMind очень хорошо поддается обобщению. Нейронные сети необязательно полностью перестраивать для каждого нового дата-центра. Их просто нужно обучить с использованием максимально подробных данных за несколько лет. Такое обучение — тонкая и сложная работа[203], но она определенно окупается.

Наиболее эффективные системы машинного обучения, используемые сегодня для самых разных приложений — от управления энергией в дата-центрах до распознавания речи, классификации образов и автоматического перевода — удивительно похожи. Это просто варианты глубокого обучения, а сама сфера применения существенно не изменяет технологию. Это означает,