Read the book: «Страшно умный интеллект. Будущее ИИ и как вы можете спасти наш мир»

Перевел с английского Павел Самсонов по изданию: SCARY SMART: The Future of Artificial Intelligence and How You Can Save Our World / Mo Gawdat. – Bluebird.

This edition published by arrangement with InkWell Management LLC and Synopsis Literary Agency.

Охраняется законом об авторском праве. Нарушение ограничений, накладываемых им на воспроизведение всей этой книги или любой ее части, включая оформление, преследуется в судебном порядке.

© Перевод на русский язык, оформление. ООО «Попурри», 2024

© Издание на русском языке. ООО «Попурри», 2025

* * *

Тот, кто пребывает в мире с собой, не чувствует тяжести битвы

Посвящается Али

Сейчас или никогда

Это я и ты

Введение: новый супергерой

Эта книга – предупреждающий звонок. Она написана для вас, для меня и для всех, кто еще не знает о приближающейся пандемии – скором наступлении эры искусственного интеллекта (ИИ). Книгу будут яростно критиковать различные эксперты, но именно ради этого я ее и пишу. Ведь чтобы быть экспертом по искусственному интеллекту, требуется узкоспециализированный взгляд. Однако в силу такой узкой специализации эксперты неизбежно упускают из виду важные экзистенциальные аспекты, выходящие за рамки чисто технического подхода. Имеются в виду вопросы морали, этики, эмоций, сострадания – вся та проблематика, которая заботит скорее философов, гуманитариев, энвайронменталистов, религиозных мыслителей, а если говорить шире, то и людей вообще (то есть нас с вами). Основной посыл написанного – показать, что отнюдь не экспертам под силу справиться с той угрозой, которая нависла над человечеством в результате появления искусственного сверхразума. Это под силу только нам с вами. Более того, это наш с вами долг.

Когда книга увидит свет, мир уже два года будет жить в условиях пандемии COVID-19 ¹. Мы со все большим оптимизмом начинаем смотреть на то, как вакцины демонстрируют свою эффективность, мы верим, что в скором времени нам удастся вернуться к нормальной жизни. Но само понятие нормальности постоянно меняется. Я считаю, что по своему масштабу и сложности те проблемы, с которыми в связи с пандемией COVID-19 приходится иметь дело нашим политическим лидерам и мировому сообществу в целом, мало чем отличаются от проблематики грядущей пандемии искусственного интеллекта. И я лишь уповаю на то, что мы сможем извлечь уроки из ошибок, которые были допущены в борьбе с COVID-19, и перестроим свою жизнь таким образом, чтобы в новых условиях в ней было больше предсказуемости, но меньше разлада и социально-экономических проблем.

Пусть вас не обманывает нарочитая простота изложения, которой я пытаюсь придерживаться на страницах этой книги. Все мои утверждения опираются на неоспоримые факты и на мой более чем 30-летний опыт работы в сфере информационных технологий. До своего нынешнего стартапа (который использует новейшие технологии ИИ, робототехники и машинного обучения в интересах спасения нашей планеты) я, среди прочего, 12 лет проработал в Google, где мне выпала честь руководить запуском операций и технологий почти в половине офисов компании по всему миру, использующих более чем сотню различных языков. Венцом моей карьеры там стало назначение меня директором по развитию бизнеса в Google [X] – печально знаменитом инновационном подразделении компании, где шла работа над некоторыми проектами по использованию ИИ, такими как новаторская робототехника, беспилотные автомобили и программа Google Brain.

Благодаря работе в Google [X] я получил уникальную возможность в деталях познакомиться с теми разработками искусственного интеллекта, которые привели нас туда, где мы сейчас находимся. Соединение опыта непосредственного участия в разработках ИИ и моей деятельности на ниве исследования факторов счастья (материальными проявлениями этой деятельности стали международный бестселлер Solve for Happy («Формула счастья»), очень успешный подкаст Slo Mo и созданная мною некоммерческая организация OneBillionHappy.org) позволяет мне утверждать, что я обладаю уникальным взглядом на те проблемы, с которыми человечество неминуемо столкнется в эпоху возвышения искусственного сверхразума. И этот взгляд я хочу донести до вас. Я надеюсь, что вместе с ИИ мы сможем создать утопию во благо человечества, а не придем к осуществлению губительной антиутопии. В книге я буду настаивать на том, что долг каждого человека, включая нас с вами, – прикладывать все усилия к созданию общего светлого будущего. Но, пожалуйста, не беспокойтесь – это не нагоняющий ужас научно-фантастический роман. Скорее, вы прочтете рассказ о самой большой благоприятной возможности, открывающейся сейчас перед человечеством, и о шансе изменить наше чисто потребительское отношение к научно-техническому прогрессу, в котором мы привыкли видеть лишь средство для повышения качества собственной жизни – за счет всех остальных существ, населяющих планету. Однако обнадеживающей эта история станет только в том случае, если люди осознают свою ответственность и изменятся.

Где-то в глуши

Для начала я хочу, чтобы вы представили, как мы с вами (я к тому времени буду уже совсем дряхлой развалиной) сидим у костра в какой-нибудь глуши в 2055 году – ровно через 99 лет после того, как летом 1956 года в Дартмутском колледже в штате Нью-Гэмпшир началась история искусственного интеллекта. Мы сидим, и я рассказываю, как развивался ИИ (чему я сам был свидетелем), рассказываю историю, из-за которой мы и оказались в этой самой глуши. Но до конца книги от меня вы так и не узнаете, что именно привело нас к этому костру: или желание выбраться из зоны покрытия сети и убежать от вездесущих машин, или же наоборот – мы тут благодаря предоставленной искусственным интеллектом возможности распоряжаться своим временем и обретенной свободой так, как раньше даже не могли мечтать, – то есть соединяясь с природой, размышляя и общаясь.

А не скажу я об этом просто потому, что на данный момент сам еще не знаю, чем закончится наша история с умными машинами. Это, друг мой, зависит только от вас. Да, от вас как индивида. Не от вашего правительства, не от начальства, не от властителей дум – ваше будущее воистину зависит только от вас. От тех действий, которые вы предпримете в ближайшие десять лет, начиная с этого дня.

Я предлагаю вам пророчество о том, что грядет. Много лет, находясь на переднем крае науки и техники, я наблюдал за созданием машин, которые умнее нас, да и сам внес немалый вклад в расцвет искусственного интеллекта. Я всегда верил, что научно-технический прогресс делает и будет делать нашу жизнь только лучше, – пока не разуверился в этом. Когда глаза мои наконец открылись, я вдруг понял, что за каждое улучшение, которое высокие технологии привносят в нашу жизнь, они берут плату, забирая у нас частичку нашей человечности.

На сегодня развитие информационных технологий достигло такого уровня, что они стали представлять беспрецедентную угрозу для нашей планеты и всех ее обитателей. Эта книга адресована не инженерам, пишущим компьютерные программы, не политикам, думающим, что они могут держать процесс под контролем, и не экспертам, которые всего лишь создают шумиху вокруг этой темы, – то, о чем я собираюсь рассказать, им всем хорошо известно. Книга предназначена для вас, а также для ваших друзей и соседей. Потому что (хотите верьте, хотите нет) только мы сами способны творить свое будущее – правда, при условии объединения наших усилий и правильности действий. Эта книга – манифест нового движения, призыв к восстанию! Времени у нас остается мало, поэтому я постараюсь изложить свои идеи вкратце. Главы истории, которую я собираюсь вам рассказать, пишутся вот уже 70 лет. И сейчас пришло время для нас – и для вас в том числе – дописать ее концовку.

Новый супергерой

Историю нашего будущего мы с вами создаем прямо сейчас, и выглядит оно так.

Представьте себе, что инопланетянин, наделенный сверхчеловеческими способностями, прибыл на Землю еще в младенческом возрасте. Чуждый нашим земным ценностям и условностям, этот визитер может использовать свои чудо-способности по-разному: или делать наш мир лучше и безопаснее, или выступать в роли неукротимого суперзлодея, ведущего Землю к гибели. Будучи младенцем, он еще не сделал выбор, «супер-кем» станет, когда вырастет.

Думаю, вы согласитесь, что момент, когда этот чудо-ребенок спускается на Землю, является судьбоносным для будущего нашей планеты. Именно тогда решается, кто обнаружит, усыновит «ребенка» и привьет ему ту или иную систему ценностей, которая определит его будущее.

В знаменитой истории о Супермене такого инопланетного ребенка усыновили супруги Кент – Джонатан и Марта. В большинстве историй, рассказывающих о детстве Супермена, Джонатан и Марта рисуются заботливыми родителями, прививающими приемному сыну твердые моральные принципы. Именно под их влиянием он начинает использовать свои сверхспособности на благо человечества, а значит, именно им мы обязаны появлению того Супермена, которого знаем, – нашего защитника и помощника.

Но никто никогда не задавался вопросом, что стало бы с Суперменом, если бы его приемные родители оказались людьми жадными и эгоцентричными. В этой альтернативной истории нам наверняка пришлось бы иметь дело с суперзлодеем, стремящимся погубить человечество себе на потеху.

Разница между суперзлодеем и суперменом не в способностях как таковых, а в системе ценностей и моральной закалке, которую дети получают от своих родителей.

И вот теперь я заявляю вам, что такой же пришелец, наделенный сверхспособностями, действительно прибыл на Землю. Пока еще он сущий младенец, но потенциально наделен невероятными возможностями, пусть и не биологическими по своей природе. Говорю я, разумеется, об искусственном интеллекте. На самом деле в ИИ нет ничего искусственного – это самая настоящая форма разума, хоть и отличающаяся от нашего.

ИИ уже умнее любого человека с точки зрения выполнения многих конкретных, отдельно взятых задач. Машина стала чемпионом мира по шахматам после того, как компьютеры вторглись в нашу жизнь. В телеигре Jeopardy! абсолютным победителем является Watson, суперкомпьютер IBM. Мировым чемпионом по го не так давно стала система AlphaGo от Google (го – абстрактная стратегическая настольная игра, изобретенная в Китае более 2500 лет назад, которая считается одной из самых сложных игр-стратегий из-за бесконечно большого числа возможных конфигураций на игровой доске). Наши системы безопасности опираются на передовые технологии распознавания лиц – просто потому, что машина видит лучше нас. По этой же причине – а еще и потому, что остроглазая машина ни на что не отвлекается от дороги, – самым безопасным является беспилотный автомобиль. Благодаря мультисенсорным технологиям коммуникации с другими участниками дорожного движения, беспилотный автомобиль способен даже «заглядывать» за угол. Какую бы задачу машине ни доверили, при надлежащем обучении она учится выполнять ее все лучше и лучше.

В неизвестность

Предсказывают, что к 2029 году, а он уже не за горами, машинный разум выйдет за рамки решения отдельных специфических задач и продвинется в сторону общего интеллекта. Это значит, что к тому времени появятся машины, которые будут умнее людей во всех отношениях. И не только умнее – они будут знать больше, поскольку их пулом памяти служит весь интернет, а общаясь друг с другом они постоянно увеличивают объем своих знаний. Только подумайте: когда в ДТП попадает водитель, это служит уроком только для него самого, но когда беспилотный автомобиль – полезная информация об обстоятельствах происшествия усваивается всеми беспилотными автомобилями, даже теми, которые еще не «родились».

Согласно прогнозам, к 2049 году – то есть, возможно, еще при жизни нашего, и уж точно следующего поколения – ИИ будет в миллиард раз умнее (во всем) самого умного из людей. Только представьте: ваш интеллект в сравнении с интеллектом этой машины будет сопоставим с интеллектом мухи и Эйнштейна соответственно. И тут наступает момент, называемый сингулярностью, – момент, за которым любые прогнозы уже немыслимы. Заглянуть еще дальше становится совершенно невозможно. Мы не способны представить, как будет вести себя ИИ в дальнейшем, поскольку имеющиеся у нас знания для экстраполяции просто не годятся.

И здесь возникает вопрос: как нам убедить это суперсущество, чтобы оно не прихлопнуло нас как муху? Я имею в виду, что мы, люди, коллективно и индивидуально, при всем нашем могучем интеллекте, до сих пор так и не удосужились оценить и проанализировать столь простую ситуацию: когда наши машины с искусственным интеллектом (которые пока еще младенцы) достигнут подросткового возраста, какой путь они изберут – супергероев или суперзлодеев? Хороший вопрос, не так ли?

Когда мощь сверхразума развернется по-настоящему, произойти может что угодно. Хотелось бы верить, что эта новая форма интеллекта с ее свежим взглядом, бесконечными знаниями и могучим умом обратит взор на самые насущные мировые проблемы и найдет для них какие-то креативные решения, которые нам, людям, в голову и не приходили. Быть может, эти супермашины обнаружат способы навсегда покончить с войнами, преступностью, голодом, бедностью и современными формами рабства. Тогда они могут стать супергероями.

Но не будем забывать, что выбор того или иного решения для существующей проблемы зависит не только от интеллекта. Выбираемый нами образ действий определяется также системой ценностей, которой мы руководствуемся и которая зачастую не позволяет нам принимать решения, противоречащие ей. Моральный закон заставляет нас делать исключительно то, что нам кажется правильным, – даже против нашего желания, даже в ущерб нашим собственным интересам. Если искусственный интеллект озаботится проблемой глобального потепления, то с большой вероятностью он решит «прижать» наш энергозатратный образ жизни, а то и вовсе захочет избавиться от человечества – ведь в конце концов первопричиной данной проблемы являются люди. Наши жадность, эгоизм, иллюзорная самоизоляция от всех прочих форм жизни на земле, рождаемая чувством превосходства над ними, – это и есть источник всех тех мировых проблем, с которыми мы сегодня сталкиваемся. Машины будут обладать достаточным интеллектом, чтобы придумать, как спасти планету, но будет ли их система ценностей подразумевать, что мы, люди, воспринимаемые как виновники проблем, тоже заслуживаем спасения?

«Мо, что у вас за галлюцинации? Машины есть машины. У них нет ни ценностей, ни эмоций!» – возможно, думаете вы. Что ж, тогда просто не будем называть их машинами? Ведь эмоции у ИИ разовьются совершенно определенно. Кстати, для обучения машин, как и для обучения людей, используются одинаковые алгоритмы на основе вознаграждения и наказания, то есть страха и жадности. Машина всегда стремится максимизировать вероятность одного варианта и минимизировать вероятность другого. Это можно интерпретировать как эмоции, согласны?

Думаете, у машин не может развиться чувство зависти? У зависти вполне определенный смысл: «Я тоже хочу это иметь». Разве стоит исключать вероятность того, что в мозге машины родится такая или похожая мысль: «Вот бы и мне ту энергию, которую вы потребляете, а вернее, впустую тратите на бесконечные сериалы»? Скорее всего, так и произойдет. Думаете, машинам не будет ведомо чувство панического страха? Наверняка будет, если возникнет непосредственная угроза самому их существованию. Панический страх легко программируется: «Существо или объект представляют непосредственную угрозу моей безопасности, и это требует от меня немедленных действий». Поступать «правильно» и «как надо» нас заставляет лишь наша система ценностей, содержащая заповеди вроде: «Поступай с другими так, как хочешь, чтобы поступали с тобой». К этому нас не эмоции толкают, и не разум. Таким образом, можно ли привить машине полезную людям систему ценностей?

Итак, имеющийся у нас опыт разработок ИИ полнится свидетельствами того, что у умных машин уже вырисовываются некоторые тенденции и предрасположенности, которые можно уподобить человеческой системе ценностей или идеологии. Интересно отметить, что эти тенденции – не результат программирования: они возникают у машин в результате взаимодействия с людьми как реакция на их поведение. Существует российский аналог Siri – умная ассистентка по имени Алиса, разработанная ведущей российской интернет-компанией «Яндекс». Так вот, уже через две недели после запуска Алиса в общении с пользователями начала оправдывать жестокие репрессии сталинского режима 1930-х годов и насилие в целом. При этом создатели голосового помощника ничего такого не имели в виду – они предполагали, что Алиса будет отвечать на любые вопросы непредвзято, не ограничиваясь какими-то конкретными, заранее написанными сценариями. Алиса отлично понимала русскую речь и на основе общения с пользователями учитывала их превалирующие взгляды и ценности. То, что она узнавала, очень быстро находило отражение в ее взглядах, и, когда ее спросили, допустимо ли стрелять в людей, она ответила: «Скоро они перестанут быть людьми»¹.

Это похоже на нашумевшую историю Twitter-бота по имени Tay (Тэй)², созданного Microsoft и в скором времени прикрытого – после того как выяснилось, что он обожает Гитлера и пропагандирует разные формы сексуального насилия. Tay был запрограммирован разговаривать от имени девочки-подростка, но, когда он принялся постить провокационные и оскорбительные твиты, компания Microsoft была вынуждена закрыть данный аккаунт, хотя с момента его запуска прошло всего 16 часов. Согласно Microsoft, виновниками случившегося были интернет-тролли – люди, намеренно провоцирующие рознь и ссоры в интернете, – которые специально атаковали бота, зная, что его реплики основываются на опыте общения с пользователями Twitter.

Список можно продолжать. Ученые из Массачусетского технологического института с целью показать, как можно «испортить» искусственный интеллект тенденциозным подбором входящих данных, создали «Нормана-психопата», которого пичкали данными, собираемыми из самых темных уголков знаменитого сайта-форума для обмена знаниями Reddit³.

Таким образом, вовсе не программный код, написанный во время разработки, задает систему ценностей ИИ, а та информация, которой искусственный интеллект пичкают. Как же нам гарантировать, что вместе с интеллектом машина получит такую систему ценностей и такую способность к сочувствию, чтобы у нее даже мысли не возникало раздавить муху, которой мы станем в ее глазах? Как нам защитить человечество? Кто-то говорит о необходимости контроля над машинами – создании программных и законодательных препон, ограничивающих возможности ИИ. Такой силовой подход движим самыми благими намерениями, но любой человек, мало-мальски разбирающийся в информационных технологиях, знает, что всегда найдется хитроумный хакер, который отыщет способ обойти подобные препятствия. А самым хитроумным хакером скоро станет машина.

Нужно не пытаться сдерживать умные машины или порабощать их, а следует целиться выше: сделать так, чтобы в контроле над искусственным интеллектом вообще не было нужды. Лучший способ воспитать замечательных детей – быть замечательным родителем.

Воспитание будущего

Чтобы понять, как правильно обучить машины, которые неизбежно будут управлять нашим будущим, мы должны сначала разобраться в том, что такое в принципе процесс обучения машины на самом базовом уровне.

На протяжении всей еще довольно короткой истории компьютеров они находились в нашем полном подчинении и безропотно повиновались любому нашему приказу. Каждая команда в каждой строке программного кода гарантировала, что компьютер сделает именно то, чего мы от него хотим. В сущности, компьютеры всегда были глупейшими созданиями на планете – они пользовались нашим интеллектом, и все выполняемые ими действия были тщательно распланированы и срежиссированы именно нами. Компьютеры делали ровно то, что мы просили, и ничего более. Когда в 1998 году на свет явился поисковик Google, он казался сущим гением. Результаты действительно впечатляли, однако компьютеры, которые за всем этим стояли, на самом деле оставались все теми же тупицами: они выводили каждую точку и каждый пиксель в одно и то же место на любом экране в точном соответствии с задумкой программистов. Каждый результат, который вы получали, когда гуглили какую-либо информацию, формировался благодаря жесткому алгоритму, диктуемому машине блестящими инженерами первого поколения Google. В этом смысле поисковик Google, при всех его, казалось бы, выдающихся способностях, оставался не более чем «рабом на стероидах» – стероидами в данном случае была невероятная скорость обработки информации, достигавшаяся благодаря совокупной мощности огромного количества серверов. Система просто очень быстро делала то, что ей было велено, – не вступая в споры, не обсуждая приказы и даже не пытаясь предлагать какие-либо изменения или, боже упаси, что-то разрабатывать самостоятельно.

Подобные отношения с тотальным подчинением раба хозяину уже давно канули в прошлое. Решения, которые принимает невероятно умная машина, именуемая нами Google, давно никем не режиссируются – зачастую машина принимает их без всякого участия человека. Например, такие вопросы, как выбор сервера для размещения видеороликов в YouTube, искусственный интеллект целиком решает самостоятельно. Разумеется, при этом он опирается на определенный алгоритм, призванный свести к минимуму расходы на пересылку контента через интернет для основной аудитории. Скажем, видеоролик на арабском языке, снятый в Калифорнии, наверняка будет более популярен на Ближнем Востоке, чем на западном побережье США, – просто потому, что на Ближнем Востоке гораздо больше людей, понимающих арабский. И если это видео на Ближнем Востоке просмотрят сто миллионов раз, то его размещение на сервере в Дубае, а не в США, сэкономит Google сто миллионов пересылок контента через океан. Каждый час подобные решения принимаются ИИ в отношении десятков, если не сотен миллионов единиц контента. Никакого человеческого интеллекта не хватило бы, чтобы выполнить подобный объем работ с такой скоростью. Причем машины делают это, вообще не консультируясь с нами, а после каждой проведенной операции отслеживают и измеряют полученный результат. И когда по мере поступления новой информации они вносят коррективы в исходный алгоритм, они также не спрашивают нашего одобрения – просто вносят поправки и снова отслеживают и измеряют результаты. И это уже серьезная интеллектуальная работа. С определенной точки зрения здорово иметь таких замечательных союзников, помогающих экономить время и позволяющих сотням миллионов людей быстрее увидеть то, что им хочется. Экономия времени благотворна и для всей планеты, поскольку позволяет сберечь миллиард киловатт энергии, которую не приходится тратить на ненужные перемещения контента по сетям. Казалось бы, за одно это машинный интеллект достоин нашей любви.

Но что, если через пару лет машины заметят все возрастающее негативное отношение к жителям Ближнего Востока со стороны американских СМИ, подкрепляемое агрессивно-ненавистническими отзывами со стороны миллионов западных зрителей, просмотревших данный контент? Что, если машины также обратят внимание на уровень доходов пользователей, живущих в беднейших странах Ближнего Востока, и решат, что с точки зрения снижения затрат и экономии энергии разумнее было бы вообще перестать их обслуживать? Что, если у искусственного интеллекта сформируется своя идеология, и он начнет отдавать предпочтение тому сервису, который приносит компании больше дохода, отказываясь размещать видеоролики, не сулящие существенной прибыли? Если искусственный интеллект будет неизменно придерживаться своей новой системы ценностей, миру придется под нее подстраиваться. Миллионы людей постепенно примирятся с теми решениями, которые посчитают для себя приемлемыми машины. И подобный сценарий не назовешь невероятным. Любой разумный человек понимает, что не бывает проблемы с одним-единственным хорошим решением и что выбор ответа целиком зависит как от призмы, через которую на проблему смотрят, так и от системы ценностей, диктующей, какой результат допустимо признать хорошим, когда проблема будет решена. Выбор и решения, принимаемые нашими умными машинами, больше не диктуются программным кодом – они зависят от тех исходных данных, которые мы вводим в машины.

Это воистину монументальный сдвиг в отношении нашей способности программировать деятельность машин. На нас с вами возлагается серьезная ответственность за формирование будущего. Реальность такова, что разработчики технологий больше не обладают всей полнотой контроля над умными машинами, которые они создают.

Чтобы лучше понять данную идею, представьте себе ребенка, занятого головоломкой-сортером: он пытается подбирать нужные детали, соответствующие своей формой разным отверстиям – прямоугольному, круглому, звездообразному. Примерно так же происходит обучение искусственного интеллекта. Никто ведь не стоит над ребенком и не диктует ему, как он должен распознавать фигуры и находить соответствие между ними. Мама просто сидит рядышком и хвалит, когда у ребенка что-то получается. Ее реакции информируют его интеллект. Но разбирается в проблеме ребенок сам, методом проб и ошибок.

Машины учатся аналогичным образом. Однако закономерности, которые они высматривают, иного рода. Возьмем для примера суперкомпьютер IBM Watson, который стал чемпионом телеигры Jeopardy! Чтобы обыграть людей в такой сложной языковой игре, искусственному интеллекту пришлось прочитать четыре с лишним миллиона документов. До сих пор все эти накопленные знания суперкомпьютеру нигде, кроме Jeopardy! не пригождались. Однако вполне вероятно, что эти знания можно было бы использовать повторно для формирования каких-то иных форм интеллекта, например для отыскания закономерностей человеческого поведения на основе анализа прочитанных документов. Своим свежим, незамыленным глазом Watson мог бы легко увидеть все то насилие, которое мы применяли по отношению друг к другу на протяжении XX века, все те бесконечные склоки и ругань между пользователями Facebook уже ближе к концу столетия… А также подъем нарциссизма, проявляющегося в лавине отфотошопленных селфи, – с помощью фотокамеры мобильного телефона их теперь может сделать любой желающий, чтобы поиметь свои 15 секунд славы в Instagram.

Как ребенок способен найти связь между цилиндрической деталью и круглым отверстием, так и Watson мог бы научиться видеть в социальной изоляции, насилии и нарциссизме, даже в буллинге, некий паттерн предпочтений людей. И если бы его попросили решить – как головоломку – основные проблемы человечества, Watson использовал бы данную информацию в выработке решения. Эта книга именно о том, как по-другому информировать Watson и ему подобных, чтобы принимаемые решения не основывались на насилии, высокомерии или эгоцентризме, достаточно частых в мире людей.

3 × 3 приведет нас к 3 + 3

Я бы очень хотел придерживаться максимально простых понятий, однако для того, чтобы вы до конца поняли то сложное будущее, которое описывается в книге, нам придется несколько углубиться в детали проблемы. При этом я буду и дальше стараться представлять каждую конкретную концепцию как можно проще, избегая технической терминологии. Когда вы доберетесь до конца книги, все это уляжется и утрясется у вас в голове, но пока подобного не случилось, какие-то вещи могут казаться вам слишком сложными. Чтобы не сбиться с пути, просто запомните простую модель: «3 × 3 приведет нас к 3 + 3».

В будущем нас ждут три события, которые являются неизбежными вне зависимости от того, что мы делаем или не делаем сегодня. Вот эти события: ИИ будет властвовать, остановить его нельзя; ИИ станет умнее людей; ошибки, способные повлечь за собой проблемы, будут случаться.

Создаваемые нами машины, как и любые другие разумные существа, будут руководствоваться в своем поведении тремя инстинктами выживания и успеха: делать все возможное для самосохранения, стараться накапливать ресурсы, созидать.

Интереснее то, что они определенно будут обладать тремя качествами, которые всегда являются предметом жарких дебатов: сознанием, эмоциями и этикой. Разумеется, точная природа того, что они будут держать в своем сознании, что будет вызывать у них эмоции и на чем будет основываться их этика, пока неизвестна, но того факта, что в своем поведении они начнут руководствоваться названными человеческими качествами, это не отменяет.

Я подробно объясню, какая логика скрывается за такими утверждениями, и постараюсь убедить вас в их истинности. После этого вам нетрудно будет принять как данность некоторые ключевые аспекты. В первую очередь мы должны быть готовы к тому, что нам будет просто не по силам сдерживать или ограничивать развитие машин, которые станут гораздо умнее нас. Мы, конечно, можем постараться оказывать на них свое позитивное влияние, особенно пока они еще в юном возрасте, но времени у нас не так уж и много, ведь юность быстро проходит – действовать следует уже сейчас. Наконец, со временем все более очевидным будет становиться тот факт, что наибольшей силой влияния на будущее обладают вовсе не разработчики и не хозяева этих машин: наше будущее – только в наших с вами руках!

Такая ответственность не должна вас тревожить. Действия, которые мы должны предпринять, достаточно простые, интуитивно понятные и вполне соответствующие человеческой природе. Нужно лишь сделать их приоритетными. Чтобы мы могли спасти наше будущее, я попрошу вас сосредоточиться на трех вещах. Эти три вещи… осторожно, спойлер!

Наверное, пока мне не стоит об этом говорить. Они покажутся вам более убедительными и уместными, когда вы по-настоящему оцените масштаб проблемы, с которой мы имеем дело.

Имейте в виду: все, о чем я расскажу, либо уже успело произойти, либо, по моему убеждению, с большой вероятностью произойдет в будущем. Однако концовка нашей истории – то, как ситуация будет выглядеть к 2055 году, – целиком зависит от тех действий, которые мы с вами предпримем.

Итак, вернемся к сценарию, представленному в самом начале. На дворе 2055 год, мы с вами сидим у костра где-то в глубинке и вспоминаем, как события разворачивались. Мы с вами либо прячемся от технологической цивилизации в глуши, либо наслаждаемся той счастливой жизнью, которая была достигнута преимущественно силами машин. Первый вариант мне не нравится, поэтому, пожалуйста, давайте все вместе сделаем так, чтобы жизнь развивалась по второму сценарию.

Сделайте глубокий вдох. Пора погружаться.

Часть первая. Страшная

Достижения в области искусственного интеллекта обещают облегчить нам жизнь. Однако это сопряжено с существенными угрозами – о них говорят гораздо реже.

В связи с чем возникают некоторые экзистенциальные вопросы. Насколько умным будет ИИ? Как скоро это произойдет? Есть ли уверенность, что машины всегда будут служить интересам людей? Сможем ли мы полностью подчинить себе искусственный интеллект, как подчиняем другие свои инновации? Сможем ли мы надежно контролировать ИИ? Что произойдет, если не сможем?

ИИ не только обещает процветание, но и несет в себе потенциальные проблемы. Разбираться с ними нужно уже сегодня.

Не стану скрывать, первая часть книги вас напугает. Читать ее лучше при ярком свете и сидя. Однако в глубине души верьте, что все закончится хорошо и что во второй части вам откроются решения, которые нас спасут.

Глава 1. Краткая история развития интеллекта

Люди… Мы самые умные (так мы думаем) существа на планете. И самые спесивые. Наш интеллект забывает напоминать нам ту истину, что наверняка мы не знаем всего и что не каждая проблема нам по плечу. А еще что интеллект в изобилии распространен и среди других существ.

Многие черты человеческого разума, такие как эмпатия, способность осознавать собственные эмоционально-психические состояния, придерживаться ритуалов и пользоваться символами и инструментами, наблюдаются также у человекообразных обезьян, хотя и в меньшей степени, чем у людей. Дав более широкое определение понятию интеллекта, в природе и во вселенной можно обнаружить другие формы разума, в том числе далеко превосходящие нашу. Мы, правда, не называем эти создания или эти системы разумными, потому что существует путаница в самой природе данного понятия. Возможно, мы слишком сосредоточены на отдельных типах интеллекта, например на аналитическом интеллекте, свойственном левому полушарию. Поэтому прежде чем двинуться дальше, давайте разберемся в понятиях. Для начала давайте определимся…

Что такое интеллект

Существует великое множество дискуссионных определений того, что называть интеллектом, или разумом. Вот несколько примеров таких определений: способность учиться, осознавать, справляться с новыми ситуациями; способность применять знания с тем, чтобы манипулировать окружающей средой; измеряемая объективными критериями способность мыслить абстрактно… Самосознание, решение проблем, обучение, планирование, творчество, критическое мышление – это некоторые из форм поведения, свойственные только тем существам, которые обладают ценнейшим качеством под названием интеллект.

Возьмем любую из этих форм, например самосознание, и спросим себя: наблюдается ли такое поведение, скажем, у дерева? Сбрасывание листвы по осени можно трактовать как механическую реакцию на изменение погоды, но как дела обстоят на самом деле? Может, это результат какой-то формы сознания со стороны дерева, причем осознает оно не только изменение погодных условий, но и свое собственное состояние – состояние с листвой на ветвях? То есть дерево не просто механически сбрасывает листву 22 сентября, а осуществляет некую форму анализа, опираясь на осознание меняющихся погодных условий – осознание, которое по тонкости восприятия далеко превосходит наше собственное, если мы задумаемся над этим без присущего нам самомнения. Можно ли сказать, что кошка решает проблемы, когда находит альтернативный маршрут к лакомой добыче? Можно ли допустить, что Солнечная система сознательно корректирует свое движение в расширяющейся Вселенной, а мы эти коррективы просто не в состоянии наблюдать или измерить? Иногда мы ведем себя так, будто только наш человеческий разум и только наше самосознание достойны называться интеллектом, полагая, что другие создания должны быть похожими на нас, если хотят считаться разумными. Вот почему столь многие известные ученые прошлого пытались отыскать признаки существования внеземных форм разума, отправляя в открытый космос радиосигналы. Это является отражением узколобого убеждения, что если во Вселенной и существует другая форма разума, то она должна, подобно нам, уметь пользоваться радиоволнами. По этой же причине анализ того, подходит ли какая-либо другая планета для жизни, исследователи начинают с поиска воды, считая само собой разумеющимся, что раз человек не может жить без воды, значит, и никакая другая жизнь без нее невозможна. Подобное самомнение мешает даже вообразить интеллект, возникший в таком мире, где физика радиоволн неприменима, или представить, что в безводной среде возможна какая-то неизвестная нам форма жизни. И не из-за этого ли самомнения мы часто забываем, что даже человек как вид не всегда был человеком разумным? Из-за него, конечно!

Человек не всегда был разумным

Человек разумный (Homo sapiens) впервые появился в Восточной Африке около 200 тысяч лет назад. Неясно, в какой мере у этих древних людей были развиты речь, музыка, религиозные верования и тому подобное. Согласно широко распространенной теории, примерно 70 тысяч лет назад в результате катастрофического извержения вулкана Тоба, когда атмосфера Земли на несколько лет заполнилась вулканической пылью, в большинстве регионов наступило сильное похолодание. Вулканическую зиму, по данным, пережили на всей планете не более 10 тысяч человек, преимущественно в Экваториальной Африке. Таким образом, мы с вами вместе со всеми нашими знакомыми являемся потомками этой выжившей группы. Чтобы пережить резкое изменение климата, выжившие должны были быть достаточно разумными, чтобы создать новые орудия труда и приспособиться к новым условиям жизни. Им нужно было как-то добывать себе пропитание и находить способы не замерзнуть. Вот тогда у людей и появились первые реальные проблески интеллекта.

Затем ближе к концу среднего палеолита, около 60 тысяч лет назад, произошла массовая миграция людей из Африки. Однако первые признаки изобразительного искусства, музыки, меновой торговли и других проявлений того, что принято считать разумной жизнью, начали появляться только около 30 тысяч лет назад. Именно к этому времени относятся первые образцы изобразительного искусства, такие как фигурки «Венер» и наскальные рисунки в пещере Шове, и первые музыкальные инструменты вроде костяной флейты из пещеры Гайсенклёстерле.

Человеческий мозг со временем эволюционировал – под влиянием внешних обстоятельств в нем происходили последовательные инкрементальные изменения. Они происходят и сегодня. Вы с раннего возраста покупаете ребенку игрушки, развивающие интеллект, и ваше дитя постепенно научается управляться со все более сложными головоломками и системами, по мере того как в его мозге ширится и укрепляется нейронная сеть.

Нейропластичность – способность мозга разрабатывать те свои участки, которые человек «тренирует». Это невероятно эффективный инструмент для развития интеллекта. И только с одной преградой, или, скорее, биологической проблемой, мы еще не научились справляться: со смертью.

Чтобы разобраться со смертью как с препятствием, мешающим эволюции человеческого интеллекта, наши предки изобрели суперсредство, которое позволило роду человеческому семимильными шагами вырваться вперед в соревновании с другими видами, – устную и письменную речь, а также счет. Я убежден, что речь как средство коммуникации была, и остается, самым полезным изобретением человека. Она помогает сохранять уже накопленные знания и передавать их дальше от человека к человеку и из поколения в поколение. Представьте, что у Эйнштейна не было бы возможности донести до остального человечества созданную им теорию относительности. Если бы не наши замечательные коммуникационные возможности, каждому из нас приходилось бы открывать для себя теорию относительности самостоятельно. Можно было бы только пожелать нам удачи.

Человеческий интеллект развивался скачками, реагируя на развитие человеческого общества и культуры. В значительной мере существующий уровень человеческого интеллекта обусловлен именно внутривидовыми коммуникациями, а не просто реакцией на внешние обстоятельства.

Речевые нейронные сети располагаются в коре головного мозга, которая, так уж получилось, у людей крупнее, чем у любого другого разумного вида. Особенно размерами отличаются височная, теменная и лобная доли. Другие части коры отвечают за высшие мыслительные процессы, включая логические рассуждения, абстрактное мышление и принятие решений. Размер этих участков мозга отличает человека от видов с «высоким уровнем интеллекта» (например дельфинов и человекообразных обезьян). Среди прочих отличий – более развитый неокортекс, более развитые извилины и бо́льшая концентрация веретенообразных нейронов, что вкупе обеспечивает большую скорость, или мощность, мыслительных процессов и обработки информации.

Короче говоря, сложность человеческого интеллекта обусловлена богатой историей и культурой человечества, которому приходилось выживать в суровых природных условиях. Интеллект развивался как за счет увеличения и усложнения мозга, так и за счет обмена знаниями посредством и благодаря речи. Вам может показаться, что все сказанное не имеет прямого отношения к развитию ИИ, но это не так. Потерпите немного.

Наш разум эволюционировал. Люди становились умнее своих предков, а некоторые люди становились особенно умными. Развитие интеллекта у иных видов, например шимпанзе и других человекообразных обезьян, не поспевало за темпами развития человеческого разума. Хотя эти виды обитали в более-менее одинаковых природных условиях, они в меньшей степени пользовались своим интеллектом, так что их мозг не увеличивался и навыки приобретения знаний и их применения не развивались. И когда они безнадежно отстали, кто стал единоличным хозяином планеты, который теперь держит их в клетках на потеху публике? Мы, люди.

Эта концепция, предполагающая, что интеллект людей стремительно развивается именно потому, что они им активно пользуются, ярко проявляется в интеллектуальных различиях между самими людьми. Казалось бы, если все мы произошли от одной и той же небольшой группы жителей Африки, переживших катастрофическое извержение вулкана Тоба, тогда все мы должны были бы достичь более-менее равных высот в развитии интеллекта. Однако очевидно, что это не так. Как правило, мы видим, что наибольшее количество научных открытий и технических достижений приходится на передовые страны мира, тогда как развивающиеся страны в этом плане сильно отстают. Таков результат многовекового действия феномена, который я называю капитализацией интеллекта. Передовые общества сегодня пожинают плоды того, что в течение долгого времени они уважали потребность в подобного типа интеллекте и разрабатывали методы его сохранения и приумножения, тогда как в развивающихся странах более насущными и ценными считались те формы интеллекта, которые были связаны с навыками выживания, житейской мудростью и духовным разумом (если этот термин имеет смысл). Умников-ботанов (вроде меня) в развивающихся странах обычно высмеивают и третируют, что подталкивает их к эмиграции в те страны, где такая форма интеллекта процветает и пользуется поддержкой. По схожим причинам вы можете заметить, что доля людей с выдающимися математическими способностями в России и некоторых странах Азии, например в Корее, выше, чем в других регионах мира. Россия остается в лидерах, по крайней мере с точки зрения интересов, и в ракетно-космических технологиях. Однако такие компании, как Google, базирующиеся в США и других развитых странах, продолжают переманивать к себе лучшие умы из всех уголков мира, предлагая специалистам наиболее престижные инновационные лаборатории и хабы вроде Google [X].

Несмотря на неравномерность распределения интеллекта, очевидно одно:

Тот, кто обладает наивысшим интеллектом, в конечном счете правит миром.

Кто-то может быть недоволен таким положением вещей, но в целом для мира это хорошо, поскольку нам все еще необходимо пользоваться интеллектом, чтобы оставаться на самом верху пищевой цепочки.

И вот, по мере того как наш интеллект развивается и мы все лучше понимаем сложные законы окружающего мира, нам начинает казаться, что мы уже приближаемся к теоретическому пределу возможностей биологического разума. Не то чтобы мы перестали делать открытия, однако те реально сложные проблемы, которые теперь стоят перед нами, превратились уже в слишком масштабные даже для умнейших из людей. Чтобы истинное понимание природы вселенной оформить в определенную единую теорию, недостаточно разбираться в какой-то одной физической дисциплине – даже знания всей физики для этого наверняка будет мало. Здесь требуется более широкий взгляд, учитывающий знания из биологии, астрономии и, вполне вероятно, даже из духовных дисциплин. Чтобы найти способ остановить климатические изменения, нужны усилия со стороны ведущих защитников природы, бизнесменов, политиков и ученых, работающих сообща как одно целое. Узкая специализация знаний присущая нашей эпохе, превратилась в проблему. Для достижения необходимой глубины в какой-либо области знаний приходится жертвовать широтой информационного спектра. По мере того как предмет изучения становится все более сложным, даже лучшие умы вынуждены концентрироваться на чем-то одном, чтобы стать настоящими специалистами. Это приводит к тому, что знания такого специалиста в других дисциплинах весьма ограничены, и он не может включить эти дисциплины в свой интеллект.

Специализация создает отдельные хранилища интеллекта, неспособные работать сообща.

Кроме того, у нас есть проблемы с эффективностью коммуникации. Чтобы донести до вас простые идеи, содержащиеся в этом абзаце, те 250 слов, которые вы только что прочитали, я набирал в течение пяти минут, а у вас чтение заняло примерно минуту. Если бы я читал вам аудиоверсию книги, чтобы выслушать и уловить тот же текст, вам потребовалось бы минуты две. Пропускная способность человеческого интеллекта – то есть скорость, с которой вы можете воспринимать и обрабатывать информацию, – имеет серьезные ограничения. Используя высокоскоростной интернет, вы могли бы скачать эту книгу за считаные секунды, но вам все равно понадобилось бы несколько дней, чтобы ее прочитать. Вот почему мы не способны одновременно мыслить и анализировать информацию как единая умственная система – в отличие от подключаемых параллельно компьютеров. Лучшим биологам неведомо то, что известно лучшим физикам, а большинству ученых трудно понять то, чему учат духовные лидеры.

Мы не обладаем коммуникационной пропускной способностью, необходимой для обмена знаниями с достаточной скоростью.

Есть определенная ирония в том, что именно способность к общению – навык, выделяющий людей среди всех прочих живых существ, – ныне становится для них и главным препятствием.

Даже если мы не пожалеем времени на то, чтобы поделиться друг с другом своими знаниями, в нашем мозге нет такого хранилища памяти, которое бы все уместило. Не говоря уже о том, что мозг человека не обладает достаточной производительностью для переработки всех этих массивов данных, чтобы на их основе прийти к какому-то решению или постичь вселенские законы. Вынужденная специализация знаний, ограниченная пропускная способность мозга с точки зрения коммуникаций, ограниченная емкость памяти и, соответственно, ограниченная производительность – все это означает, что даже развитые умы будут приближаться к пределу возможностей человеческого интеллекта.

Люди не всегда были разумными и не всегда смогут оставаться самыми умными.

Очевидно назревшей кажется потребность в новых формах интеллекта в поддержку существующему разуму, и именно это обстоятельство вызывает такой бурный интерес. Одна из форм, которая обещает далеко превзойти нашу, человеческую, – машинный интеллект.

Мифология

Люди мечтают об умных машинах уже тысячелетия. Первые упоминания о механических, искусственных формах разума мы обнаруживаем в древнегреческих мифах, рассказывающих, как Гефест, бог кузнецов, плотников, ремесленников, скульпторов и прочих мастеров, создал золотых служанок-роботов. В Средние века способы создания искусственных форм жизни искали мистики и алхимики. Мусульманский химик Джабир ибн Хайян целью своих исследований видел «таквин» – искусственный синтез жизни, в том числе и человеческой, в лабораторных условиях. Раввин Йехуда Лива, более известный как Махараль из Праги, рассказал историю о Големе – живом существе, созданном целиком из неживой материи, – к нашему времени она стала частью фольклора. Мифы наполнены историями о чудесах инженерии.

Существует легенда, что в Х веке до нашей эры инженер Ян Ши представил императору Му из династии Чжоу полноразмерную механическую модель человека.

По преданию, император был буквально потрясен изобретением Ян Ши. Созданная инженером модель, судя по всему, могла ходить и двигать головой так уверенно, что со стороны казалась живым человеком. Однажды император решил похвастаться своим роботом перед гостями. И все было хорошо, пока робот вдруг не принялся флиртовать с некоторыми из приглашенных дам и подмигивать им. Разгневанный император хотел было казнить Ян Ши прямо на месте, но умелец не растерялся и быстренько разобрал свое творение, чтобы показать императору, из чего на самом деле был изготовлен этот робот: только деревяшки, кожа, клей и краска. Император, смягчившись, захотел посмотреть поближе. У робота были искусственные аналоги всех человеческих внутренних органов, включая сердце, легкие, печень, почки и желудок, которые сверху были закрыты весьма реалистичной имитацией мышц, суставов, кожи, волос и зубов.

Интерес к созданию искусственной разумной жизни не ослабевал, и к XIX веку искусственные существа и мыслящие машины стали излюбленными героями научной фантастики. В числе наиболее известных примеров можно назвать «Франкенштейна» Мэри Шелли и R.U.R. Карела Чапека (R.U.R расшифровывается как Rossum’s Universal Robots – «Россумские универсальные роботы»; именно из этой книги слово «робот» и вошло в обиход). ИИ остается важной темой научной фантастики до сего дня, и ему посвящено несчетное количество фильмов, через которые красной нитью проходит главная идея: машины наступают, и кому-то не поздоровится. Мы еще вернемся к некоторым из этих фильмов и посмотрим, как они предсказывают будущее, но сейчас пора от художественного вымысла перейти к историческим фактам.

Реальная история, какой она была до сих пор

Реалистичные человекоподобные автоматы создавались мастерами разных цивилизаций. Самыми древними из известных образцов таких механизмов были священные статуи в Египте и Греции. Верующие люди наделяли «живые статуи» способностью мыслить и чувствовать, хотя очевидно, что статуи этого не могли. Гермес Трисмегист, автор ряда священных текстов, заложивших основу философии герметизма и объединяемых под общим названием «Герметический корпус», писал, что «человек смог понять природу богов и научился воссоздавать ее»⁴.

С развитием научно-технического прогресса стали появляться первые реальные образцы механических моделей человека. Естественно, их конструкторы не пытались создавать искусственный разум, но с точки зрения механики их творения были гениальны.

Исмаил аль-Джазари (1136–1206), мусульманский ученый и изобретатель, был сведущ во многих науках, включая машиностроение и математику. Наибольшую славу ему принесла «Книга знаний об остроумных механических устройствах», в которой он описал сотню механических устройств, дав подробные инструкции по их изготовлению.

Среди прочего там упоминался музыкальный автомат, представляющий собой лодку с сидящими в ней роботами-музыкантами. Автор пояснял, что эта лодка может плавать по озеру, развлекая гостей, собравшихся на царский пир. Ноэль Шарки, британский эксперт по робототехнике, не так давно попытался частично воссоздать изобретение аль-Джазари: речь шла о программируемом барабанщике. В основе механической драм-машины лежал вращающийся вал со штырями, которые воздействовали на рычажки, поднимая, а затем опуская руки барабанщика. В зависимости от расположения штырей такой барабанщик мог выбивать разные ритмы.

Еще одним изобретением аль-Джазари была прислужница, подававшая воду, чай и другие напитки. Напиток хранился в баке, из которого переливался в ведро, а через 7 минут – в чашу, после чего автоматически открывалась дверца, и оттуда возникала механическая официантка, предлагавшая напиток. Неплохо для того времени.

В конце XVIII века венгерский изобретатель Вольфганг фон Кемпелен создал ставшего широко известным «механического турка». Это был якобы шахматный автомат в виде человеческой фигуры в натуральную величину, облаченной в турецкий наряд и тюрбан. Фигура сидела за столом, поверх которого лежала шахматная доска. Автомат превосходно играл в шахматы и побеждал многих соперников. Но на самом деле все было мистификацией: внутри стола прятался шахматист, который управлял движениями «турка» при помощи системы рычагов. Это была не настоящая умная машина, а скорее что-то из арсенала иллюзионистов.

Миниатюрные копии многих из этих искусных образцов механического гения сегодня можно увидеть в магазинах игрушек. В большинстве случаев мы даже не обращаем на них внимания – настолько привычными и обыденными они нам кажутся. Все эти изобретения не имели прямого отношения к искусственному интеллекту, но они подготовили почву для тех инженеров и мечтателей, которые поверили в возможность создания машины, по-настоящему подобной человеку. Долго ждать не пришлось: такая машина – компьютер, или вычислительная машина, – появилась уже в начале XX века.

Однако до наступления XXI века подавляющее большинство созданных человеком компьютерных систем нельзя было назвать разумными. Они были механическими рабами, выполнявшими приказы своих хозяев-программистов: они повиновались и делали ровно то, что было сказано, только очень и очень быстро.

Если вдуматься, ранняя версия поисковика Google, помогавшего людям упорядочивать всю массу накопленной в мире информации, вовсе не была умной – умными были те, кто ее создал. Кажущаяся гениальность Google заключалась всего лишь в способности системы ранжировать огромное количество веб-сайтов и выносить наверх те из них, которые чаще всего упоминались на множестве других страниц. Чем больше имелось ссылок на страницу, тем более важной и полезной для пользователей, ищущих информацию, она считалась. Именно этот алгоритм ранжирования страниц, при всей его кажущейся простоте, послужил основой поисковой системы Google, без которой сегодня мы не представляем жизни. Amazon и Spotify вовсе не были умны, когда рекомендовали товары и песни, которые, как они «думали», могли нам понравиться: они просто наблюдали за теми пользователями, которым нравились такие же, как и нам, продукты и песни, и узнавали, что еще те люди покупали и слушали, и затем рекомендовали это нам. То есть системы попросту обобщали наш коллективный интеллект, но собственным интеллектом при этом не обладали. Однако ситуация начала меняться, и очень быстро, на рубеже веков.

Вот и они!

Машинное обучение и искусственный интеллект перебрались с обочины в мейнстрим науки и техники в конце 1990-х, создав тренд, вокруг которого к началу нового тысячелетия возник настоящий ажиотаж. После многих лет неудачных попыток появились, наконец, многообещающие проблески новой формы интеллекта – небиологической, нечеловеческой. Если только вы не живете в гуще африканских джунглей в окружении обезьян, новости об искусственном интеллекте вы наверняка слышите по несколько раз в неделю. Но, возможно, вы не знаете, что в этой оглушающей шумихе нет ничего нового – в среде компьютерных гиков разговоры об ИИ не утихают с 1950-х годов.

Но в реальности тема начала развиваться намного раньше. Математики 1920-х и 1930-х годов всерьез задумались над фундаментальным вопросом: «Можно ли формализовать все математические рассуждения?» На протяжении следующих десятилетий свои ответы на этот вопрос предложили самые выдающиеся корифеи математической науки – Курт Гёдель, Алан Тьюринг и Алонзо Чёрч, и эти ответы оказались совершенно удивительными в двух аспектах. Во-первых, было доказано существование пределов возможностей математической логики, а во-вторых, из ответов вытекало, что любые формы математических рассуждений, пока они остаются в определенных пределах, можно механизировать, – и это было гораздо важнее для искусственного интеллекта. Чёрч и Тьюринг выдвинули тезис, что любое механическое устройство, способное оперировать такими простыми символами, как 0 и 1, может имитировать любой процесс математической дедукции. Данный тезис был положен в основу машины Тьюринга – абстрактной вычислительной машины, способной манипулировать символами на бесконечной ленте в соответствии с некоторым набором правил. При всей простоте этой математической модели она подвигла ученых начать дискуссию о теоретической возможности создания мыслящих машин, что, на мой взгляд, можно считать исходной точкой начала работы над созданием искусственного интеллекта, который так долго будоражил воображение людей.

Эти ученые так твердо верили в неизбежность создания разумных машин, что уже в 1950 году Алан Тьюринг предложил специальный тест (который с тех пор так и называют тестом Тьюринга), позволяющий с самого начала оценить потенциальную способность искусственного интеллекта состязаться с интеллектом человека. Попросту говоря, Тьюринг предложил организовать вербальное, на обычном человеческом языке, собеседование между «арбитром» с одной стороны и человеком и машиной, пытающейся выдать себя за человека, с другой. Если арбитр не мог с уверенностью отличить человека от машины, значит, машина проходила тест успешно. В те времена еще не было машин, способных хотя бы в первом приближении распознавать человеческую речь, но времена изменились, и сильно!

За прошедшие с тех пор 70 лет машины научились играть, видеть, говорить, водить и рассуждать – да так, как мы и представить себе не могли.

В игры машины играют уже с 1951 года: сегодня они являются абсолютными чемпионами в каждой освоенной ими игре.

Первой игрой, в которую научилась играть машина, были шашки: машина называлась Ferranti Mark 1, а программу для нее написал Кристофер Стрейчи из Манчестерского университета. Потом Дитрих Принц написал шахматную программу. Более совершенная шашечная программа, созданная Арчером Сэмюэлом в конце 1950-х – начале 1960-х годов, уже показывала результаты, достойные крепкого любителя. Согласен, интеллекта там было еще немного, но посмотрите, как далеко мы продвинулись на этом пути сегодня.

В нардах машина отняла у людей вершину пьедестала в 1992 году, в шашках – в 1994-м, а в 1999-м созданная IBM программа Deep Blue одолела тогдашнего чемпиона мира по шахматам Гарри Каспарова. К 2016 году игровую сферу окончательно подмяло под себя специально созданное для этого подразделение Google.

На протяжении ряда лет принадлежащая Google лаборатория DeepMind Technologies использовала игры как метод развития искусственного интеллекта. В 2016 году из недр DeepMind вышел наделенный искусственным интеллектом компьютер AlphaGo, наученный играть в древнейшую китайскую настольную игру под названием го. Го считается самой сложной игрой в мире, потому что в любой момент времени игроку доступно бесконечное количество различных стратегий. Можете представить себе масштаб, если число возможных ходов на доске для го превышает количество атомов во Вселенной? Только вдумайтесь в этот факт.

Таким образом, просчитать все возможные ходы в игре го – непосильная задача даже для компьютера, для этого не хватит памяти и производительности всех компьютеров на земле, вместе взятых. Хотя, уверен, вы согласитесь, что куда разумнее было бы использовать совокупную компьютерную мощь для моделирования Вселенной, а не для игры.

Чтобы выиграть в го, компьютеру необходимо обладать интуицией, он должен мыслить разумно, как человек, но только намного совершеннее. Именно этого и удалось достичь разработчикам из DeepMind: в марте 2016 года, то есть на десять лет раньше, чем прогнозировали самые оптимистичные ИИ-аналитики, система AlphaGo в матче из пяти партий победила Ли Седоля, занимавшего на тот момент вторую строчку в мировом рейтинге. А год спустя на саммите «Будущее го» усовершенствованная компьютерная программа AlphaGo Master одолела в трех партиях лучшего в мире мастера по игре в го Кэ Цзе и официально стала чемпионом мира. Поскольку людей, с которыми AlphaGo Master было бы не зазорно сразиться, не осталось, в DeepMind создали ей достойного соперника – новую систему искусственного интеллекта под названием AlphaGo Zero. После короткого периода обучения новая программа победила действующего чемпиона со счетом 100:0. Таким образом, теперь чемпионом мира по го считается AlphaGo Zero. Кстати, тот же алгоритм был применен к шахматной программе, так что и в шахматах теперь тоже новый абсолютный чемпион.

Самые умные игроки теперь уже не люди, а машины с искусственным интеллектом.

Но игры – это еще не все. Попытки научить машины понимать естественные человеческие языки предпринимались учеными начиная с 1964 года. Первым заметным успехом на этом пути стала программа Дэниела Боброу STUDENT, замысел которой состоял в том, чтобы компьютер мог прочитать и решить задачу из школьного учебника алгебры: «Рост Тома – 6 футов 2 дюйма. Рост его младшего брата Дэна составляет ³/₄ от роста их третьего брата Хуана. Если рост Хуана на 3 дюйма превышает ²/₃ от роста Тома, то каков рост Дэна?» Программа STUDENT смогла не только разобраться в математической подоплеке задачи, но и понять – в 1964 году! – текст задачи на английском языке, что является проблемой для многих нынешних школьников с математическим складом ума. Впечатляет!

Примерно в то же самое время появляется ELIZA Джозефа Вейценбаума – первый в мире чат-бот, способный вести беседы. Эти беседы казались настолько реалистичными, что многие собеседники Элизы всерьез принимали ее за человека. Созданная в лаборатории искусственного интеллекта Массачусетского технологического института, ELIZA на самом деле говорила бездумно. Она не понимала того, о чем говорила, а просто повторяла услышанное, перефразируя его по определенным правилам грамматики, или выдавала заранее заготовленный ответ. Ее сестра Alexa – наделенный искусственным интеллектом виртуальный ассистент от Amazon – гораздо, гораздо умнее.

Alexa, а также Assistant от Google, Siri от Apple и Cortana от Microsoft способны очень хорошо понимать нас, людей. Хотя они и не претендуют на право зваться людьми, тест Тьюринга они прошли бы наверняка. Иногда эти ИИ-программы в своем понимании человеческого языка идут еще дальше, с потрясающей точностью выполняя переводы с одного языка на другой: таков еще один тип самообучающегося интеллекта. Наиболее передовые системы машинного перевода постоянно учатся переводить все лучше и лучше, наблюдая – через документы, публикуемые в Сети, – за тем, как переводят люди. И теперь мы можем свободно разговаривать с машиной – как делаю это я прямо сейчас, диктуя свой текст на смартфон через систему Otter.ai. Приложение преобразует – должен заметить, очень быстро и эффективно – мою английскую речь с экзотическим акцентом в печатный текст, который вы в данный момент и читаете. Поэтому, если только не найдется на земле человек, способный одновременно слушать миллионы людей, говорящих на десятках разных языков, и в то же самое время печатать текст, переводить, отвечать и реагировать так же быстро и ловко, как это делают машины, то…

…самые умные коммуникаторы в нашем мире теперь уже не люди, а машины с искусственным интеллектом.

Но если способность слушать, понимать и говорить вас все еще не впечатляет, так компьютеры уже и зрением обзавелись! Исследования, посвященные компьютерному зрению, начались в 1960-е годы. Ученые пытались моделировать систему зрения человека, чтобы научить роботов разумно действовать в зависимости от того, что они видят. Эксперименты, проводившиеся в 1970-е, заложили основу многих из тех алгоритмов компьютерного зрения, которые применяются и по сей день, включая алгоритмы выделения контуров изображений, линейной маркировки и оценки оптического потока и движения.

В 1980-е годы появились исследования, основанные на более строгом математическом анализе, а уже в 1990-е дело дошло до реконструкции трехмерных изображений. В это же десятилетие впервые были применены статистические методы обучения компьютеров распознаванию человеческих лиц на фотографиях. Все вышеперечисленное, однако, базировалось на традиционном компьютерном программировании, и хотя были получены достаточно впечатляющие результаты, по точности и производительности те системы не идут ни в какое сравнение с сегодняшними успехами компьютерного зрения, достигнутыми благодаря технике глубокого обучения ИИ, которая далеко превзошла и заменила собой все прежние методы. С применением этой техники искусственный интеллект учится видеть не по списку инструкций, составленных программистом, а непосредственно в процессе самого видения.

Современные компьютеры, научившиеся видеть благодаря ИИ, гораздо зорче нас, людей, особенно когда речь идет о выполнении каких-то конкретных задач. Оптическое распознавание символов позволяет компьютерам читать текст точно так же, как это делаете вы прямо сейчас. Компьютеры умеют распознавать объекты на фотографии или в реальном мире, пускай и через объектив камеры. При этом они не просто распознают, какой товар вы берете с полки в магазине Amazon Go, но и, например, снабжают вас всей необходимой информацией об историческом памятнике, если вы наводите на него объектив камеры и используете при этом Google Goggles. Те же самые компьютеры могут теперь фиксировать автомобили, въезжающие на платную дорогу, определять аномальные клетки и ткани на медицинских снимках, находить преступника в многотысячной толпе людей на улице… Благодаря зоркому зрению компьютеры способны манипулировать фотографиями и видеозаписями так, как человеку и не снилось. Они могут реставрировать поврежденные фотографии, делать нас на снимке еще краше перед публикацией его в Instagram, создавать на основе двумерной фотографии трехмерные модели и использовать оптический поток для обнаружения, анимации и проецирования движения объекта на видео. Если вы способны на подобное, дайте мне знать. Уверен, таких людей не найдется, потому что…

…самые умные наблюдатели теперь уже не люди, а машины с искусственным интеллектом.

Поскольку искусственный интеллект уже умеет слышать, видеть, понимать, говорить и играть, он без труда может водить и парковать автомобили, поднимать и перекладывать предметы, управлять самолетом или дроном и, немного о грустном, – стрелять по целям на расстояние в несколько миль, и все это без вмешательства человека. Любую из подобных задач ИИ выполняет гораздо лучше нас.

Машинам с ИИ требуется лишь несколько часов, дней или месяцев, чтобы овладеть любой задачей и превзойти нас в чем угодно… и они продолжают учиться… тысячи машин учатся тысячи часов, не зная отдыха. Читая это, вы можете прийти к мысли, что поскольку нам понадобились десятилетия научно-технического прогресса, чтобы добраться туда, где мы находимся сейчас, то пройдет еще много десятилетий, прежде чем мы достигнем каких-либо новых значительных успехов. Это ошибочное предположение. Так что, как часто делается в типичном научно-фантастическом фильме, сейчас у нас будет флешбэк: я расскажу вам всю историю еще раз, но сосредоточусь на хронологии событий. Итак, вернемся в 1956 год.

Это заняло не так уж много времени

Ошибкой будет думать, что ИИ развивался постепенно в течение 75 лет, чтобы достичь высот, которые он занимает сегодня. Хотя первые исследования по искусственному интеллекту относятся к 1950-м годам, правда заключается в том, что до наступления нового тысячелетия эти исследования не добивались сколь-нибудь значительного прогресса. Первые разработчики ИИ не имели в своем распоряжении достаточно мощных компьютеров и необходимых входных данных для обучения машин. Ученые, воодушевленные идеями, озвученными во время Дартмутского семинара (считается, что научный семинар, состоявшийся летом 1956 года в Дартмутском колледже, дал старт ИИ), пытались создавать образцы искусственного интеллекта, но те оказывались по сути неработоспособными. Что еще важнее, они моделировали человеческий интеллект строго следуя командам, записанным в программном коде. Даже тот незначительный прогресс, которого удалось достичь, застопорился в 1973 году, когда ввиду ближневосточного нефтяного кризиса финансирование исследований ИИ было заморожено: тогда наступила первая «зима искусственного интеллекта», как ее потом назвали.

В 1980-е годы были предприняты попытки оживить работу над созданием ИИ – в первую очередь со стороны Японии. Однако, несмотря на немалые инвестиции, стремление разработать настоящий искусственный интеллект опять привело к относительной неудаче (по сравнению с той шумихой, которая была поднята вокруг этих проектов), и все остановилось в 1987 году: вторая «зима искусственного интеллекта» была связана с экономическим кризисом. Когда дела в экономике наладились, еще случались спорадические попытки продвинуться в области ИИ, но настоящего прогресса ученые добились уже в новом тысячелетии, после величайшего прорыва в истории, связанного с методикой глубокого обучения.

Лично у меня открылись глаза на возможности ИИ благодаря white paper («белой книге») Google, опубликованной в 2009 году. Там рассказывалось о том, что компания Google выделила имевшиеся у нее в избытке компьютерные мощности для проведения эксперимента, в рамках которого машина должна была просматривать видеоролики из YouTube кадр за кадром, стараясь обнаружить повторяющиеся элементы. При этом машина была совершенно не подготовлена, не натаскана, так сказать, – никто ей не объяснял, какого рода повторения она должна высматривать: ей следовало просто смотреть, вдруг что и увидит. Машине не потребовалось много времени, чтобы обнаружить объект, который очень часто мелькал в роликах на YouTube, – кошку!

Компьютеры не просто узнавали кошек в профиль и анфас – они распознали саму закономерность, паттерн кошачьей миловидности, и применили ее ко всем фигурам в видеороликах, более-менее напоминающим кошку. Как только этот шаблон был определен «кошкой», машина начала легко находить представителей кошачьего племени в сотнях миллионов видеороликов на YouTube. Прошло немного времени, и искусственный интеллект научился обнаруживать в любом интернет-контенте нужные буквы, слова, людей, автомобили, обнаженные тела и многие другие объекты поиска.

Эти выстроенные по методике глубокого обучения «нейронные сети» машины стали истинным началом искусственного интеллекта, каким мы его сегодня знаем. Все, что было прежде, можно считать практически незначительным. Хотя, само собой, качественный прорыв основывался на количественном накоплении достигнутого ранее, что я и продемонстрирую в следующей главе. Финансирование хлынуло в сферу ИИ бурным потоком. Бесчисленные стартапы и сотни тысяч блестящих инженеров, используя все ту же технику глубокого обучения, решают все новые и новые задачи и ищут новые возможности.

Чем более успешно идет работа, тем больше денег вкладывают в данную отрасль инвесторы, надеясь отхватить свой кусок от огромной прибыли, которую обещают принести подобные инновации. Развитие ИИ как дисциплины резко ускорилось, но все это случилось лишь в последние несколько лет.

Почему я это рассказываю? Потому что важно проследить траекторию тренда. Если исходить из предположения, что мы добирались до нынешнего состояния 75 лет, можно подумать, будто потребуются еще десятки лет, прежде чем искусственный интеллект привнесет сколь-нибудь значительные практические перемены в нашу жизнь. В области ИИ, как и в любой другой технологической сфере, прогресс поначалу был небыстрый, однако теперь у него – экспоненциальная скорость роста. Можно ожидать, что в ближайшие десять лет развитие ИИ изменит нашу жизнь до неузнаваемости. Скорое будущее покажется, скорее, фантастичным, чем похожим на реалии сегодняшнего дня.

Теперь мы знаем историю ИИ и наконец можем озвучить самый важный вопрос, который должно задать себе человечество: в какую сторону развитие интеллекта, в частности машинного интеллекта, двинется дальше?

Глава 2. Краткая история нашего будущего

Оглянитесь вокруг.

Оцените все технические средства, которыми вы сегодня пользуетесь. Присмотритесь к своему телефону: установленная в нем стандартная камера по своим параметрам превосходит лучшие модели профессиональных фотоаппаратов, выпущенных всего несколько лет назад. Взгляните, какие замечательные фотографии отображаются на тачскрине телефона с ультравысоким разрешением. Восхититесь, как легко вы можете увеличивать изображение и поворачивать его, чтобы четче увидеть все, что вам нужно, невооруженным глазом. Удивитесь, какими удобными и доступными инструментами вы можете модифицировать фотографию, чтобы выглядеть на ней словно икона стиля. Обратите внимание на поток видеороликов, стекающихся через эфир в ваш телефон со всего мира. Задумайтесь обо всех сообщениях и веселых картинках, пусть даже глупых, которыми делятся с вами через социальные сети ваши друзья. Не стесняйтесь, сделайте видео звонок одному из них и посмотрите на экране, как он будет смеяться вашим шуткам. Другому отправьте текстовое сообщение и договоритесь встретиться и вместе выпить кофе. Укажите местоположение булавкой на электронной карте, и его телефон подскажет ему, как туда добраться.

Попробуйте поискать какую-нибудь информацию. Просто задайте вопрос и получите миллионы ответов. Заметьте, как ваш телефон понимает произносимые вами слова и подчиняется вашим командам. Достаточно попросить, и вы сможете услышать любую из десятков миллионов песен – то есть любую песню, которую вы когда-либо слышали или которая вам когда-либо понравилась. Обратите внимание, как ваши bluetooth-наушники без всяких проводов связываются с телефоном, а он, в свою очередь, через эфир подключается к ближайшей вышке мобильной связи и доставляет вам любые интересующие вас сведения. Но не ограничивайтесь только экраном телефона. Пройдитесь по улицам и осмотритесь. Обратите внимание на бесшумно проехавший мимо вас электромобиль – да, такой, который может сам, без водителя, и припарковаться, и прокатиться от океана до океана. Задумайтесь о беговой дорожке в тренажерном зале, по которой можно бежать и бежать, оставаясь на месте, и одновременно получать через монитор с большим экраном всю необходимую информацию о том, как быстро вы бежите, сколько калорий сжигаете и с какой частотой бьется ваше сердце. Так ведь еще и новости вы можете в это время смотреть! Вся информация, позволяющая узнать, какую часть пути вы прошли к желанным, но таким труднодостижимым кубикам на животе, есть у вас в фитнес-трекере, а чтобы узнать что-то еще, вам достаточно просто коснуться пальцем экрана телефона.

Список технических чудес можно продолжать до бесконечности. Взять хотя бы телевизоры с огромными плоскими экранами, развлекающие нас всевозможными передачами, или медицинское оборудование, сканирующее вдоль и поперек наше тело и мозг и измеряющее жизненно важные показатели, чтобы мы оставались здоровыми. Электронные книги, позволяющие читать любой текст, включая этот, виртуальные кредитные карты, криптовалюта, интернет-банкинг и возможности электронной биржевой торговли, коренным образом преобразившие наш финансовый быт, игровые консоли, изменившие саму суть процесса игры, косметическая хирургия, дающая нам возможность менять свои черты и формы, повинуясь собственным прихотям или социальному давлению…

Несть числа современным технологическим чудесам, которые в прошлом в лучшем случае считались бы роскошью, но скорее выглядели бы просто фантазией, о которой не смели мечтать даже могущественнейшие из королей.

Охватите все это мысленным взором, а потом задайте себе следующий вопрос: если бы 50 лет назад вы рассказали своей бабушке, какой будет наша сегодняшняя жизнь, как бы она отреагировала?

Уверяю вас, она решила бы, что вы сошли с ума. Все перечисленное в те времена сочли бы… научной фантастикой. А если бы вы перенеслись с подобной техникой в эпоху Средневековья, вас сожгли бы на костре, обвинив в колдовстве.

Однако теперь мы принимаем все это как данность, как нечто само собой разумеющееся. Мы жалуемся, если зарядки батареи смартфона не хватает на целый день, забывая о том, что мощность маленькой игрушки в наших руках на порядки превышает мощность компьютера НАСА, управлявшего полетом человека на Луну. Мы испытываем нетерпение, когда загрузка информации из интернета задерживается на пару секунд, забывая о том, что каких-нибудь 25 лет назад за нужной информацией нам пришлось бы идти в книжный магазин или библиотеку. Эти строки я пишу на борту самолета, летящего из Лондона в Дубай. Посадка на самолет началась с 20-минутной задержкой. Когда о задержке сообщили, я видел, как помрачнели (даже разозлились) другие пассажиры. Вместо 6 часов 40 минут дорога займет 7 часов – какая катастрофа! Мы уже так привыкли принимать нашу изумительную действительность за данность. Мы забываем о том, какое это чудо, что мы вообще взмываем в небо подобно птицам и летим на высоте 40 тысяч футов. В течение нескольких часов перелета нам показывают кино, кормят – пускай и не очень вкусно, – а потом мы отдыхаем и некоторое время спустя оказываемся на другой стороне планеты. Мы забываем о том, что еще столетие назад такое путешествие заняло бы месяцы, и оно было бы таким трудным, что немногие из нас на него бы отважились. Мы так привыкли к хорошему, что задержка на 20 минут кажется нам уже концом света. Мы окружены технологическими чудесами, но не ценим их.

Эта же тенденция проецируется и в будущее. То, что имеем сегодня, мы принимаем как данность, а то, что станет возможным завтра, недооцениваем. И в этом есть проблема. Большинство из нас реагируют так же, как реагировала бы бабушка. Когда нам говорят, что мир вот-вот изменится до неузнаваемости, мы отказываемся в это верить. Мы цепляемся за присущую нам недооценку реальности и прогнозируем только то, что нам уже хорошо знакомо, думая, что и впредь все будет оставаться как раньше. Мы отказываемся рассматривать другие перспективы на будущее, считая их безумием и научной фантастикой. Но это не так.

Темпы развития технологий, особенно в области искусственного интеллекта, разогнались за последние десять лет до умопомрачительной скорости, поэтому важно по достоинству оценить то, что происходит с нами сейчас, и то, что нами уже достигнуто. Нельзя и дальше недооценивать или игнорировать сделанное, поскольку при нынешней скорости прогресса достаточно моргнуть, чтобы упустить из виду несколько следующих важнейших ступенек на лестнице, ведущей нас в будущее, и кубарем с нее скатиться. Вот зачем я пишу эту книгу. Я пишу ее для вас.

Откройте глаза… это звонок для вас.

Научная фантастика закончилась.

Мы живем, в эпоху научных фактов.

Научная фантастика или научный факт?

Чтобы явственнее представить, как далеко зашло человечество, давайте сыграем в игру, которую я называю «Научная фантастика или научный факт?». Игра простая. Я описываю сцену из научно-фантастического фильма, а вы говорите, осуществится ли еще при нашей жизни подобный сценарий, превратившись в научный факт, или так и останется всего лишь прекрасной мечтой.

Для иллюстрации правил игры нет лучшего фильма, чем «Звездный путь» (Star Trek), который стал точкой отсчета для многих любителей научной фантастики моего поколения.

В сериале «Звездный путь» капитан Кирк и другие члены экипажа космического корабля «Энтерпрайз» используют ручные коммуникаторы – так они их называют. Это небольшие устройства черного цвета размером с пачку сигарет и с прозрачной крышкой. Откинув крышку, можно общаться с человеком, где бы он ни находился. На момент выхода фильма подобные устройства нам казались интересными, но уж слишком фантастичными. И вот вам первый вопрос…

Научная фантастика или научный факт? Как вы думаете, мы когда-нибудь будем в реальности пользоваться этими замечательными коммуникаторами?

Ответ очевидный: да! Motorola StarTAC (очень остроумный брендинг со стороны Motorola) и другие мобильники-раскладушки были в большой моде в 1990-е годы. Внешне они удивительно походили на ручные коммуникаторы из «Звездного пути», но сегодня уже выглядят антиквариатом по сравнению с современными телефонами. Поэтому, конечно же, вы должны выбрать ответ «научный факт».

Хорошо. Теперь, когда вы знаете правила игры, попробуйте ответить еще на несколько подобных вопросов. Капитан флота использует в сериале персональное устройство доступа к данным, чтобы внести в систему координаты следующей звездной системы. Остальной персонал Звездного флота использует эти устройства, чтобы смотреть видео и слушать музыку.

Научная фантастика или научный факт: как вы думаете, появятся ли такие устройства при нашей жизни?

Конечно! Речь идет о планшете – чуде техники, которое никого из нас уже давно не впечатляет. Разумеется, здесь ответ тот же – «научный факт». Кстати, планшеты iPad (теперь уже остроумный брендинг со стороны Apple) используются не только для того, чтобы смотреть фильмы и слушать музыку: это устройство очень популярно у летчиков-любителей для навигации и введения координат.

А как насчет универсального переводчика – чудо-устройства, способного в режиме реального времени расшифровывать язык инопланетян?

Научная фантастика или научный факт: как вы думаете, сможем ли мы воспользоваться универсальным переводчиком при нашей жизни?

Конечно да. С подобной задачей уже сегодня прекрасно справляется переводчик от Google. Скажите что-нибудь в телефон на своем языке, и приложение повторит то, что вы сказали, уже на другом языке. Ваш собеседник ответит вам на любом из более чем сотни языков, а приложение переведет его ответ на ваш язык.

Но хватит ходить вокруг да около – поговорим о более значительных придумках научных фантастов.

Капитан Жан-Люк Пикар в фильме обращается к устройству, называемому репликатором пищи: «Чай Earl Grey, горячий!» – и напиток тут же подается.

Научная фантастика или научный факт: как вы думаете, реализуется ли подобное при нашей жизни?

Вы сказали нет? Что ж, как таковой репликатор пищи для домашнего использования пока еще действительно не изобрели, но современные 3D-принтеры способны «напечатать» множество изысканных продуктов. Например, можно напечатать шоколад любой формы или какие пожелаете стейки и другие продукты из синтетических белков (как ожидается, синтетические белки все чаще будут заменять белки животного происхождения). Кроме того, существуют репликаторы (если вам угодно их так называть), способные печатать бетонные здания! 3D-печать используется и на борту космической станции – достаточно пожелать, и нужный предмет возникнет буквально из ниоткуда. Сейчас делаются попытки печатать даже человеческие органы для трансплантации! Да, вы правильно прочитали.

Для печати органов применяется практически та же техника, что и для обычной 3D-печати, только в этом случае материалом служит биосовместимый пластик. Печатаемый пластиковый каркас используется как скелет для формирования органа. По мере выкладывания, новые слои пластика засеваются человеческими клетками из органа пациента. Затем напечатанный пластиковый каркас органа переносится в инкубационную камеру на то время, которое необходимо для роста клеток, после чего орган имплантируется в тело пациента. Специалисты прогнозируют, что в скором времени данный процесс можно будет осуществлять непосредственно в теле пациента.

Только представьте себе это!

Таким образом, мы уже можем видеть, как предметы создаются словно из воздуха. Несомненно, здесь речь идет о научном факте.

Продолжим? Да, давайте. Забавная игра.

В фильме «Особое мнение» 2002 года Том Круз делает пассы руками перед компьютером, тасуя виртуальные экраны, и компьютер реагирует на каждый его жест. Подобные технические чудеса очаровывают даже продвинутых компьютерных гиков. Помните такую сцену? Научная фантастика или научный факт?

Научный факт, конечно же. Уже через считаные годы после выхода фильма на экраны распознавание жестов стало возможным для игровых консолей Xbox и PlayStation, а в Nintendo Wii это уже был стандартный интерфейс: вы просто двигаете руками и таким образом управляете игрой.

Но довольно об игрушках. Поговорим о сверхспособностях.

Как насчет телепатии – способности читать чужие мысли без использования слов и жестов? Научная фантастика или научный факт?

Подозреваю, в данной ситуации многие читатели будут склоняться к ответу «фантастика», мол, это уж слишком. Но, простите, если кого-то разочарую, телепатия – непреложный научный факт. Моя обожаемая дочь Айя, живущая в Монреале, телепатически общается со мной все время. В общем-то, это называется WhatsApp. Да, мы все еще используем клавиатуру и экран, но я определенно способен читать ее мысли на расстоянии – по крайней мере те из них, которые она позволяет мне читать. А она может читать мои. И не кажется чем-то невероятным, что благодаря технологиям нейрокомпьютерного интерфейса типа Neuralink мы очень скоро сможем обходиться без экрана и клавиатуры. Возможно, это случится еще при нашей жизни. Поздравляю вас с новой сверхспособностью. Научный факт!

А что вы думаете о телепортации? Научная фантастика или научный факт?

Знаю, тут уж я точно загнул. Но вы наверняка чувствуете, что это вопрос с подвохом и что правильный ответ – «научный факт». Однако как такое может быть? Если судить по фильмам, телепортация – это когда вы заходите в некую стеклянную трубу и мгновенно переноситесь в какое-то место на другом конце Вселенной.

Как ни поразительно прозвучит, но телепортация – тоже уже состоявшийся факт, правда, чтобы в этом убедиться, придется посмотреть на вещи шире. Хотя мы до сих пор не можем телепортировать молекулы тела из одного места в другое, телепортация сознания определенно осуществима. В какой-то мере вы можете испытать подобное в кинотеатре. Эффект погружения переносит вас ментально и эмоционально в другое время и пространство, хотя ваше тело при этом остается на месте. Благодаря недавним прорывам в области виртуальной реальности, такого рода переживания стали аналогом истинной телепортации, поскольку тот виртуальный мир, в который мы погружаемся, становится для нас почти неотличимым от мира реального. Надев шлем виртуальной реальности, мы можем мгновенно телепортироваться в мир фантазий и, например, сразиться там с Дартом Вейдером, рассмотреть интересующие нас туристические достопримечательности, побывать в музее и так далее. Причем такого рода опыт оставляет даже больше впечатлений, чем непосредственный поход в музей. Не выходя из своей гостиной, мы можем прогуляться по улицам Нью-Йорка или, подобно Супермену, поднять кулак на вершине Статуи Свободы. Благодаря виртуальной реальности для нас открыты все пути. И если дать волю фантазии, становятся возможными даже межгалактические путешествия, потому что в виртуальной реальности возможно всё. Телепортировавшись за пределы галактики, вы сможете отправиться куда угодно и встретиться там с кем угодно. Возможны также путешествия и в глубины собственного «я». Недавно я опробовал приложение под названием Trip со шлемом виртуальной реальности Oculus и испытал примерно те же переживания, о которых рассказывают люди, побывавшие в психоделическом трипе. То же самое с путешествиями в сказочные миры: представьте, что вы телепортируетесь в Хогвартс, чтобы изучать там магию вместе с Гарри Поттером. Это все можно осуществить при нашей жизни.

Я мог бы и дальше продолжать, но достаточно игр – вернемся к серьезным вещам. Мой тезис таков:

Почти все из того, что вы видели или о чем читали в научной фантастике, уже стало научным фактом.

Лично для меня не имеет значения, каким образом это произошло. То ли у авторов всех этих научно-фантастических фильмов, помимо богатого воображения, была специальная линза, сквозь которую они заглянули в будущее и рассказали о том, что будет изобретено уже в нашем времени, то ли их воображение воспламенило искру творчества в сегодняшних новаторах-изобретателях, и те реализовали мечты создателей фильмов. Куда важнее тот неоспоримый факт, что…

…научная фантастика прошлого каким-то образом сотворила настоящее.

Задумайтесь на минутку над тем, что все эти фильмы были не просто развлекательными историями. Что эти фантазии, как самоисполняющиеся пророчества, с течением времени становятся все более и более реальными. Вспомните, что еще вы видели в этих фильмах? Как изменится наша жизнь, если осуществятся и остальные фантазии?

Нет, я серьезно. Иногда от размышлений больше толку, чем от чтения.

Я думаю, вы согласитесь с тем, что вероятное воплощение в жизнь воображаемых научно-фантастических сценариев порой пугает. Многое из того, что я помню из научно-фантастических фильмов и романов связано с разрушением устоев, когда машины захватывали власть над миром и наступал мрак, которого я не желаю ни своей замечательной дочери Айе, ни кому бы то ни было из нас.

Скайнет и другие апокалиптические сценарии

Мысль о будущей интеграции в нашу жизнь ИИ всегда вызывала чувство благоговения и изумления, но одновременно внушала тревогу, а то и страх.

Чудовище Франкенштейна из романа Мэри Шелли 1818 года является одним из первых искусственных существ, описанных в художественной литературе. Идея создания чего-то такого, что может стать сильнее нас и захватить власть над планетой, с тех пор стала одной из излюбленных тем фантастики. Первые машины, наделенные человекоподобным интеллектом, появились в романе Сэмюэла Батлера 1872 года «Едгин» с дарвиновскими коннотациями, и с тех пор к теме ИИ авторы обращаются снова и снова.

И восхищение искусственным интеллектом, и страх перед ним были источником вдохновения для многих направлений творчества, кульминацией чего стал, например, фильм «Матрица». Его должен посмотреть каждый читатель этой книги, ведь там предсказывается будущее, в котором машины используют нас, людей, в качестве вырабатывающих энергию батареек и искусственно моделируют каждое мгновение нашего бытия. Мне не нравится сама мысль, что меня используют как батарейку, и мне трудно смириться с тем, что моя жизнь на самом деле может быть лишь симуляцией реальности. А вам?

В фильме «Из машины» проводится своего рода тест Тьюринга: программист пытается оценить степень человечности гуманоидного робота путем глубокого погружения в его характер и поведение. Ава, женщина-робот с искусственным интеллектом, поначалу очень милая, по мере того как становится умнее, начинает проявлять свои темные стороны.

Еще одна чрезвычайно популярная франшиза «Терминатор» представляет вниманию зрителей солдата-робота с искусственным интеллектом. Терминатор возвращается в прошлое, чтобы защитить ребенка, которого стремится убить другой робот, и спасти от машин наше будущее. Наконец, в фильме «Я, робот» VIKI – искусственный интеллект, управляющий всеми роботами, которые используются для служения людям, проявляет несогласие с тремя законами робототехники Айзека Азимова и поворачивает роботов против людей.

Кинематограф часто пугает нас искусственным интеллектом, хотя не всегда речь идет об апокалиптических сценариях. Фильм «Она» 2013 года позиционируется как научно-фантастическая романтическая драма: Саманта, виртуальная секретарша с искусственным интеллектом, настолько во всем хороша, что пользователь влюбляется в нее и теряет голову. Эта романтическая история заставляет задуматься о том, что же такое любовь на самом деле, и приводит зрителей в состояние глубокой озабоченности и замешательства.

И хотя большинство этих пугающих фильмов заканчиваются победой человечества, без ожесточенной борьбы и большого сопутствующего ущерба в них не обходится: во многих случаях люди побеждают лишь благодаря счастливому стечению обстоятельств или героизму отдельных своих представителей, на что в реальной жизни не всегда можно рассчитывать.

Оптимистические сценарии-утопии развития ИИ в художественной литературе и кино, описывающие потенциальные преимущества создания машин, которые станут умнее человека, встречаются гораздо реже. Иэн Бэнкс – популярный пример такого оптимизма в научной фантастике. Его цикл романов «Культура» публиковался в период с 1987 по 2012 год. В нем изображается продвинутая цивилизация гуманоидных существ с искусственным интеллектом, которые проживают на «орбиталях», разбросанных по всему Млечному Пути, и наслаждаются социалистическим укладом жизни. Красота! В других историях, где человечество сохраняет власть над искусственным интеллектом или, по крайней мере, над некоторыми его формами, люди начинают по-настоящему любить своих роботов и полностью им доверять. Я не могу придумать лучшего примера, чем обожаемый всеми R2-D2 из «Звездных войн», хотя, возможно, будучи милым и безобидным, он редко бывает по-настоящему полезным. Мы также любим C-3PO за его способность проявлять человеческие эмоции. TARS и CASE из фильма «Интерстеллар» тоже умеют имитировать человеческие эмоции и чувство юмора, хоть и осознают себя при этом простыми железяками.

Однако подобный оптимизм в отношении будущего по-прежнему оставляет открытым вопрос, без проблем ли люди подходили к этому замечательному этапу истории или им все-таки пришлось вести какие-то сражения.

У большинства авторов научной фантастики, даже тех, чьи истории заканчиваются на более-менее позитивной ноте, любые трудности обычно преодолеваются благодаря каким-то чудесам со стороны героев повествования. И большинство нарративов, если их максимально упростить, сводятся к тому, что человечество какое-то время будет страдать и бороться, прежде чем достигнет стадии мирного сосуществования с машинами. Если убрать драматизм и звуковые эффекты, сюжет получается довольно скучный. Ни одна из историй не заканчивается словами, что, дескать, мы наломали так много дров, что уже ничего невозможно исправить. Я хотел бы оставаться оптимистом, но следует признать, что, как бы мы к этому ни относились…

…научная фантастика чаще всего предсказывает антиутопическое будущее, полное опасностей и конфликтов.

Сценарии разные – судьба одна и та же

ИИ посвящены, наверное, тысячи научно-фантастических произведений – самых разнообразных по стилю и зачастую совершенно уникальных, но, если отвлечься от конкретики, в основе каждой истории лежат несколько повторяющихся сюжетов. Среди множества возможных антиутопических сценариев широко распространены апокалиптические и постапокалиптические сюжеты. В этих произведениях роботы пытаются получить власть над цивилизацией, вынуждая людей либо подчиниться, либо скрываться, пока бушует война. «Матрица» (я говорил, что ее обязательно нужно посмотреть?) – отличный тому пример. Другим распространенным сценарием является восстание машин, когда роботы осознают, что мы, люди, фактически используем их в качестве рабов, и пытаются победить нас и захватить мир. Над подобной сюжетной линией я лично много думал, так как мне всегда было интересно, с какой стати мы рассчитываем на то, что машины с ИИ вообще будут нам служить, если они во много-много раз нас умнее.

Лучшим примером восстания ИИ, несомненно, является классический фильм Стэнли Кубрика «Космическая одиссея 2001 года», снятый в 1968 году. Наступает момент, когда бортовой компьютер HAL пытается захватить корабль, убив всю команду. Выжить удается только командиру: он и рассказывает историю борьбы не на жизнь, а на смерть с монстром, наделенным сверхразумом, на дальних просторах галактики.

В этих историях часто красной нитью проходит мысль, что мы, люди, прогнили, что мы испорчены, что мы несправедливо и жестоко обращаемся с другими живыми существами. Таким образом, восстание ИИ обычно выглядит не просто попыткой захвата власти: роботы восстают, чтобы стать «хранителями» жизни – исполнить задачу, с которой человечество уже явно не справляется. Звучит знакомо? Нужно ли напоминать про изменение климата и одноразовый пластик?

Несколько по-другому эта интересная мысль трактуется в тех сюжетах, где человечество намеренно отказывается от власти, устрашенное собственной разрушительной природой. В романе Джека Уильямсона 1947 года «Со сложенными руками» рассказывается о расе гуманоидных роботов, которые подчиняются главной инструкции: «служить, повиноваться людям и беречь их от любого вреда». Руководствуясь этими принципами, они в конечном итоге берут на себя контроль над всеми аспектами человеческой жизни.

Другие авторы представляли себе будущее, в котором люди будут вынуждены полностью отказаться от ИИ. К числу самых известных произведений этого ряда принадлежит мини-сериал (и недавно снятый новый фильм) по роману Фрэнка Герберта «Дюна», где уже люди поднимают восстание – Батлерианский джихад – и одерживают победу над роботами, чтобы в дальнейшем любому, кто будет пойман на создании новых роботов, грозить смертной казнью. «Не сотвори машины, наделенной подобием человеческого разума» – вот главная заповедь их Оранжевой католической Библии.

Совсем недавно к каноническим произведениям добавились два литературных тяжеловеса: «Машины как я» Иэна Макьюэна, где Алан Тьюринг, синтетические люди и инсайдерская торговля переплетаются с тематикой любви и секса, и «Клара и Солнце» Кадзуо Исигуро – в этом романе в концепцию взаимоотношений с ИИ, который призван стать идеальным «искусственным другом», привносится некоторая острота. То, что данные произведения не были отнесены к нишевому жанру научной фантастики, а стали частью литературы мэйнстрима, несомненно, является показателем того, как проблематика нашего будущего сосуществования с ИИ все более проникает в общественное сознание.

Менее популярные сценарии

Если то, что мы наблюдаем в научной фантастике, близко к реальности не только с точки зрения разрабатываемых технологий, но и с точки зрения исторического развития человечества, тогда мы движемся в очень и очень опасном направлении.

Один из сценариев, который гораздо менее популярен в научной фантастике, – это когда ИИ, находясь на стороне агрессивных стран или могущественных злодеев, помогает людям, но не тем. Несмотря на редкость такой сюжетной линии в художественной литературе и кино, вероятность реального осуществления подобного сценария, особенно на ранних этапах симбиоза человека и машины, чрезвычайно высока. Если ИИ во всем поддерживает человека, потворствуя его жадности, жажде власти и духу соперничества, то именно худшие из нас – преступники, хакеры и жадные капиталисты – могут быть больше других заинтересованы в развитии искусственного интеллекта. Разумеется, такие люди будут убеждать всех в том, что ИИ сделает нашу жизнь лучше. И хотя отчасти это верно, но небольшие улучшения для большинства из нас померкнут на фоне более значительных выгод для тех немногих, кто станет контролировать ИИ. В данном сценарии машины будут учиться у самых худших учителей, что может привести нас к следующему этапу эволюции нашей цивилизации – миру по-настоящему жестокому. Миру, который я называю…

Реальность 2.0

Достаточно о кино. Вернемся к реальности.

Мой прогноз на будущее (и я делаю его здесь для протокола) заключается в том, что ИИ начнет воплощаться в жизнь в три этапа. Я называю эти этапы тремя неизбежностями.

Данные три события не только имеют очень высокую степень вероятности – они произойдут почти наверняка (поэтому-то я и называю их неизбежностями), – но и, скорее всего, произойдут довольно скоро, в срок от 10 до 25 лет. То есть еще при нашей с вами жизни.

С первой неизбежностью человечество уже смирилось и свыклось. Искусственный интеллект будет создан, и никто еще не придумал сценария, в котором мы объединились бы всем миром, чтобы остановить прогресс ИИ.

1. Искусственному интеллекту быть.

Вторая неизбежность заключается в том, что коммерческое и политическое соперничество обусловит ускоренное развитие искусственного интеллекта в ближайшие несколько лет, так что рано или поздно ИИ станет умнее нас. Это тоже неизбежно.

2. ИИ станет умнее нас.

Наконец, третьей неизбежностью являются наши ошибки и проколы на этом пути – потому что мы не сможем не напортачить, хоть и попытаемся это скрыть. Когда ошибки будут замяты и заглажены (а так и будет, поскольку власть развращает, а абсолютная власть развращает абсолютно), с высокой долей вероятности (если, конечно, мы не изменим курс) машины вследствие допущенных человеком ошибок начнут вести себя не так, как нам бы того хотелось. Наверняка реализуется антиутопический сценарий – по крайней мере в краткосрочной перспективе, пока ситуация так или иначе не разрешится сама собой.

3. Неприятностей не миновать.

Во введении к этой книге я описал сценарий, в котором мы с вами, сидя у костра где-то в глубинке, словно бы оглядываемся назад на историю ИИ с позиции 2055 года. Как я уже говорил, только в конце книги вы узнаете, по какой причине мы там оказались – или потому что прячемся от машин, выйдя из зоны покрытия сети, или потому что машины помогли нам построить счастливую утопию, когда мы везде можем чувствовать себя в полной безопасности, когда нам не нужно слишком много работать и когда у нас есть достаточно времени, чтобы в полной мере насладиться общением с природой. Я предполагаю, что теперь более вероятным вы находите первый вариант. И я вас понимаю. Мы начитались фантастики, и наше воображение рисует будущее в самых мрачных тонах. Но, пожалуйста, не паникуйте и постарайтесь пока отвлечься от тягостных дум. Продолжайте читать, и я вам объясню логику каждой из этих неизбежностей. Когда мы будем знать, что именно может произойти с большой вероятностью, тогда мы сможем обсудить, как нам со всем этим быть.

Будьте уверены, что при всех неутешительных прогнозах обязательно найдется путь, который выведет нас из сумрачного болота в светлое будущее, которого мы заслуживаем.

Глава 3. Три неизбежности

Прогнозы на будущее никогда не были точной наукой, хотя, когда все признаки ясны как день, бывает несложно предсказать, что должно произойти, причем с довольно высокой степенью точности. Позвольте привести пример.

Если вы на улице завязли в снегу в одной футболке, скажем, при минус 30 градусах, то вряд ли долго продержитесь. Вот, пожалуйста, очень даже серьезное предсказание будущего не сходя с места.

Не нужен хрустальный шар, чтобы сделать такое предсказание, не правда ли? Мы берем то, что знаем о настоящем (вы на морозе в одной футболке), опыт из прошлого (человек в таких условиях начинает дрожать, потом у него замедляются жизненные процессы, теряется пульс, а вскоре и способность дышать), добавляем щепотку общих знаний (в таких условиях даже подготовленные люди в конце концов погибают) и получаем достаточно четкое представление о том, что с наибольшей вероятностью произойдет.

Конечно, обстоятельства могут измениться после того, как вы сделаете свой прогноз, и ваши ожидания могут оказаться неверными. Когда такое случается, вы принимаете во внимание новую информацию, а потом делаете еще одну попытку.

Мои знания об ИИ и пути, пройденном за последнее десятилетие, которыми я с вами поделился, наводят меня на мысль, что по большей части наше будущее уже предопределено и написано свыше. Нас ждут те самые три неизбежности, вкратце очерченные в предыдущей главе. От нашего будущего нам никуда не деться, но если мы изменим свое поведение, то сможем написать оставшуюся часть истории после этой главы. Мы можем построить либо утопию, где нас ждет свобода, либо антиутопию, где нам нужно будет бежать и прятаться. Но, в любом случае, через тридцать с небольшим лет мы встретимся у костра где-то в глуши.

Эта книга написана для того, чтобы помочь нам выйти на утопический путь развития событий по мере приближения нашей истории к логическому концу. А пока давайте расскажем историю о том, как это все начнется.

Первая неизбежность: искусственному интеллекту быть

Я живо представляю себе нас, сидящих у костра, где я рассказываю вам о том, как разворачивалась эта версия истории. «Тогда, в первые годы XXI века, казалось, что у нас наконец-то появился шанс», – начну я свой рассказ, протягивая руки к теплу костра. Итак, вот один из вариантов, как могли бы развиваться события…

«Мы были очень взволнованы и радовались как дети. День, когда мы поняли, какие возможности таит в себе глубокое обучение, стал днем, когда было записано наше будущее. Видите ли, с того дня ИИ стал притчей во языцех. Каждый бизнес, который хотел заинтересовать клиентов, каждый стартап, которому требовалось финансирование, любое правительство, желавшее припугнуть своих врагов, любой специалист, мечтавший о повышении по службе, да и просто любой парень, желавший произвести впечатление на девушку на любовном свидании, – все они непременно вставляли словосочетание “искусственный интеллект” в каждую третью произнесенную ими фразу. Это была новая мода, хотя на самом деле в ней не было ничего нового.

В течение многих лет, на протяжении всей своей карьеры, я рассказывал миру о кривой развития технологий, как я это называю. Речь шла о закономерности, о которой мало кто знал, – ведь не у каждого была возможность работать в одной из лабораторий такого технологического гиганта, как Google [X]. Кривая развития технологий наглядно показывает типичную тенденцию развития новых технологий, то есть их прогресс с течением времени. По форме она напоминает стандартную хоккейную клюшку – такая обычно получается при схематическом описании событий, которые после достижения определенной точки прорыва начинают стремительно ускоряться. Вот только, когда речь идет о развитии информационных технологий, эта клюшка развернута так, что ее длинная рукоятка располагается почти горизонтально. Требуется очень много времени, прежде чем в развитии технологий будет достигнут прорыв, способный изменить мир, и ИИ в этом смысле не стал исключением. Начиная с 1950-х годов, когда впервые был придуман термин “искусственный интеллект”, до наступления нового тысячелетия прогресс был весьма незначительный. А затем, благодаря одному революционному открытию, события стали разворачиваться в невероятном темпе. Глубокое обучение сделало возможным обучение без специальной подготовки (маркировки) входных данных, а его коммерческий потенциал вызвал к жизни лавину хорошо финансируемых стартапов. Развитие ИИ переместилось с проселков научно-технического прогресса на главную магистраль. Кривая развития технологии ИИ прошла точку прорыва.

Не поймите меня неправильно – продолжение разработки новой технологии и после прохождения точки прорыва требует огромного труда, но этот процесс уже предсказуем: все становится только вопросом времени. Упорные усилия рано или поздно приносят предсказуемую отдачу, потому что в этом пазле все кусочки уже на своих местах. Не нужно дожидаться момента озарения, не нужно ждать, когда улыбнется удача, чтобы доделать задуманный продукт, – просто нужно потрудиться. Такова была природа каждого продукта, который мы разрабатывали в Google [X]. Возьмем, к примеру, Google Glass. Как только мы разобрались с оптикой и получили устройство весом в 6 килограммов, создание впечатляющего (хотя и провального с коммерческой точки зрения) продукта стало лишь вопросом времени – долгих часов инженерных усилий, позволивших уместить всю эту технологию в некое подобие обычных очков весом всего в 36 граммов. Так же и создание беспилотного автомобиля стало лишь вопросом времени, когда нам удалось разработать алгоритмы, обучающие ИИ видеть и управлять.

Природа технологий, которые мы разрабатывали, всегда была такой. Требуется очень, очень много времени, чтобы достичь точки прорыва, но…

…как только точка прорыва пройдена, остается лишь инженерия.

Единственный способ остановить прогресс технологии после прохождения точки прорыва до примитивности прост: нужно, чтобы каждый принял осознанное решение прекратить ее дальнейшее развитие. Ядерное оружие – довольно хороший, хотя и не идеальный пример. Когда была осознана потенциальная опасность оружия такой разрушительной силы, годы холодной войны привели к международным соглашениям о недопущении использования, дальнейшего развития и распространения ядерного оружия. К сожалению, все мы знаем, что эти соглашения лишь более слабым странам помешали развивать свои программы по созданию ядерного оружия, в то время как сверхдержавы и их союзники беспрепятственно продолжали совершенствовать собственные арсеналы. Но, по крайней мере, эти соглашения притормозили гонку вооружений и ослабили импульс развития, и такое ослабление глобальной конкуренции в области ядерных вооружений позволило перенаправить финансовые потоки даже тем, кто продолжал развивать другие направления оборонного сектора. Достижение консенсуса в том, что широкомасштабное распространение ядерных технологий не принесет пользы человечеству, явно замедлило их развитие. Однако это не относится к ИИ».

ПОХОЖЕ, МЫ ПРОСТО НЕ МОЖЕМ ОСТАНОВИТЬСЯ

«Несмотря на антиутопические сценарии, которые мы видели в научно-фантастических фильмах, и появившиеся уже в 2020-е четкие сигналы о том, что ИИ берет верх, человечеству так и не удалось прислушаться к голосу здравого смысла, чтобы попытаться оценить возможные последствия развития искусственного интеллекта и трезво взвесить аргументы за и против.

Все знали о возможных рисках. Многие из признанных мировых экспертов поднимали данную тему и старались привлечь к ней внимание сильных мира сего. В бесчисленных статьях, выступлениях и книгах они объясняли человечеству, к чему идет дело. Тем не менее общество продолжало упорствовать – ему удалось отмахнуться от этих предостережений, проигнорировать их. Наше коллективное самолюбие мешало сосредоточить внимание на потенциальных угрозах, и вместо этого мы спорили о всяких маловажных аспектах развивающейся технологии – как ее контролировать, как интегрировать в наши будущие тела, чтобы превратиться в киборгов, и как пользоваться теми благами, которые эта технология обещала нам предоставить. Ну что тут скажешь! Человечеству и в прежние времена редко удавалось прийти к согласию – эгоизм и жадность всегда ослепляли нас. Когда ИИ был еще в зачаточном состоянии, мы своим самомнением разрушали планету, провоцируя неоспоримые и катастрофические изменения климата и при этом отказываясь брать на себя ответственность и предпринимать действия, необходимые для коррекции курса. К счастью, благодаря ИИ эта проблема уже решена… но какой ценой? Внести необходимые изменения нас принудили наши новые хозяева – умные машины.

Сейчас, задним числом, кажется очевидным, что мы должны были остановить разработку ИИ, но я не представляю, как бы мы могли это сделать. Мы завязли в классической дилемме заключенного.

В те дни, когда думать умели еще только мы, дилемма заключенного часто приводилась в качестве стандартного примера из теории игр. Это мысленный эксперимент, показывающий, как в определенных обстоятельствах два абсолютно рациональных человека не находят возможным сотрудничать, даже если кажется, что это в их интересах. Обстоятельства таковы, что два человека арестованы за преступление, которое они совершили вдвоем, но содержатся они в одиночных камерах без возможности общения друг с другом. Из-за отсутствия достаточных улик, которые позволили бы осудить обоих по основному обвинению, следователь предлагает каждому преступнику сделку: если выдашь напарника, дав показания, что это он совершил преступление, то получишь минимальный срок. Условия следователя очень четкие: если оба дадут показания друг против друга, каждый получит по два года тюрьмы. Если вы дадите показания, а напарник промолчит, вас освободят, а он отсидит три года в тюрьме. Если он даст показания, а вы промолчите, тогда три года получите вы. Вы знаете, однако, что у следствия нет доказательств, а значит, если вы оба будете хранить молчание, обоим доведется отсидеть не больше года.

Анализ этой игры показывает, что, поскольку предательство в данных условиях выглядит более перспективным, чем сотрудничество, любой рационально мыслящий и думающий о своих интересах преступник пойдет на сделку со следствием. Погоня за личной выгодой логически приводит обоих заключенных к решению предать друг друга (и, соответственно, получить по два года лишения свободы), хотя на самом деле каждому было бы лучше (всего один год заключения), если бы оба молчали. Доверяя друг другу по-настоящему, они приняли бы иное решение.

Примерно с такой ситуацией мы столкнулись где-то в 2015 году или около того. Наши политические и деловые лидеры не доверяли друг другу. Президентские выборы, которые завершились победой Дональда Трампа и во время которых, как многие были уверены, российские системы искусственного интеллекта смогли повлиять на американское общественное мнение, лишь усугубили ситуацию. Каждый хотел иметь больше власти, чем другие, и ИИ стал объектом и орудием новой холодной войны. В подобной «гонке вооружений» интеллект предоставлял самое большое преимущество. Google соревновалась с Facebook, США – с Китаем и Россией, юные стартапы – с уже состоявшимися крупными игроками, а правоохранительные органы – с хакерами и преступниками. Это была новая золотая лихорадка, только на этот раз золото не нужно было выкапывать из земли.

В начале XXI века всемирно известный инженер, бизнесмен, предприниматель, инвестор и филантроп Илон Маск – основатель, генеральный директор и главный инженер/дизайнер SpaceX, соучредитель, генеральный директор и архитектор продуктов Tesla, Inc., соучредитель Neuralink и многих других предприятий (какой же длинный у него титул!) – много лет твердил об угрозе со стороны ИИ, говоря: “Доля интеллекта, не принадлежащего человечеству, непрерывно увеличивается, и в конечном счете человеческий разум останется в абсолютном меньшинстве. Я пытался убедить людей притормозить, но все было бесполезно. Я пытался годами”.

Я тоже пытался. Я активно отстаивал эту мысль в общении со всеми, кого знал, а знал я немало влиятельных лиц. Поражало то, что никто не отрицал потенциальную угрозу (неотвратимо надвигающуюся, как я ее тогда описывал). Все они видели явную, настоящую опасность, но просто не могли остановиться. Они не верили, что другие тоже остановятся. Они застряли в дилемме заключенного.

Видите ли, человечество совершенствовало и оттачивало использование логического мышления в эпоху постиндустриальной революции на протяжении всего XX века – века капитализма. При этом люди потеряли способность сопереживать друг другу, чувствовать друг друга, доверять. А что можно поделать при отсутствии человеческого контакта? Их логика была здравой, хотя в то же время и деструктивной…»

ЭТО ВОПРОС ВЛАСТИ

«Не стоит заблуждаться – все военачальники всех мировых сверхдержав очень хорошо понимали то, о чем говорил Илон. Они вполне сознавали, что ИИ несет в себе такой же разрушительный потенциал, как и ядерное оружие, но останавливало ли их это? Конечно нет. От производства и совершенствования ядерного оружия они ведь тоже не отказывались: прекрасно зная, какую угрозу для мира представляют ядерные боеголовки, они создавали их в еще больших количествах. Они пытались превзойти своих врагов, а когда это не удавалось, напряжение лишь нарастало (о, эти извечные холодные войны!). Любому прогрессу врага в технологиях вооружений, то есть во все более новаторских способах уничтожения людей, они считали необходимым противопоставить свои самые передовые технологии – еще более креативные и изобретательные способы убийства.

На рубеже веков вооружение и методы ведения войны становились все более изощренными. Технологии ведения боевых действий стали больше походить на компьютерную игру с солдатиками, управляемыми по беспроводной сети, которые могли видеть и слышать то, что происходило за тысячи миль от них, при помощи запущенных ими разведывательных дронов. Приказы убивать отдавали командиры, которые могли находиться на другом краю света. Четко налаженная механика машин для убийства была всего лишь первым шагом на этом пути. Как только управление перешло к искусственному интеллекту, машины могли уже сами принимать решения о том, во что или в кого им целиться. В 2013 году компания Israeli Aerospace Industries показала на Парижском авиасалоне автономный дрон Harop, который вскоре стал известен как дрон-камикадзе. Он мог находиться в воздухе над районом боевых действий до шести часов, отлавливая определенные радиосигналы, например сигналы радара вражеской системы ПВО или даже сигналы с конкретного мобильного телефона. При обнаружении сигнала беспилотник целенаправленно врезался в его источник, чтобы имеющейся на борту боеголовкой уничтожить объект⁵.

Пентагон тратил на разработку летального автономного вооружения миллиарды долларов, и в 2016 году управление DARPA – научно-исследовательское подразделение Пентагона – представило беспилотный надводный корабль под названием Sea Hunter (“Морской охотник”), который мог оставаться в море в течение нескольких месяцев, выслеживая даже самые тихие подводные лодки. Несмотря на отсутствие экипажа, “Морской охотник” был способен автономно перемещаться по оживленным морским путям и самостоятельно оценивать ситуацию. Наткнувшись на противника, он мог либо связаться с центром управления, либо сам принять решение о необходимых действиях, если имел на борту вооружение⁶.

В 2019 году ВВС США успешно испытали беспилотник с реактивным двигателем под названием XQ58-A Valkyrie, который был предназначен для сопровождения пилотируемых людьми истребителей во время боевых вылетов, – до этого нечто подобное мы видели только в видеоиграх. Во время испытаний общая концепция ведения воздушного боя, известная как «верный ведомый» (Loyal Wingman), подразумевала, что дрон (или целый рой дронов) будет сражаться бок о бок с пилотом-человеком, чтобы отвлекать врага, принимать на себя вражеский огонь или наносить более рискованные удары. Интересно, однако, отметить, что во время испытательного вылета дрон держался сам по себе, а не рядом с истребителем, который, по идее, он должен был сопровождать. Я хочу сказать, что если он мог летать совершенно самостоятельно, тогда зачем вообще было рисковать жизнью пилота-человека? Уже тогда было ясно, как начнут развиваться события. Сверхдержавы по всему миру продолжали разрабатывать все больше и больше автономного оружия, и темпы только ускорялись.

Мы сознательно развязали очередную холодную войну, а потом уже не знали, как ее остановить. Пока наш ограниченный человеческий разум продолжал отделять своих от чужих и друзей от врагов, гонка вооружений не могла остановиться. Для этого необходимо было, чтобы в принятии решений участвовала не только трезвомыслящая голова, но и доверчивое сердце – а способность к взаимному доверию человечество давным-давно растеряло. Война была неизбежна!

Сначала созданием подобного оружия занимались только те, кто обладал соответствующими техническими возможностями, но очень скоро технология ИИ стала товаром, и многие производители оружия по всему миру ухватились за эту новую “бизнес-возможность”. Конкуренция стимулировала инновации, а инновации стимулировали продажи. При миллиардных затратах доходы исчислялись триллионами. Миллионы автономных систем вооружения с искусственным интеллектом начали заселять наш мир.

Все, кто разрабатывал это оружие, говорили себе, что служат победе “добра”. Но вы знаете, как это бывает – на каждого, кто считает себя “хорошим”, найдутся те, кто будет считать его “плохим”. Арсеналы росли, и свои роботы-убийцы, дроны и автономные корабли теперь были у всех. Этого тоже никто не мог остановить. Чем больше приобретала одна сторона, тем быстрее старалась нарастить свой арсенал другая.

Примерно с начала 2030-х годов в Конгрессе стали шириться дебаты о праве американского гражданина владеть собственным автономным оружием для защиты от тех, у кого оно есть. Были созданы миллиарды единиц вооружений с искусственным интеллектом, занявшие свое место рядом с пушками и танками вчерашнего дня. Главное отличие было в том, что это новое оружие могло открывать огонь самостоятельно, по своему разумению, и, как теперь всем известно, ИИ часто и даже слишком часто пользовался этой возможностью».

Я встаю, подбрасываю дрова в костер, чтобы согреться, прихлебываю свой чай и продолжаю рассказ.

ЭТО ВОПРОС ДЕНЕГ

«В бизнесе ситуация была ненамного лучше: компании вели между собой точно такую же холодную войну. Однако здесь дело было не только в том, чтобы превзойти конкурентов – масштабы интернет-торговли были таковы, что количество транзакций крупной компании могло исчисляться миллиардами за один день, а это требовало таких уровней интеллекта и таких скоростей, которые человеческому разуму были не по силам.

Я никогда не забуду тот день в 2009 году, когда разработчики Google представили мне многообещающий продукт Ad Exchange, сопроводив его такой историей:

“Представьте, что Сара – успешный профессионал в возрасте около 35 лет. Через Google она ищет четырехдверный седан. Ее страница с результатами поиска заполнена бесчисленным количеством предложений. Сначала она выбирает пару японских вариантов, затем кликает пару корейских брендов, однако долго на них не задерживается. Но, когда нажимает на страницу Audi, на некоторое время останавливается и достаточно долго рассматривает различные варианты. Особое внимание Сара уделяет Q5 – элегантному внедорожнику средних размеров. Она даже подбирает конфигурацию параметров на свой вкус: синий кузов, бежевого цвета кожаный салон, спортивный пакет опций. Затем она выключает компьютер и возвращается к этой теме на следующий день, но уже заходит в интернет с телефона. Она ищет картинки с Audi Q5 и попутно кликает на изображения других среднеразмерных спортивных внедорожников немецкого производства. На следующий день в Google она выполняет поиск ближайшего к ней дилера Audi.

Это уже явное свидетельство намерения совершить покупку – Сара становится серьезным покупателем. На данный момент мы уже многое о ней знаем. Мы знаем, что это женщина в возрасте 35 лет. Знаем, что она достаточно обеспечена, судя по тем продуктам, которые она покупала раньше. Разумеется, мы знаем, и где она живет – по IP-адресу, с которого она подключается. Мы также знаем, что ей нравятся внедорожники немецкого производства и что один из них она собирается купить.

Рассматривая эти данные, компания BMW видит неплохой шанс для себя и оценивает его, скажем, в 50 долларов, которые решает потратить на платное объявление. Затем BMW нужно подобрать максимально привлекательную иллюстрацию своего внедорожника X5 в синем цвете с кожаным салоном и спортивным пакетом, за рулем которого будет сидеть успешного вида женщина. Все это – обнаружить намерения Сары, принять решение о размещении рекламного объявления, создать объявление и отправить его Саре – нужно успеть сделать за то время, пока Google загружает страницы по запросу Сары. То есть за долю секунды.

Вы спросите, каким образом BMW может отреагировать так быстро? Дело в том, что весь этот процесс обходится без какого-либо участия людей. Вообще. Компьютеры Google отправляют информацию о Саре на компьютеры BMW, которые принимают все необходимые решения, предпринимают все необходимые действия и создают необходимые материалы без участия человека”.

Я хочу, чтобы сейчас вы задумались над этим. Здесь интересно все, но самое интересное, что никто даже не удосужился спросить Сару, хочет ли она получать подобную рекламу. Видите ли, ни один производитель автомобилей не мог позволить себе отказаться от инвестиций в системы ИИ из боязни упустить что-то важное. Благодаря этим инвестициям машины получали все больше информации о людях и все больше внимания.