Read the book: «ИИ-2041. Десять образов нашего будущего»
Информация от издательства
Оригинальное название
AI 2041. Ten visions of our future
Научный редактор Михаил Бурцев
Все права защищены.
Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.
В тексте неоднократно упоминаются названия социальных сетей, принадлежащих Meta Platforms Inc., признанной экстремистской организацией на территории РФ.
© Copyright © 2021 by Kai-Fu Lee and Chen Qiufan. This translation published by arrangement with Currency, an imprint of Random House, a division of Random House LLC and with Synopsis Literary Agency.
© Издание на русском языке, перевод, оформление. ООО «МИФ», 2026
⁂
Что нам нужно, так это машина, способная учиться на собственном опыте.
Алан Тьюринг
Любую достаточно развитую технологию не отличить от магии.
Артур Ч. Кларк
Вступление Кай-Фу Ли. Реальная история искусственного интеллекта
Искусственный интеллект (ИИ) – это так называемое умное аппаратное и программное обеспечение. Оно способно выполнять задачи, для решения которых обычно требуется участие человеческого разума. ИИ – это разъяснение процесса обучения, количественное выражение человеческого мыслительного процесса, объяснение человеческого поведения и понимание причин существования интеллекта как такового. ИИ – это заключительный шаг человечества на пути к пониманию самого себя, и я очень надеюсь внести свой вклад в эту новую многообещающую науку.
Это написал я, наивный и восторженный студент, в заявке на участие в программе докторантуры в Университете Карнеги – Меллона. С того дня прошло почти 40 лет.
Термин «искусственный интеллект» предложил американский ученый Джон Маккарти еще раньше, в 1956 году, во время исторического Дартмутского летнего исследовательского проекта по искусственному интеллекту1.
Сегодня многие считают искусственный интеллект типичной технологией XXI века, однако его концепция возникла в середине века двадцатого, правда, тогда мало кого заинтересовала. Первые 35 лет моего путешествия в область ИИ ограничивались практически чистой наукой, исключение составили пара-тройка успешных коммерческих адаптаций.
Долгие годы практическое применение ИИ пробуксовывало, но в последние пять лет он превратился в самую популярную технологию в мире. Все перевернулось в один момент – в 2016 году компьютерная программа для игры в го AlphaGo (создана в компании Google DeepMind2) со счетом 4: 1 обыграла в пятираундовом чемпионате южнокорейского профессионала 9-го дана Ли Седоля3. Матч вошел в историю как Google DeepMind Challenge Match.
Го – это настольная игра, сложнее шахмат в миллион триллионов квадриллионов раз. Энтузиасты-фанаты го считают, что, в отличие от шахмат, эта игра требует подлинного ума, мудрости и интеллектуальной дзен-утонченности. Так что победа искусственного интеллекта над чемпионом-человеком при игре в го многих повергла в шок.
AlphaGo, как и большинство коммерческих прорывов в области ИИ, основана на глубоком обучении, технологии самообучения системы с использованием датасетов (огромных наборов данных). Технологию придумали много лет назад, но вычислительные мощности для наглядной демонстрации ее эффективности появились относительно недавно. Примерно тогда же накопилось достаточное количество обучающих данных, что позволило получить значимые результаты.
Если сравнить с ситуацией сорокалетней давности, когда я только начал заниматься ИИ, сегодня в нашем распоряжении примерно в триллион раз больше вычислительных мощностей, а хранение необходимых данных обходится в 15 миллионов раз дешевле. Словом, тенденция очевидна и сомневаться не приходится – глубокое обучение и связанные с ним ИИ-технологии со временем затронут практически все аспекты существования человечества.
Сейчас мы переживаем переломный момент в развитии ИИ. Искусственный интеллект наконец-то покинул башню из слоновой кости и перестал быть исключительно научной концепцией. Дни неспешного прогресса окончились.
За последние пять лет ИИ не только победил чемпионов-людей в го, покер и Dota 24, но и развился настолько, что через четыре часа обучения шахматам его не одолеть никакому гроссмейстеру. Но ИИ, конечно же, хорош не только в играх.
Над загадкой сворачивания белка биологи всего мира бились на протяжении полувека – ИИ разгадал ее в 2020 году. Он превзошел нас в деле распознавания речи и объектов; преподнес нам «цифровых людей» потрясающей реалистичности – как по внешнему виду, так и по умению говорить; умудрился успешно сдать вступительные экзамены в колледж и «получил» медицинскую лицензию.
ИИ решительно обходит судей по справедливости и логичности вынесенных приговоров, врачей-радиологов – в точности диагностики рака легких. ИИ чрезвычайно эффективно используется в беспилотниках, которым суждено изменить будущее доставки товаров, а также сельского хозяйства и военного дела. И наконец, благодаря ИИ автомобили без водителя могут ездить по скоростным трассам – поездки в них безопаснее, чем с шоферами-людьми.
Что же нам сулит дальнейшее развитие ИИ и применение этой замечательной технологии в новых областях?
В книге «Сверхдержавы искусственного интеллекта. Китай, Кремниевая долина и новый мировой порядок»5 я писал о разрастании данных – этой «новой нефти», «топливе», на котором работает искусственный интеллект.
Сегодня революцию в области ИИ возглавляют США и Китай. Соединенные Штаты лидируют в исследованиях, Китай с огромной скоростью использует всё большие массивы данных для практического применения технологий ИИ во всей Поднебесной. В предыдущей книге в 2018 году я прогнозировал новые достижения – от принятия важных решений на основе массивов данных до машинного восприятия6 и автономных роботов самых разнообразных видов и специализаций, в том числе упомянутого выше автономного (беспилотного) транспорта.

Четыре волны применения ИИ-технологий, повлиявшие практически на все отрасли
Я предсказывал, что новые способы применения ИИ-технологий приведут к беспрецедентному росту экономической ценности в цифровой, финансовой и транспортной отраслях и в сфере розничной торговли, однако создадут проблемы, связанные, к примеру, с массовым сокращением рабочих мест. ИИ представляет собой универсальную технологию, поэтому со временем она проникнет практически во все отрасли и области деятельности.
К сегодняшнему дню влияние ИИ на жизнь человечества проявилось четырьмя последовательными волнами: сначала в сфере интернета; затем в бизнесе (область финансовых услуг), далее в сфере восприятия (вспомните о концепции умного города) и, наконец, в автономных приложениях, таких как беспилотные автомобили.
К тому времени, когда вы будете читать эту книгу (в конце 2021 года или даже позже), многие прогнозы из моей предыдущей книги, скорее всего, уже подтвердятся. Так что теперь устремим взор вперед. Я много путешествую, рассказываю об искусственном интеллекте в разных уголках мира, и меня постоянно спрашивают: «А что же дальше? Что будет через пять, десять, двадцать лет? К чему готовиться человечеству?»
Это чрезвычайно важные для текущего исторического момента вопросы. У всех, кто связан со сферой высоких технологий, есть на этот счет собственное мнение. Некоторые убеждены, что мы находимся в эпицентре «пузыря ИИ» – он со временем лопнет или как минимум сдуется.
Сторонники более радикальных и антиутопических теорий, вообще склонные верить во что угодно, полагают: реальна любая идея. Разброс – от «ИИ-гиганты “захватят наш разум” и сформируют новую утопическую расу киборгов-машинолюдей» до «коварный ИИ доведет нас до апокалипсиса». Подобные гипотезы порождены живой и искренней любознательностью или вполне оправданным страхом перед будущим. Однако все они, как правило, спекулятивны или как минимум сильно преувеличивают опасность. И все они совершенно точно не формируют полной картины.
Имеющиеся гипотезы и теории сильно разнятся: ИИ – явление чрезвычайно сложное и малоизученное. Пытаясь понять, что же он такое, люди, как правило, используют три источника – научную фантастику, новостные ленты и «лидеров мнений».
В фантастических книгах и сериалах часто присутствуют роботы, которые вдруг начинают управлять людьми и контролировать их, или как минимум стараются объегорить двуногих; суперинтеллект же зачастую вообще предстает в виде вселенского зла.
Медиа обычно ярко и подробно описывают отдельные негативные примеры: взахлеб рассказывают, как беспилотный автомобиль сбил пешеходов, как технологические компании с помощью ИИ подтасовывают результаты политических выборов, как злодеи используют искусственный интеллект для распространения дезинформации и фейков. Техническому прогрессу как таковому внимания уделяют мало, если только он не приводит к каким-то выдающимся результатам.
Наилучшим вариантом может показаться доверие в данном вопросе лидерам мнений и популярным авторам из соцетей. Однако большинство из них если и являются экспертами, то в какой угодно области – в бизнесе, физике или политике, но только не в ИИ-технологиях. Так что с виду весомым и аргументированным прогнозам на деле нередко недостает научности.
Ситуация усугубляется еще и тем, что журналисты, желая придать своим публикациям веса и убедительности, а заодно привлечь внимание аудитории, частенько цитируют эти «интернет-источники», да еще и вырывают слова автора из контекста.
Словом, удивляться тому, что люди относятся к ИИ настороженно, а то и негативно, не приходится – мнение даже самых думающих и стремящихся быть объективными основано в лучшем случае на полуправде.
Разумеется, многие аспекты дальнейшего развития искусственного интеллекта заслуживают пристального внимания и максимальной осторожности, но чрезвычайно важно уравновесить возможные проблемы пониманием полной картины и великого потенциала ИИ.
Как большинство технологий в мире, искусственный интеллект не является ни добром, ни злом. Как большая часть новых технологий, он в конечном счете окажет на нашу цивилизацию скорее позитивное, чем негативное влияние.
На протяжении всей истории люди поначалу относились к новым технологиям с опаской: всегда казалось, что они нарушат статус-кво и породят хаос. Но сегодня никто не вспоминает, как неоднозначно поначалу воспринималось электричество, мобильные телефоны и интернет – они удобны, это очевидно и сегодня даже не обсуждается. Технологии со временем органично вплетались в ткань жизни, существенно ее улучшали – и страхи рассеивались.
По моему убеждению, уже есть (и еще найдется) немало областей применения ИИ. Также возможно немало сценариев, в которых он имеет шанс существенно улучшить наше общество. Прежде всего это чисто экономическая выгода. По оценкам PricewaterhouseCoopers, к 2030 году она составит 15,7 триллиона долларов – это, конечно же, здорово поможет в борьбе с голодом и бедностью.
Новые эффективные ИИ-сервисы вернут нам самый ценный ресурс – время. Искусственный интеллект возьмет на себя однообразные повседневные задачи, освободив нас для более творческой или сложной работы.
Люди, наконец, начнут работать в симбиозе с ИИ: он станет выполнять количественный анализ, оптимизацию и рутинные задания, а мы, люди, сосредоточимся на креативности, критическом мышлении и страсти. Наша продуктивность резко возрастет, а это позволит человеку полнее реализовывать свой потенциал. Словом, вероятный вклад ИИ в будущий прогресс человечества необходимо исследовать так же глубоко и всесторонне, как и связанные с этой технологией проблемы.
Мы сегодня очутились внутри своего рода петли обратной негативной связи, нам важно понять: а что будет дальше? И я решил написать еще одну книгу об искусственном интеллекте, на этот раз несколько расширив горизонты. Я попытался представить себе и описать будущее нашего мира и общества через 20 лет, то есть в 2041 году.
Моя цель – составить «реальную» потенциальную историю ИИ, откровенную и сбалансированную, но в то же время конструктивную и с надеждами на лучшее. Обратите внимание: эта книга основана на реальном представлении об ИИ – в ней идет речь либо о существующих технологиях, либо о тех, появления и вызревания которых вполне обоснованно ожидать в течение следующих двух десятков лет.
Если еще точнее, истории, вошедшие в эту книгу, рисуют портрет нашего мира в 2041 году. Мир этот будет основан на технологиях, вероятность появления которых к тому времени составляет не менее 80 процентов. Конечно, я могу переоценить или недооценить некоторые из них, но, по-моему, книга представляет собой набор ответственных и максимально вероятных сценариев.
Что же вселяет в меня такую уверенность? Последние сорок лет я занимался исследованиями в области ИИ и разработкой продуктов в Apple, Microsoft и Google и инвестировал в новые технологии три миллиарда долларов. Так что некоторый опыт работы с процессами, необходимыми для превращения технологии из темы для научной статьи в универсальный продукт, у меня имеется. Я также в состоянии приблизительно оценить, сколько времени для этого потребуется.
Будучи советником разных правительств по стратегическим вопросам развития ИИ, я могу делать прогнозы, основанные на знаниях в области политики и нормативно-правовой базы. Я старательно избегаю любых спекулятивных прогнозов относительно фундаментальных технологических прорывов и полагаюсь в основном на экстраполяцию на будущее уже существующих технологий.
На сегодня ИИ проник менее чем в 10 процентов наших отраслей, у нас масса шансов представить себе будущее с учетом применения этой технологии в новых сферах. Я убежден: ИИ окажет на наше общество огромное влияние, даже если серьезных прорывов будет совсем мало, а то и не случится вовсе. Эта книга – мое официальное письменное заявление.
Мне не раз говорили: моя предыдущая книга оказала большое влияние на читателей, она понятна даже тем, кто практически ничего не знает об ИИ. Приступая к работе над новой книгой, я решил рассказать об ИИ еще более понятно и увлекательно, обратившись к помощи хорошего рассказчика. Я связался со своим бывшим коллегой по Google Чэнем Цюфанем.
Уйдя из Google, я основал собственную венчурную компанию, а этот парень сделал нечто еще более авантюрное – стал писателем-фантастом. Его произведения заметили и даже отметили престижными наградами. К моему великому восторгу, Чэнь согласился поработать вместе, объединить свой творческий потенциал с моими оценками того, какими будут технологии через двадцать лет.
И мы решили, что попробуем представить возможности ИИ через два десятка лет и встроим свои обоснованные фантазии в истории – должно получиться нечто весьма увлекательное. Ведь привлечь и увлечь читателя можно не только телепортацией и инопланетянами!
Скажу без ложной скромности: наш подход к работе над этой книгой уникален. Для начала я составил «технологическую карту», отобразив, когда созреет та или иная технология, сколько времени потребуется на сбор данных и итерацию ИИ, насколько легко будет разработать соответствующий продукт в разных отраслях.
Я учел всевозможные внешние факторы: проблемы, регламенты, тормозящие моменты, а также достойные упоминания конфликты и дилеммы, которые могут возникнуть попутно с появлением этих технологий. Затем, отталкиваясь от чисто технарского компонента, Чэнь проявил свой писательский талант во всей красе – придумал персонажей, обстановку и сюжетные линии и воплотил их в своих рассказах.
Каждый эпизод мы постарались сделать максимально увлекательным, технологически точным и провокационным. После каждой истории Чэня вы сможете прочесть ее экспертный анализ – я углубляюсь в описанную в рассказе форму ИИ и детально объясняю ее значение для жизни человека и общества.
Созданные таким образом десять рассказов с послесловиями-анализом охватывают все ключевые аспекты ИИ и выстроены в книге в определенном порядке – от самых простых, базовых технологий к наиболее сложным и продвинутым. Мы надеемся, что отдельные части нашей книги составят что-то вроде уникального и понятного букваря по ИИ.
Мы с Чэнем назвали книгу «ИИ-2041», потому что с момента ее первой публикации7 именно в 2041 году пройдет двадцать лет. Мы выбрали этот год еще и потому, что начертание цифр 41 немного напоминает английскую аббревиатуру AI (artificial intelligence – «искусственный интеллект», ИИ).
Многие читатели наверняка обожают научную фантастику, но я отдаю себе отчет: тех, кто после окончания колледжа ни разу не взял в руки ни романа, ни сборника рассказов, тоже немало. Не беда – если вы из этого лагеря, отнеситесь к нашей книге не как к научной фантастике, а как к «научным фактам в форме беллетристики».
Действие рассказов происходит в разных местах планеты. В некоторых сюжетах вы без труда узнаете мир, который не слишком отличается от вашего собственного, – в них описаны события, основанные на реально существующих традициях и обычаях. В других историях описаны ситуации радикального вмешательства ИИ в человеческую жизнь, не всегда позитивного. Так что и адептам ИИ, и скептикам наша книга подкинет пищи для размышлений.
Создавая научный труд с заметной художественной частью, мы рисковали гораздо сильнее, чем если бы просто написали научно-популярную книгу, – описали настоящее и задали вопросы о будущем. Мы с Цюфанем постарались быть смелыми – мы верим, что наши истории найдут отклик у каждого непредубежденного читателя с фантазий и воображением. Мы надеемся, их окажется достаточно, чтобы заставить задуматься о будущем человечества.
В первых семи рассказах мы описали применение ИИ в различных отраслях и сферах по мере возрастания его технологической сложности, а также социально-этические последствия этого процесса. Последние три истории (плюс глава 6 «Святой возница») больше сконцентрированы на социальных и геополитических проблемах, связанных с ИИ: сокращении и исчезновении традиционных рабочих мест, беспрецедентном изобилии, дальнейшем расслоении общества, гонке автономных вооружений, компромиссе между приватностью и счастьем и стремлении человека к высшей цели.
Человечество ждут большие и глубокие изменения. Люди могут принять их и использовать во благо или во зло, смиренно капитулировать перед ними или вдохновиться и заново обрести себя.
В последних четырех историях мы привели четыре возможных варианта и разных пути развития событий. Мы хотели подчеркнуть: будущее еще не написано.
Мы искренне надеемся: наши истории не только развлекут вас, но и углубят понимание ИИ и проблем, связанных с этой замечательной технологией. Мы также рассчитываем, что представленная в книге дорожная карта на ближайшие два десятилетия поможет вам подготовиться к благоприятным возможностям и эффективному противостоянию вызовам будущего.
Но больше всего нам хочется получить от вас подтверждение, что эти истории придали вам сил. Мы надеемся, вы убедились: люди – хозяева своей судьбы, все зависит от нас и никакая техническая революция этого не изменит.
А теперь – вперед, в 2041 год!
Вступление Чэня Цюфаня. Как нам перестать тревожиться и научиться смотреть в будущее с фантазией?
В лондонском центре искусств «Барбикан» в августе 2019 года я наткнулся на выставку «ИИ: больше чем человек» – и, конечно же, зашел. Увиденное подействовало на меня как освежающая летняя гроза – будто бы даже облегчила дыхание, прочистила чувства и развеяла множество предубеждений и заблуждений в отношении искусственного интеллекта.
Незамысловатое название выставки приятно обмануло – оно и близко не дало представления о реальном разнообразии и богатстве экспозиции. В каждом следующем зале меня поджидали новые чудеса – они охватывали идеи кураторов о том, что же такое ИИ.
В залах посетителей встречали Голем, мифическое существо из еврейского фольклора; миляга Дораэмон, герой японских аниме; инсталляции, посвященные экспериментам Чарльза Бэббиджа, праотца информатики; AlphaGo, компьютерная программа, бросившая вызов фундаментальному человеческому интеллекту; подборка экспонатов, посвященная анализу гендерной предвзятости в компьютерных программах для распознавания лиц, на которое обратила внимание Джой Буоламвини; масштабные произведения интерактивного цифрового искусства TeamLab8, проникнутые синтоистской философией и эстетикой. Выставка оказалась великолепным, расширяющим сознание напоминанием о великой силе междисциплинарного мышления.
Закон Амары гласит: «Люди склонны переоценивать эффект технологии в краткосрочной перспективе и недооценивать – в долгосрочной». Большинство и правда представляет себе ИИ максимально узко: робот-убийца из «Терминатора»; недоделанные алгоритмы, которым никогда не сравниться в творческом остроумии с человеком, но которые угрожают его существованию; многочисленные бездушные технологии обмениваются эмоциями и исследуют возможности жизни, не имея ни малейшего понятия о том, как их воспринимают люди.
Как показывают разнообразные легенды и мифы (от древнекитайского ремесленника Янь Ши, создавшего гуманоидных роботов, до бронзового витязя, человекообразного великана-робота Талоса из греческой мифологии), тема искусственного интеллекта занимает людей на протяжении всей мировой истории. Началось это задолго до того, как возникла информатика как область знаний, а в наш лексикон вошла аббревиатура ИИ.
С течением времени непреодолимая сила ИИ произвела революцию во всех измерениях человеческой цивилизации, и это, поверьте, только начало.
Надо сказать, научная фантастика, дело моей жизни, играет в исследовании парадигмы «человек-машина» довольно деликатную роль. Роман «Франкенштейн»9 (его часто называют первым современным научно-фантастическим произведением) посвящен до сих пор актуальным вопросам: способен ли человек с помощью технологий создавать разумную жизнь, отличную от существующих на текущий момент форм? И если да, то как выглядят взаимоотношения между создателем и его творением? А ведь архетип безумного ученого, навязывающего миру страшный плод своих трудов, был представлен в шедевре Мэри Шелли два века назад!
Научную фантастику зачастую обвиняют в том, что она формирует у читателей узкий негативный взгляд, но это лишь часть реальной истории. Фантастика и вправду может оказаться предостережением, однако умозрительное, гипотетическое повествование обладает уникальной способностью преодолевать пространственно-временные ограничения, соединять технологии с гуманитарными науками, стирать границы между вымыслом и реальностью, пробуждать в читателе сочувствие и стимулировать более глубокие раздумья. Историк и автор бестселлеров Юваль Ной Харари назвал научную фантастику «важнейшим художественным жанром» нашего времени – это очень высокая планка, и ей нужно соответствовать.
Мы, писатели-фантасты, должны создавать истории, проявляющие неочевидную правду о нашей сегодняшней реальности. Но нам также важно обозначать еще более смелые и даже фантастические перспективы и возможности. Такова наша главная задача.
Когда бывший коллега из Google Кай-Фу Ли предложил мне присоединиться к его работе над уникальным книжным проектом, сочетающим научную фантастику с анализом перспективных концептуальных идей в области технологий, я пришел в восторг. Я знаю Кай-Фу как проницательного пионера, мирового лидера и инвестора, создателя трендов. Но он, кроме того, еще и творческий и непредубежденный пророк технологий грядущего. Его идеи о карьерном росте повлияли на целое поколение, а теперь он нацелился на будущее.
Вооружившись глубочайшим пониманием сути передовых исследований и способов их применения, Кай-Фу предложил описать, как в ближайшие двадцать лет ИИ может изменить человеческое общество в самых разных областях: от медицины и образования до индустрии развлечений, сферы занятости и финансов. Идея показалась мне интересной и амбициозной. Но тут следует упомянуть и некое магическое совпадение.
Несколько лет назад я предложил и развил в своих произведениях концепцию научно-фантастического реализма. Научная фантастика формирует творческое пространство, где эскапист может скрыться от унылой повседневной жизни, примерить на себя роль супергероя и исследовать далекие-предалекие галактики.
Но для меня главная ценность и увлекательность фантастики состоит еще и в драгоценной возможности отступить на время от повседневности, критически ее осмыслить. Более того, вглядываясь в будущее через призму научной фантастики, мы получаем шанс вмешаться, внести изменения в развитие событий и активно повлиять на реальность.
Чтобы создать будущее, нужно сначала представить его себе – живо и в деталях.
Главным движителем моего воображения в детстве стала классика научной фантастики – «Звездные войны», «Звездный путь» и «Космическая одиссея 2001 года»10, с десяти лет они были моим порталом в неизведанные миры. Я убежден: прежде чем начинать писать, чрезвычайно важно определиться с жанром истории и с ее более широким социальным контекстом.
Как человек, глубоко увлеченный и даже одержимый научной фантастикой, я испытываю священный трепет перед шириной спектра этого жанра. В нем есть место практически любой теме или литературному стилю.
До того как начать зарабатывать на жизнь писательством, я трудился в сфере высоких технологий. Многие считают, что инженеры и компьютерщики мало интересуются беллетристикой – их мозг будто бы изначально заточен под науку, а не под художественную литературу. Однако за более чем десять лет в этой сфере я встретил множество технарей – великих поклонников научной фантастики, которые этого совершенно не стеснялись.
Их увлечение иногда проявлялось в названиях конференц-залов или переговорных вроде «Энтерпрайз» (отсылка к «Звездному пути») или «Нейромант»11, но породить такие проекты, как Google X или Hyperloop12, способны только могучие и незашоренные умы. Современные подводные лодки и лазерные пушки, мобильные телефоны и продукт генной инженерии – локусы бактерий CRISPR… Ученые честно признают, что на создание всего этого их вдохновила художественная литература. Так что наш мир действительно формируют фантазия и воображение.
Я сразу решил, что эта книга должна бросить вызов стереотипам пессимизма и антиутопичности литературы об ИИ, в которой технологическое будущее изображают на редкость безрадостным и мрачным. Мы с Кай-Фу постарались, не игнорируя недостатков и негативных нюансов ИИ, описать будущее, в котором основанные на искусственном интеллекте технологии позитивно влияют на людей и общество в целом.
Мы попытались представить будущее, в котором нам самим хотелось бы жить, и помочь его сформировать. Мы описали будущее, в котором последующие поколения смогут пользоваться великими преимуществами технического прогресса, будут привносить в этот мир еще большие достижения и смысл, станут жить долго и счастливо.
Создавать воображаемую картину будущего, нашей мечты, не всегда было легко. Мы стремились погрузиться в новейшие исследования ИИ, а затем с помощью науки и логики максимально реалистично спрогнозировать, каким будет ИИ через двадцать лет.
Кай-Фу и наша команда часами изучали свежие отчеты по исследованиям, беседовали с экспертами и мыслителями, связанными с ИИ-индустрией; мы приняли участие в семинаре по ИИ, организованном Всемирным экономическим форумом, посещали ведущие технологические компании, специализирующиеся на ИИ. Словом, мы хотели убедиться, что всесторонне и досконально понимаем технологические и философские основы искусственного интеллекта.
Перед нами был и еще один сложный вызов – представить себе будущее человечества. Ведь мы вознамерились рассказать, как люди из разных культур и отраслей, с разными идентичностями отреагируют на шок от развития ИИ. Психологические нюансы требуют большего, чем логика и рационализация. Чтобы создать как можно более полный эмоциональный портрет персонажей, мы обратились к истории и стали черпать вдохновение из радикально изменивших мир событий прошлого.
Мы понимали: надо максимально полно донести до читателей свое видение и свои чувства, стимулировать их воображение и способность осмысливать альтернативные условия человеческого существования. Поэтому наши истории должны вызывать эмоции, прежде всего сострадание. Для этого в каждую главу включен комментарий-анализ от Кай-Фу – он скрепляет парящего в эмпиреях воздушного змея фантазии с четкой и постижимой реальностью.
После месяцев интенсивной работы и многочисленных правок мы отобрали десять порталов, которые перенесут вас во время и пространство 2041 года. Мы надеемся, что вы отправитесь в это путешествие с любопытством, непредвзятостью и – непременно – с открытым сердцем.
И наконец, последнее: величайшая ценность научной фантастики не в том, чтобы давать ответы, а в том, чтобы задавать вопросы. Мы искренне надеемся: вы перевернете последнюю страницу, и в вашей голове продолжит крутиться множество вопросов.
Поможет ли ИИ людям предотвратить следующую пандемию, не позволив ей развиться? Как нам справиться с неминуемыми проблемами в сфере занятости населения? Как поддерживать культурное разнообразие в мире, если в нем доминируют машины? Как научить детей жить в обществе, где люди сосуществуют с роботами?
Мы рассчитываем, что ваши вопросы помогут нам всем продвинуться по пути построения более счастливого и светлого будущего.
Добро пожаловать в 2041 год!
Глава 1. Золотой слон
Лучше свой долг, бесталанно исполненный,
чем чужой, соблюденный превосходно.
«Бхагавадгита» (Песнь Божья, или Священное писание на хинди), глава 3, стих 35
РАССКАЗ ПЕРЕВЕДЕН БЛЭЙКОМ СТОУН-БЭНКСОМ13
Примечание Кай-Фу: Наш первый рассказ переносит читателя в Мумбаи. Семейство индийцев подписалось на программу страхования с поддержкой глубокого обучения, призванную через специальные приложения всячески улучшить жизнь застрахованных. Однако дочка-подросток вдруг понимает, что инструкции и рекомендации, данные искусственным интеллектом, нарушают ее личную жизнь и мешают найти любовь. Рассказ «Золотой слон» знакомит читателя с базовыми основами ИИ и глубокого обучения, помогает разобраться в их главных преимуществах и недостатках. В частности, в рассказе наглядно показано, что ИИ может зацикливаться на улучшении определенных аспектов, создавая при этом негативные эффекты. А еще это история о рисках, возникающих, когда в одной компании накапливается очень много сведений о ее пользователях. В анализе-комментарии в конце главы я рассмотрю эти вопросы, расскажу краткую историю ИИ и объясню, почему сегодня эта технология одних людей восхищает, а у других вызывает недоверие и опасения.
Телевизор в квартире в Мумбаи показывал пляж Чаупати. В волнах прибоя мерно, будто бы под саундтрек индийской лютни-ситара, покачивалась огромная статуя Ганеша, бога мудрости и благополучия с головой слона. С каждой откатывающейся волной божество опускалось все ниже, погружалось в воду, пока наконец полностью не скрылось в Аравийском море.
Статуя словно бы растворилась в пучине, превратилась в золотисто-багровую пену. Соленые брызги благословенно окропляли верующих, всю толпу, собравшуюся на пляже Чаупати для Ганеш-висаржана, ритуала погружения Ганеша в воду. Таков традиционный финал фестиваля Чатуртхи.
Счастливые бабушка и дедушка десятиклассницы Наяны хлопали перед экраном в ладоши и подпевали телевизору. На восьмилетнего Рохана, младшего в семье, никто не обращал внимания. Он под шумок запихнул в рот пригоршню чипсов из маниоки и запил их огромным глотком диетической колы.
Врач настоятельно рекомендовал ограничить мальчику потребление жирного и сладкого. Парнишка, дорвавшись до запретных лакомств, от удовольствия и возбуждения мотал головой, и крошки изо рта разлетались по всей комнате. Папа Санджай и мама Рия готовили праздничный ужин, гремя кастрюлями и напевая, словно персонажи болливудского фильма – веселые звуки и невероятные запахи разносились из кухни по всей квартире.
Наяна изо всех сил старалась отключиться от происходящего и сосредоточиться на смартстриме. На него только что наконец установилось приложение FateLeaf – «Лист судьбы». В последнее время в школе только о нем и говорили. Благодаря оцифрованной дальновидности величайших индийских прорицателей древности программа теперь способна ответить практически на любой вопрос пользователя.
В рекламной аннотации к приложению говорилось, что создатели FateLeaf вдохновлялись при его разработке учением почитаемого индуистского мудреца Агастья. Наяна помнила, что он тысячи лет назад описал на санскрите прошлое, настоящее и будущее всех-всех людей во всем мире. Пальмовые листья с пророчествами Агастья назвали «Астрологией Наади».
Прорицателю, гадающему на листьях Наади, надо предоставить отпечаток большого пальца и назвать дату рождения – и вся история твоей жизни немедленно считается с соответствующего листа. Так, по крайней мере, утверждает легенда. Есть, правда, одна загвоздка – за тысячи лет многие листья пропали: зверства колонизаторов, войны, неумолимое время…
Но одна компания еще в 2025 году отыскала все сохранившиеся листья Наади, специалисты-виртуозы сумели прочесть и сохранить информацию, а некоторые записи даже восстановить по сохранившимся фрагментам. Для глубокого обучения, автоматического перевода, анализа и реконструкции древней мудрости применили искусственный интеллект. Так возник «архив листьев Наади», теперь размещенный в облаке, – по одному виртуальному листу на каждого из 8,7 миллиарда человек, живущих на Земле.
Вся эта замшелая история Наяну не особо интересовала, у нее было дело поважнее. Реклама обещала, что через FateLeaf можно использовать всю мудрость своего листа Наади и получить ответы на любые вопросы.
Все взрослые были заняты, самозабвенно смотрели Ганеш-висаржану и готовили праздничный стол; младший брат увлекся чипсами и тоже ничего вокруг не замечал. До девушки никому не было дела, поэтому она поскорее набрала в FateLeaf: «Я нравлюсь Сахеджу?» На экране немедленно выскочило уведомление: ответ будет стоить 200 рупий. Наяна согласно кивнула и кликнула «Отправить».
Наяна обратила внимание на Сахеджа сразу, как только его смартстрим впервые подключился к их виртуальному классу. Новичок не использовал ни фильтров, ни фона расширенной реальности – это было необычно и показалось любопытным. На стене, которую было видно за фигурой нового одноклассника, Наяна увидела ряды красочных масок – как скоро выяснилось, парень сделал их сам, вырезал из дерева и раскрасил.
Маски сразу заметил и учитель. В первый день нового семестра Сахедж, немного стесняясь, но с явным удовольствием провел для одноклассников экскурсию – всё показал и рассказал. В его достаточно традиционных по стилю, но все же очень необычных масках образы индийских богов и духов сочетаются с силой супергероев.
Одноклассницы Наяны не уставали сплетничать о Сахедже в ShareChat14, в чате «Для своих». Поводов для этого было предостаточно. Комната нового одноклассника действительно была оформлена очень необычно, а фамилия Сахеджа отсутствовала в школьных регистрационных записях. Девчонки после активного обсуждения решили, что он входит в «группу риска» – по распоряжению правительства к ней относилось не менее 15 процентов учащихся.
Таким детям гарантированы места в частных школах по всей Индии; им оплачивают обучение, учебники и школьную форму. Термины «15 процентов» и «группа риска» были, по сути, эвфемизмами для обозначения далитов – «неприкасаемых».
Наяна любила смотреть в интернете документальные фильмы, поэтому знала о старой кастовой системе Индии и ее глубоких индуистских религиозных и культурных корнях. Когда-то именно каста, к которой принадлежали родители новорожденного, уже в момент появления на свет и на всю жизнь определяла его будущую профессию, возможное образование, супругу или супруга. На нижней ступени этой системы и стояли далиты – «неприкасаемые».
Многие поколения далитов выполняли самую грязную работу: чистили канализацию, обрабатывали и утилизировали трупы животных, дубили кожу.
После обретения Индией независимости и вступления в силу Конституции – с 1950 года – под запрет попала любая кастовая дискриминация. Но фактически еще много лет существовали зоны, где далиты имели право пить, есть, жить и даже хоронить своих умерших – территории «неприкасаемых» были четко отделены от мест для представителей более высоких каст. Последние (дабы не оскверниться) часто отказывались находиться в одном помещении с далитами – соучениками или коллегами. Правда, обычно не объясняли почему.
Правительство Индии пыталось исправить эту несправедливость, для далитов установили 15-процентную квоту в государственных учреждениях и любых учебных заведениях. Казалось бы, намерения были исключительно благие, но эти решения вызвали массу споров и даже спровоцировали насилие.
Родители детей из высших каст жаловались: далитов зачисляют в школу по квоте, а не по успеваемости; остальным детям приходится расплачиваться за грехи предыдущих поколений – Индия просто заместила одну форму несправедливости и неравенства другой.
Но, несмотря на отдельные очаги негативной реакции, усилия индийского правительства принесли плоды. 200 миллионов потомков далитов интегрировались в мейнстримное общество, и теперь распознать их прошлую идентичность с первого взгляда было намного труднее.
Девчонки в ShareChat продолжали сплетничать об однокласснике-новичке; они обсуждали происхождение Сахеджа и бесконечно решали, стали бы они с ним встречаться или нет.
«Вот снобы!» – фыркала про себя Наяна, читая чат.
Сама Наяна сразу разглядела в Сахедже родственную душу. Девушке нравились работы Бхарти Кхер15, Наяна и сама мечтала творить в стиле перформанс, но ей часто приходилось оправдываться, что это не имеет ничего общего с легковесной попсой.
Наяна считала, что настоящий художник должен быть верен себе и никогда не меняться в угоду чужой точке зрения. Так что если ей понравился Сахедж, то он ей понравился – а его происхождение, место жительства или даже его хинди с заметным тамильским акцентом не имеет никакого значения.
Ответа от FateLeaf, казалось, не было целую вечность. Наконец на экране всплыло уведомление с иконкой-пиктограммой в виде пальмового листа: «Нам очень жаль! Из-за недостатка предоставленных вами данных FateLeaf в настоящее время не может ответить на ваш запрос». Из динамика донесся звон монет – вернулась оплата за непредоставленную услугу.
«Тоже мне! Данных им недостаточно!» – и Наяна тихонько ругнулась.
Раздраженная и рассерженная, девушка отлипла от экрана. Мама Рия заканчивала накрывать на стол, приближалось время праздничного ужина, но что-то явно было не так. Среди традиционных индийских изысков на столе стояло несколько супердорогих блюд из китайского ресторана, продававшихся навынос. Такие угощения были в их доме большой редкостью, прижимистый отец подобных трат не одобрял.
Кроме расширенного меню обнаружилась и еще одна странность: на Рии было любимое шелковое сари в стиле парси, красивая – явно из салона – прическа и полный комплект украшений. Дедушка и бабушка тоже выглядели не как обычно – более счастливыми, что ли. И даже назойливый пухляш Рохан не приставал к сестре с дурацкими вопросами!
Объяснить все странности только праздником Ганеш Чатуртхи было невозможно.
– Та-а-ак, – протянула Наяна, отметив заодно и новую скатерть, – кто-нибудь объяснит мне, что тут происходит?
– Ты о чем? – мама отреагировала мгновенно, но как будто не поняла настроения дочери.
– Мне одной кажется, будто что-то не как всегда?
Взрослые переглянулись и засмеялись.
– А ну-ка, что ты заметила? – предложила игру в угадайку Рия.
– Вы что-то скрываете? – У Наяны ум уже заходил за разум – за свою жизнь она не видела дома ничего подобного.
– Давайте-ка садиться, поедим сначала, – бабушка попыталась перехватить инициативу и начала поправлять на блюде лепешки-наан.
– Погодите, – не сдалась Наяна, – я угадаю. Папа получил повышение? Мы выиграли в лотерею? Правительство снизило налоги?
С каждым высказанным предположением улыбка на лице отца становилась все шире, и каждый раз он мотал головой – не-а, не угадала.
– Прекрасные гипотезы, – он уже от души хохотал. – Нет, это все мама…
Наяна развернулась:
– Ну и куда ты влипла на этот раз?!
– Эй, не забывайся! – повысила голос Рия. – С матерью разговариваешь!
– Ну да, и что? Это же не меня вечно надувают, и не я ноги стаптываю, чтобы все купить подешевле… – Наяна по инерции огрызнулась, но тон сбавила.
– Так что ты сделала-то?
– Купила страховку Ganesh Insurance! У них была потрясающая распродажа к празднику, впервые в истории – 50 процентов скидки! Все соседи купили, а они экономят еще больше, чем мы! – Мама Рия лопалась от гордости из-за своей рачительности и удачливости.
Папа зааплодировал, бабушка с дедушкой присоединились. Наяна перебила овацию.
– А разве мы всегда страховались не в Life Insurance Corporation of India16?
– Ну да, именно в ней, но их полиса вечно хватало впритык. Не дай бог что-нибудь случится с бабушкой и дедушкой – что будем делать? Вы, кстати, учитесь в частной школе, ты, кажется, собираешься в Университет Раи на факультет фэшн-технологий и перформанс-арта. А он, между прочим, частный, и учеба в нем намного дороже, чем в государственных университетах. Сама знаешь – экономим на чем только возможно.
– То есть опять я виновата?! – Наяна окрысилась скорее по привычке – папа не сказал ничего нового и, конечно, был прав.
– Прежде чем строить планы, нужно рассмотреть, что у тебя под носом, – философски заметил дедушка.
– Ну ладно, ты все равно уже заплатила. И что нам даст новая страховка? – Наяна попыталась взять себя в руки и вникнуть в детали ожидавших семью перемен.
– Мне все подробно рассказала миссис Шах, ты ее знаешь, она из соседнего дома, – Рия завела подробное повествование.
– Платформа Ganesh Insurance использует искусственный интеллект для корректировки страхового плана в соответствии с конкретными потребностями застрахованной семьи. – Кажется, это был текст из проспекта страховой компании. Впрочем, возможно, рекламу цитировала мамина знакомая, а Рия все просто дословно запомнила.
– К тому же страховку продают по очень выгодной цене. – Мама, наконец, добралась до сути. – Кстати, Ganesh Insurance – это пакет мобильных приложений. Одно рассчитывает страховые взносы и принимает их оплату, другое – для инвестиций. Но больше всего мне нравится вот это, для покупок. И еще одно, которое показывает все выгодные предложения в нашем районе. Заметила прическу? – Рия, красуясь, покрутила головой. – В дорогущем салоне, между прочим, делала, а заплатила всего четыреста рупий – а все приложение Cheapon!
Рохан, воспользовавшись моментом, попытался стянуть из вазочки конфету. Но Наяна хлопнула его по руке, а он понял, что его застукали, и показал сестре язык.
Наяна вернулась к общему разговору – он сейчас был серьезнее диеты брата.
– Очень похоже на очередную рекламную замануху. И зачем страховой компании сообщать тебе, где делать прическу?
Мама замялась.
– И откуда эти страховщики так много знают о нашей семье?! – Наяна не стала дожидаться ответа.
Мама явно тянула с ответом – отвечать ей почему-то не слишком хотелось. Пауза затягивалась. Все ждали. И Рии пришлось признаться.
– Мы разрешили искусственному интеллекту доступ к каналам передачи данных каждого члена семьи – таковы условия страховки, по-другому нельзя.
Глаза Наяны стали похожи на две медные тарелки, из них прямо рвался вопль: «Что?!» – но звук не шел.
– Нет-нет, – Рия уже начала как будто оправдываться, – все строго конфиденциально, страховая компания может использовать данные, только если мы дадим разрешение.
– Да какое ты имела право открывать доступ к моему каналу передачи данных какой-то страховой компании?! – Наяна перешла на крик, и от возмущения голос ее сорвался.
– Не смей так разговаривать с матерью! – подал наконец голос отец. – Не забывай, ты несовершеннолетняя, мы – твои родители, имеем полное право принимать решения, в том числе и о твоих персональных данных.
Наяна побагровела от унижения – она не привыкла к столь резким отповедям, тем более от отца. Швырнула нож и вилку – они громко звякнули о тарелку, бросилась в свою комнату, грохнула дверью, упала на кровать, натянула на голову одеяло и замерла, глотая слезы. «Наверно где-то на листе Наади, – думала Наяна с горечью, – написано, что сегодня – наихудший день моей жизни».
Холодная война между Наяной и мамой Рией длилась с неделю. Спустя несколько дней после так неожиданно сорвавшегося праздничного ужина смартстрим Наяны вдруг засыпало необычными уведомлениями:
Сегодня ожидается дождь, не забудьте зонт.
Сезон простуд начался! Обязательно надевайте маску!
На вашем маршруте произошло ДТП; чтобы избежать затора…
Поначалу Наяна скептически усмехалась, но уведомления просматривала – нельзя же узнать, кто стучится в смартстрим, не посмотрев на экран.
Потом девушка обнаружила, что даже увидев странное сообщение от анонимного отправителя, она все равно его внимательно прочитывает – утешила себя тем, что время от времени информация действительно оказывается полезной. Ее всегда интересовали распродажи в магазине одежды или скидки в любимом кафе.
Однако воспользоваться акциями, как оказалось, можно только через приложение Cheapon Deals («Выгодные предложения») и несколько других, предложенных Ganesh Insurance под брендом «Золотой слон». Пришлось их скачать. Ну и, конечно, разрешить им доступ к своим данным.
Наяна проделала все после некоторого размышления. Однако ощущение, что «золотой слоник» давно присутствует в ее смартстриме, не проходило. Мама дала страховой компании доступ к ее гаджету? А что, не исключено.
В более чем 60 процентах индийских домохозяйств все девайсы в семье контролируют женщины-хозяйки (как мама Рия), а все персональные данные привязаны к уникальному национальному идентификационному коду Aadhaar17. Он есть у каждого из 1,4 миллиарда жителей страны, его присваивает Агентство Индии по уникальной идентификации.
В течение 20 лет с момента внедрения этой системы в 2009 году правительство собрало огромную базу данных. О гражданах известно очень многое: есть их отпечатки пальцев, цифровые подписи с использованием сетчатки глаза, генетические истории, информация о семье, роде занятий, кредитном рейтинге, история покупок жилья и налоговые отчеты. И вот теперь Ganesh Insurance с согласия клиентов могла использовать этот богатейший массив данных для персонификации услуг.
Конечно, существуют некоторые ограничения. Чтобы воспользоваться данными из соцсетей, надо авторизоваться, а использовать данные несовершеннолетних можно только с согласия их официальных представителей или опекунов.
Наяна еще немного подумала и пошла на компромисс – решила пользоваться сервисами GI, но быть при этом максимально бдительной. На уроках компьютерной грамотности в школе проходили (Наяна неплохо училась и многое помнила), что «продать» или «сдать» тебя может каждый клик в интернете. И прежде чем в очередной раз нажать кнопку «принимаю» либо «спасибо, мне нужно больше времени, чтобы это обдумать», девушка тщательно изучала все написанное мелким шрифтом. И нередко выбирала второй вариант. Но, несмотря на разумное и осознанное поведение, поток уведомлений от GI о привлекательных скидках и наилучших способах разрешения насущных проблем заметно возрастал.
Например, как бы привлечь внимание Сахеджа.
Он и вправду был симпатичным и очень милым парнем с огромными добрыми глазами. Сахедж старался понравиться новым одноклассникам, он подарил каждому маленькую голову какого-нибудь животного, которую сам вырезал из дерева. Но во время виртуальной учебы нередко нарушалась связь, и вместо милого лица Сахеджа Наяна видела на экране только размытый силуэт, а его голос в наушниках «квакал».
Но после личной встречи с Сахеджем в один из учебных дней офлайн Наяна обнаружила, что сдерживать чувства к парню стало совсем трудно.
Девушка постоянно искала предлог для общения с Сахеджем, использовала каждую возможность, но он почему-то упорно держал дистанцию.
Я ему не нравлюсь? Или тут что-то другое?
А может, застенчивость Сахеджа – из-за его «низкого» происхождения?
Наяна в очередной раз обдумывала эту самую важную свою мысль, когда на экране смартстрима появились маленькие золотые слоники – пришло уведомление от MAGIComb, приложения GI, дающего советы по стилю жизни, в том числе и «как стать более привлекательной для парней». Наяна, конечно, догадывалась: ИИ использует данные о ее интернет-запросах и покупках – иначе как бы он понял, о чем она думает. Но подобные рекомендации беспокоили ее совсем по другой причине.
Почему женщина вообще должна меняться, желая понравиться мужчине? Почему бы женщинам просто не демонстрировать мужчинам себя настоящих и не решать вместе, подходят ли они друг другу?
Наяна все еще здорово злилась на маму, но нашла в себе силы расспросить ее о странных посланиях от «волшебного» приложения.
Рия вертелась перед зеркалом в новой длинной юбке. Она себе явно нравилась и, пребывая в отличном настроении, обратилась к дочке:
– Вот глупышка, машины учатся только тому, чему их обучают люди. А ты к чему это? Ты влюбилась!
– Вовсе нет, – замялась Наяна.
– Не хочешь – не говори, но от искусственного интеллекта не скроешься, – пошутила Рия. – Тебе точно не нужна помощь? Поверь, твоя мать кое-что понимает в мужчинах.
– Как узнать, что мальчик думает обо мне на самом деле? – решилась Наяна. – Я ставлю ему лайки, а он не реагирует.
– Ага-а, значит, кто-то все-таки есть! Ну, одними лайками тут не обойтись. Дай GI доступ к учетной записи в ShareChat – их рекомендации станут еще лучше. Страховой взнос нашей семьи, кстати, от этого тоже чуток уменьшится.
Наяна хотела услышать совсем не это. Она разочарованно помотала головой и вышла из комнаты.
Всего несколько недель назад, когда FateLeaf не смогла ответить на запрос Наяны из-за недостаточности предоставленных данных, Рия не позволила дочери открыть доступ к учетным записям других членов семьи. И Наяна осталась без гадания. А теперь мать и дочь поменялись местами. Но, с другой стороны, сейчас вопрос серьезнее – речь идет о семейном бюджете.
Однако дело было не только в обиде и разочаровании. Наяна считала, что «золотой слоник» уже основательно промыл мозги всем ее родным. Все только и думали, как бы еще изменить свое поведение, чтобы уменьшить страховые взносы. Наяне казалось: когда в игру вступают деньги, человеческий мозг переходит в режим автопилота. Чтобы получить бонус или избежать штрафа, идут на все, действуя при этом на автомате.
Нет, ну какие-то плюсы у GI, конечно же, имеются. Бабушке и дедушке «золотой слоник» напоминает, что пора принять лекарство и записаться к врачу. Отец Наяны, который вообще никогда никого не слушал, неожиданно бросил курить – «слоник» ежедневно пенял ему за эту скверную привычку. Дальше – больше: папа заменил свой любимый крепкий анисовый арак более здоровым красным сухим вином.
Он даже начал намного осторожнее водить автомобиль! Следуя советам приложения, он больше не метался по полосам забитых улиц Мумбаи, словно безработный гонщик. GI не просто подсказывала, она его материально стимулировала – изменив поведение за рулем, папа уменьшил свои взносы по страховке автомобиля, здоровья и жизни.
Родители ладно – что взять со взрослых! Наяна была уверена, что уж кто-кто, а ее младший брат Рохан точно устоит перед натиском GI. В конце концов, жир и сахар вызывают зависимость, особенно у детей, совсем не умеющих себя контролировать. Однако и с Роханом «золотой слоник» преуспел.
Восьмилетнему ребенку, конечно, не было дела до прелести уменьшенных страховых взносов или отложенного вознаграждения, но рядом с Роханом почти все время был кто-то из старших, а уж они-то прекрасно видели: запрещенное лакомство в руке мальчика – это угроза для общего банковского счета. И всё – больше никто и никогда не потакал слабостям сладкоежки Рохана.
Изменения в жизни произошли стремительно, они, естественно, имели смысл и не только помогали экономить средства семьи. Все страховые компании стремятся к тому, чтобы их клиенты жили долго и были здоровы – это приносит страховщикам большую прибыль.
Но Наяна никак не могла решить, как поступить ей самой. Действительно ли стоит открыть «слонику» доступ к своим данным в ShareChat?
Не менее трудным был и вопрос о Сахедже. Наяне он подарил расписанную красивыми узорами голову ворона – одноклассникам достались другие животные или птицы. Может, это было тайное послание, может, так Сахедж хотел что-то сказать Наяне? Десятиклассница голову сломала, пытаясь найти в подарке скрытый смысл.
Разве ворон – не символ невезения? Или он хотел сказать, что я болтливая и надоедливая? Может, я слишком на него наезжаю? Что же он имел в виду?
Наяна уже совершенно измучилась. Она бы, конечно, обратилась к онлайн-прорицательнице FateLeaf, но мама ведь не разрешила дать этому приложению доступ к данным членов семьи. «А что же MAGIComb?» – вдруг осенило девушку. Вконец изведясь от неразделенной любви к однокласснику, она решила-таки обратиться к всемогущему алгоритму.
Однако «золотой слон» описал Наяне совсем не то будущее, о котором она грезила.
Тут что-то явно не то.
В школе постоянно твердили: предоставить мобильному приложению доступ к своим данным в соцсети – практически распахнуть дверь в спальню. GI, конечно, гарантировала, что все данные передаются искусственному интеллекту для федеративного обучения – сама технология обеспечивает анонимность, третья сторона никогда не сможет наложить на них лапу или засунуть в них нос. Но ведь наружу окажется вывернутой вся личная жизнь! Эта ситуация немного напоминала Наяне анекдот – когда фермер за неделю до Дня благодарения говорит индейке: «Поверь, ты тут в полной безопасности».
Что бы Наяна ни делала теперь в ShareChat – просматривала страницы, болтала с подружками, ставила лайки или просто выбирала смайлики, – она думала только о том, как ее выбор повлияет на страховые взносы ее семейства. Система страшно раздражала и казалась нелепой.
«Но, возможно, еще нелепее ожидать, что этот ИИ устроит мое счастье», – размышляла Наяна.
Сахедж почти ничего не выкладывал и не писал в ShareChat. Он вообще напоминал человека из давно минувшей эпохи, не поспевающего за технологиями. Иногда он, правда, репостил новости, цитаты, которые показались ему интересными, или давно протухшие мемы. Но в сети он появлялся спонтанно и был непредсказуем. Наяне вообще казалось, что именно так ведут себя фейковые зомби-аккаунты.
Что, скажите, существенного может узнать искусственный интеллект о Сахедже из его скучного и скудного аккаунта? Как он поможет Наяне сблизиться с одноклассником? Другое дело – она сама: понять намерения девушки проще простого, достаточно учесть частоту и постоянство ее кликов. Для ИИ подобные вещи – вопрос чистой математики, а не человеческой любви.
Наяне казалось: как только дело касается Сахеджа, GI принимается вести себя как-то подозрительно. Как только она обновляла страницу Сахеджа или ставила ему лайк, от GI прилетало какое-нибудь чудное уведомление – будто бы программа пыталась переключить ее внимание.
Стоило девушке запросить «как найти повод для разговора с парнем», поискать в интернете «подарок парню» или даже выбрать кафе для совместной «чашечки кофе», маленький анимированный золотой слоник выскакивал на экран и тащил с собой совершенно нелепую рекомендацию или загружал явно ошибочную страницу.
Объяснение странностям было единственное: «золотой слоник» вообще не хотел, чтобы они с Сахеджем сближались, поэтому активно действовал против нее.
Интересно, этот «слоник» со всеми такой, или только со мной? Может, я слишком молодая? Но разве найти свою половинку и выйти замуж – это не хорошо? Разве нам не говорят в школе, что население нашей страны в 1,4 миллиарда человек – наша сила, что наша способность к репродукции сделает нас непобедимыми, сильнее всех в мире? В чем же проблема?
Наяна ломала голову. И не заметила, что в дверях стоит мама.
– Признавайся, юная леди, что ты наделала? Наш страховой взнос просто зашкаливает!
– Я?! Наделала?! – Наяна не знала, что ответить. «Золотой слоник» явно решил перевернуть вверх дном ее жизнь.
– Немедленно отвечай, или отберу смартстрим!
– Нет, ты не можешь!
– Извини, могу. И именно это я собираюсь…
Но прежде чем по-боевому настроенная Рия договорила, Наяна вихрем пролетела мимо, едва не снесла мать в узком дверном проеме и молнией выскочила на улицу.
Наяна бежала, пока не поняла, что не узнает местности. Но смартстрим был накрепко зажат в ладони. Наяна остановилась, отдышалась и огляделась – слава богу! Она узнала рельефные скульптуры здания компании New India Assurance18. Уф, район Форт! Заходящее солнце освещало знакомую великолепную лепку на выветренном фасаде – фигуры фермеров, гончаров, прядильщиков и носильщиков. Наяна рассудила, что настал идеальный момент, чтобы позвонить Сахеджу – пусть даже это приведет к очередному скачку страхового взноса ее семьи.
Но поверх аватарки одноклассника на экране смартстрима немедленно появилось уведомление GI. Взнос вырос на 0,73 рупии! Сахедж не отвечал, Наяна уже собиралась сбросить вызов, но вдруг сработало подключение к видеопотоку. В практически полной темноте были едва различимы контуры лица и сияли белые зубы – Сахедж улыбался.
– Сахедж? Это ты? – Наяна оробела.
– Ну да, я. Ты, что ли, Наяна?
– Я боялась, ты уже не ответишь.
– М-м-м… тут некоторые проблемки. Я сейчас не могу долго говорить. Но ужасно рад, что ты позвонила!
– Тогда давай встретимся. – Сердце Наяны замерло от счастья. – Слушай, я сейчас скину тебе адрес.
Сахедж быстро оглянулся, чуть замялся и почти прошептал: «Кидай».
Наяна отправила адрес, нажала отбой и не удержалась – захлопала в ладоши.
И вдруг кто-то за спиной окликнул ее по имени. Солнце светило маме в спину, в золотых и красных солнечных лучах она напоминала богиню Сарасвати, сошедшую на Землю.
– Как ты меня нашла? – Наяна была поражена и даже забыла, что они только что поссорились.
– Я же управляю всеми данными в доме! – напомнила Рия, буравя дочь взглядом.
– Извини меня, – Наяна не поднимала глаз, – помнишь, я говорила тебе об одном парне? Я очень хочу с ним встретиться. Но GI как будто старается этого не допустить, и…
– …И ты думаешь, что из-за этого растет наш страховой взнос? GI не позволяет нам совершать глупости, которые могут навредить, он хочет, чтобы мы жили здоровее и дольше. Этот парень – опасная личность?
Наяна покачала головой.
– Нет, наверно. Он мой новый одноклассник. Умный и очень талантливый, его зовут Сахедж. Смотри, что он мне подарил – он сам это сделал, вырезал из дерева.
Наяна протянула маме голову ворона. Мама заинтересовалась деревянной поделкой, взяла, внимательно оглядела со всех сторон.
– Н-да, не похоже, что парень опасен. А он красивый?
Наяна смутилась, потом заулыбалась, но улыбка быстро сползла, превратившись в гримаску.
– Мам, это же полный отстой! И что эта GI знает такого, чего не знаю я?! Неужели я и вправду проживу дольше, если никогда не встречусь с Сахеджем?
– Хочешь, расскажу? – Мама обняла дочь. – Конечно, мы иногда ссоримся. Но я же не слепая! И не такая глупая, как ты думаешь. Ты убежала, а я вспомнила – прочла недавно. Это, кстати, была старая книга, мне ее предложила MAGIComb, представляешь?
Наяна такого поворота не ожидала, а потому заинтересованно ждала продолжения.
– Книга 2021 года о такой же индийской семье, как и наша. Мать – поверхностная, гордая и одержимая собственным имиджем, ее дочь страдает, а матери все равно. А девочка страдает все сильнее. Мать не обращала на это внимания – вот что потрясло меня больше всего. Когда мне было столько же лет, сколько тебе сейчас, родители мечтали побыстрее выдать меня замуж. А я хотела учиться, стать юристом. Родители не хотели, чтобы я была умной и образованной и сама принимала решения, – а у меня не хватило сил сопротивляться. Я сдалась и жалею по сей день. А на тебя не злюсь, хоть ты мне грубишь. Я рада, что ты слушаешь свое сердце, идешь своим путем – к понравившемуся парню или в выбранную профессию.
Рия еще обнимала дочь, Наяна заметила, как в глазах матери блеснуло солнце – или это были навернувшиеся слезы?
– Я всегда старалась дать тебе ощущение безопасности и комфорта, которых никогда не было у меня. И твое счастье никогда не будет зависеть исключительно от твоего замужества. Поступай в Университет Раи на фэшн-технологии и перформанс-арт, как выбрала. И никому не позволяй себе указывать. Никому – слышишь! – ни людям, ни искусственному интеллекту. А если кто-то влезет в твою жизнь – не смей его слушать. Правильный ответ можешь найти только ты сама. И то сначала надо попробовать.
– То есть я могу поехать в Ахмадабад, в Университет Раи?
– Если поступишь – да, – улыбнулась мама. – Там же огромный конкурс.
– И даже если из-за этого вырастут страховые взносы нашей семьи?
– Иногда стоит и рискнуть.
– Мам, я договорилась встретиться с Сахеджем. И – спасибо тебе!
Из-за угла показался красный двухэтажный автобус. Наяна неловко ткнулась маме в щеку – поцеловала – и побежала к остановке. А солнце скрылось за горизонтом.
С улицы через окно было видно, как официанты деловито накрывают в зале столы и зажигают свечи – наступал романтический вечер. Сахедж ждал Наяну на углу. В сумерках его кожа казалась еще смуглее. Наяне показалось, что в кафе его совсем не тянет.
– Слушай, извини… – Сахедж мялся, мотал головой, смотрел в землю, его глаза сверкали в темноте, как два светлячка.
– Что-то не так?
– Если я пойду с тобой, мама расстроится. Ходить в такие места – потворствовать слабостям… Это увеличит наш страховой взнос.
– Ты имеешь в виду… – в голове Наяны вдруг щелкнуло – все сошлось. – Так твоя семья тоже на страховке GI?
– Да. И мама сильно болеет. Нам здорово повезло, GI предлагает специальный страховой полис для таких, как мы, называется, «для социально незащищенных», иначе мы никогда бы не смогли позволить себе такую страховку…
– Это я поняла, – кивнула Наяна. И перевела разговор на гораздо более важное. – Но я совсем не поняла, почему ты подарил мне ворона, а не павлина, кролика или кого-то еще?
– Ты задаешь много вопросов! – Сахедж мягко улыбнулся. – Пошли погуляем, раз уж мы не идем в это дурацкое кафе.
Улицы вечернего Мумбаи обычно заполнены машинами – со всех сторон слышатся звуки клаксонов. Что поделать – огромный город, 30 миллионов человек! Мумбаи не всегда был городом небоскребов, ярких огней и цифровых дисплеев, но перенаселен он уже давным-давно. Люди облюбовали это место еще в каменном веке.
На месте сегодняшнего Мумбаи поселились еще древние греки. Они назвали это место Гептанезия – «семь островов». С тех пор город видел взлеты и падения многих династий и правителей. Он крещен кровью – прежде чем Индия получила независимость, погибал и возрождался из пепла бесчисленное множество раз.
Но, конечно, совсем не об этом думали старшеклассники, неспешно прогуливаясь по ярко освещенным улицам. Наяна с удивлением обнаружила, что Сахедж старается держать и физическую дистанцию – будто от случайного прикосновения его долбанет током.
– Сахедж, почему ты отодвигаешься? – Наяна старалась как можно тщательнее подобрать слова, опасаясь обидеть наконец-то обретенного друга.
– Ты правда не знаешь? – удивился Сахедж.
– Чего не знаю?
– Моей фамилии?
– Нет. На занятиях, и в школе и онлайн, ее скрывают, будто ты отпрыск какой-то телезвезды или из какой-нибудь известной семьи.
– Нет, наоборот. Это делают, чтобы вы не испытывали дискомфорта.
– В смысле?
– Ну, когда-то это описывали как ощущение оскверненности.
– Ты о своей касте, что ли? Но ведь эту систему отменили давным-давно.
Сахедж горько усмехнулся.
– Ее запретили законом, о ней не говорят в новостях, но она существует.
– Но откуда об этом знает искусственный интеллект?!
– А он не знает. Ему не нужно знать определение каст. Все, что ему требуется – история пользователей. Как бы мы ни скрывались, не меняли фамилии, следы все равно остаются. Их стереть невозможно.
Наяна вспомнила: мама ведь говорила, что искусственный интеллект знает только то, чему его учат люди. Она немного поиграла с этой мыслью, а затем внимательно посмотрела на Сахеджа:
– Так что, по-твоему, искусственный интеллект выявляет невидимую дискриминацию и оценивает ее количественно?
Сахедж посерьезнел, на миг задумался и фыркнул.
– Чуть не забыл. Еще – цвет моей кожи. Ты же знаешь, что на санскрите одно и то же слово означало и каста, и цвет?
– Это же полный бред!
– Нет, это реальность. Женщины из низшей касты могут встречаться с мужчинами из высшей касты и даже выходить за них замуж. Но наоборот – ни в коем случае. Это вконец испортит репутацию семьи девушки.
– Неужели искусственный интеллект действительно волнуют подобные глупости?
– Ему наплевать на наши устаревшие социальные устои! Но он стремится уменьшить размер страхового взноса пользователей, и поэтому GI пытается помешать нам с тобой быть вместе.
Наяна услышала главное слово – «вместе». Щеки у девушки вспыхнули.
– «Максимизация целевой функции» – так это называется.
– Чего-чего?
– Люди поставили перед искусственным интеллектом цель: снижать страховые взносы клиентов до минимально возможного уровня. И теперь он решает эту задачу. Он вообще не учитывает факторов, которые не влияют на снижение взноса, и ему уж точно без разницы, счастливы люди или нет. Машины недостаточно умны, чтобы интерпретировать ощущения поверх статистических данных. К тому же несправедливость и предрассудки по-прежнему вполне реальны. А искусственный интеллект только обнажает этот позор.
– Откуда ты все это знаешь?
Сахедж улыбнулся.
– Хочу поступить в Империал-колледж19, стать специалистом по искусственному интеллекту. Хочу изменить эту дурацкую ситуацию.
За умными разговорами парочка незаметно дошла почти до дома Наяны – на последнем перекрестке Сахедж остановился и приготовился прощаться. Расставаться не хотелось, и тут Наяну осенило.
– А почему мы не можем изменить это прямо сейчас? Разве мы разрешили искусственному интеллекту распоряжаться нашей судьбой? Как предсказаниям на FateLeaf, написанным тысячи лет назад?
По лицу Сахеджа пробежала тень.
– Ты заходила на FateLeaf после подключения к GI?
– Ох, как мне надоел их золотой слоненок! А при чем тут FateLeaf?
– FateLeaf входит в семейство приложений GI, как и MAGIComb, и Cheapon. Если принять условия совместного использования данных, то получишь более точное предсказание.
– Точно! – охнула Наяна. – И как я раньше не додумалась? Выходит, судьбы с листьев Наади вовсе не подлинные! Я, как и все, хотела, чтобы все было по-настоящему, – а прорицание просто говорило то, что мне хотелось услышать.
До Наяны наконец дошло: ее надурили. Только она еще не решила, обрадоваться или страдать и мучиться.
Сахедж внимательно посмотрел на Наяну, чуть помялся и указал на улицу, по которой собирался возвращаться домой.
– Мы там живем. Дорога идет через строительную площадку Дхарави. Раньше там были трущобы. Представляешь, больше миллиона человек на пятачке 500 на 500 метров! Туристы приезжали фотографироваться, только жить там никто не хотел. Теперь Дхарави наконец-то станет нормальным местом, – Сахедж как будто бы вел экскурсию, и Наяне было интересно – она, конечно, слышала о Дхарави, но не подозревала о многих подробностях. – Учти, я просто предупреждаю: если ты приблизишься к Дхарави, GI завалит тебя предупреждениями – о болезнях, начнет писать, чтобы ты ни коем случае не пила там воду, будет умолять держаться подальше. Наяна, ты справедливая, но это дорога не для таких, как ты. Мир на вашей стороне, а не на стороне тех, кто живет там, – Сахедж опять указал на дорогу к своему дому. – Так что если уж говорить о судьбе – то вот она, наша судьба.
– А можно я с тобой? – Наяна сама поразилась тому, как легко это выпалила, и шагнула вперед. – Я… Я не такая, как ты думаешь.
Сахедж с сомнением наклонил голову:
– Уверена?
Наяна еще раз взглянула на дорогу к Дхарави, к запретной зоне в центре мегаполиса Мумбаи. Страшновато! Но в ушах вдруг зазвучал мамин голос: «Иногда стоит и рискнуть». Наяна поняла, что уверена – и кивнула.
Сахедж просиял, галантно согнул руку в локте, предложив своей даме опереться:
– Как пожелаете, мадемуазель.
И юная пара вновь отправилась в путь – вглубь древнего города, где за столетия люди много раз обновили каждый уголок и каждый кирпичик. По краям дороги выстроились старые и новые башни – словно переродившиеся души людей. Боги-машины завтрашнего дня со временем разрушат, а потом воссоздадут и эти души.
– Ну, так почему ты вырезал для меня именно голову ворона?
– Это мой тотем, мое астрологическое животное. Правда, в общении я гораздо более неуклюжий, чем большинство ворон.
– Надо же, как все просто!
– Да, так просто.
Завибрировал смартстрим – сначала тихонько, потом быстрее, сильнее, настойчивее. Наяна знала: это «золотой слоненок», Сахедж предупредил ее еще на перекрестке. Искусственный интеллект пытался спасти ее; предостерегал, просил не приближаться к месту, которое когда-то считалось крупнейшими трущобами в мире; убеждал держаться подальше от бедности, болезней, дискриминации и неприкасаемых – таких, как парень рядом с ней.
Наяна только потуже затянула капюшон толстовки и продолжала шагать рядом с Сахеджем.
Самый главный ответ ждал ее впереди, во тьме древних улиц.
Анализ. Глубокое обучение; большие данные; финансовые интернет-приложения, вредоносные проявления ИИ
Преимущества страховки Ganesh Insurance из рассказа «Золотой слон», работающей на базе ИИ, совершенно очевидны. Рия, мама Наяны, экономит семейный бюджет благодаря акционным приложениям. Папа Санджай бросает курить, пить крепкое спиртное и становится более ответственным водителем. Даже младший брат Рохан начинает правильнее питаться, когда под угрозой диабета ИИ забил во все колокола.
Такой набор приложений, работающих на смартстримах (вы, конечно, поняли, что это смартфоны 2041 года), и вправду мог бы помочь людям жить дольше, быть здоровее и богаче. Персонализированные ненавязчивые стимулы четко подсказывают, как жить более правильной жизнью.
В чем же тут подвох? В том, как и чем приходится за это расплачиваться. Вопрос лег в основу нашей первой истории, познакомившей читателя с основополагающей для ИИ концепцией глубокого обучения.
Глубокое обучение – прорыв в области искусственного интеллекта. Среди многих подобластей ИИ машинное обучение – это область, которая привела к наиболее успешным приложениям, а в машинном обучении самым большим достижением является направление под названием «глубокое обучение» – настолько, что термины «ИИ», «машинное обучение» и «глубокое обучение» иногда используются взаимозаменяемо (хотя это и неточно). В 2016 году глубокое обучение вызвало ажиотаж после впечатляющей победы AlphaGo над конкурентом-человеком в игре го, самой популярной интеллектуальной настольной игре в Азии. После этого нашумевшего поворота глубокое обучение стало важной частью большинства коммерческих приложений ИИ, и оно фигурирует в большинстве историй в AI 2041.
В «Золотом слоне» описан потрясающий потенциал глубокого обучения и его ловушки вроде воспроизведения социальных предрассудков в цифровых технологиях.
Так что же такое глубокое обучение? Каковы его ограничения? Какую роль в нем играют данные? Почему интернет и финансы считаются наиболее перспективными отраслями для применения ИИ на ранних этапах? Какие условия оптимальны для глубокого обучения? И почему кажется, что это работает чертовски хорошо – но только когда оно действительно работает? Каковы недостатки и недочеты ИИ?
ЧТО ТАКОЕ ГЛУБОКОЕ ОБУЧЕНИЕ?
Глубокое обучение вдохновлено сложнейшей сетью нейронов нашего мозга, оно строит программные многослойные искусственные нейронные сети с входными, скрытыми и выходными слоями. Данные поступают на входной слой – вход, а результат, соответственно, появляется на выходном слое. Между ними могут находиться тысячи других скрытых слоев – отсюда и «глубокое обучение».
Многие считают, что ИИ «программируется» или «обучается» людьми посредством указания конкретных правил и действий. Например, человек сообщает ИИ, что «у кошек заостренные уши и усы». Но на самом деле глубокое обучение работает лучше без внешних «человеческих» правил. Вместо того чтобы запоминать правила, данные людьми, на вход глубокой нейросети подается множество примеров, а на выход – правильные ответы для каждого из них. Таким образом, сеть между входом и выходом может быть «обучена», чтобы максимизировать шансы получить правильный ответ на заданный вход.
Есть множество примеров, когда человек не подсказывает, а передает информацию на входной слой и «правильный ответ» – на выходной слой.
Представим, что исследователи хотят, чтобы сеть глубокого обучения отличала фотографии кошек от любых других изображений. Для начала исследователь может подать на входной слой миллионы разных фото, маркированных «кошка» или «не кошка»; при этом на выходном слое метки «кошка» или «не кошка» уже должны быть заданы.
Сеть обучается определять, какие признаки в миллионах изображений наиболее информативны для отделения «кошек» от «не кошек». Это обучение представляет собой математический процесс, настраивающий в сети глубокого обучения миллионы (а иногда и миллиарды) параметров, для того чтобы максимизировать вероятность того, что для изображения кошки на входе будет выдана метка «кошки», а для другого изображения – метка «не кошка». На рисунке ниже вы видите такую нейронную сеть глубокого обучения для «распознавания кошек».

Нейронная сеть глубокого обучения, обученная отличать фото кошек от фотографий, на которых изображено что-то другое
В ходе этого процесса глубокая нейросеть математически обучается (или «тренируется») максимизировать значение «целевой функции». В нашем примере с распознаванием кошки такой целевой функцией является вероятность правильного распознавания «кошка» – «не кошка».
После такой тренировки сеть глубокого обучения, по сути, становится гигантским математическим уравнением; его можно протестировать на изображениях, которых она до этого не видела, и убедиться, что сеть путем «умозаключений» способна определить наличие или отсутствие в этих изображениях кошки.
С появлением глубокого обучения совершенно непрактичные ранее возможности ИИ стали пригодными для применения во многих областях и сферах. На следующей диаграмме наглядно показано, как резко сократилось число ошибок распознавания образов, когда начали использовать технологии глубокого обучения.
Глубокое обучение – это технология универсального применения, ее можно использовать практически в любой области для распознавания образов, прогнозирования, классификации данных, принятия решений или синтеза. Возьмем сферу страхования, о которой идет речь в рассказе «Золотой слон».
ИИ в приложениях Ganesh Insurance предобучили оценивать вероятность развития у клиента компании серьезных проблем со здоровьем и соответствующим образом корректировать его страховой взнос.
Чтобы сеть научилась отделять тех, у кого с большой вероятностью возникнут такие проблемы, от тех, у кого они, скорее всего, не возникнут, ИИ «тренируют» на обучающих данных, включающих в себя информацию обо всех прошлых заявителях на получение страховки, обо всех их обращениях в медицинские учреждения с разными жалобами и об их семьях. Каждый случай маркируют на выходном слое меткой «обращался с серьезными медицинскими проблемами» или «не обращался с серьезными медицинскими проблемами».

Использование глубокого обучения привело к существенному снижению частоты ошибок при распознавании объектов компьютерным зрением
Впитав в себя в процессе предобучения весь этот набор данных, ИИ может делать предсказания вероятности возникновения у заявителя серьезных проблем со здоровьем и решать, одобрять заявку на страхование или нет, и если да, то каким при этом должен быть страховой взнос.
Обратите внимание: в данном сценарии ни одному человеку не придется маркировать претендента на оформление страховки как объект, имеющий риски с точки зрения здоровья или же не имеющий таковых. Эти метки основываются исключительно на «достоверной информации» (например, были ли у претендента на оформление страховки серьезные жалобы на здоровье в прошлом).
ГЛУБОКОЕ ОБУЧЕНИЕ: ПОТРЯСАЮЩИЕ ВОЗМОЖНОСТИ. НО – С ОГРАНИЧЕНИЯМИ
Первая научная статья о глубоком обучении вышла еще в 1967 году. Потребовалось более полувека, чтобы эта технология проявила себя. Это заняло так много времени, потому что для обучения искусственной нейронной сети требуется огромное количество данных и вычислительных мощностей. И если вычислительные мощности – двигатель ИИ, то данные – его топливо.
Вычисления стали достаточно быстрыми для эффективного применения технологии глубокого обучения только в последнее десятилетие, и мы наконец научились собирать достаточное количество данных. Смартфон, которым вы пользовались сегодня, обладает в миллионы раз большей вычислительной мощностью, чем компьютеры НАСА, отправившие Нила Армстронга на Луну в 1969 году. А интернет 2020 года почти в триллион раз больше интернета 1995 года.
Глубокое обучение – результат озарения человеческого мозга, но работают они совершенно по-разному. Глубокому обучению требуется гораздо больше данных, чем человеку, но после обучения работе с ними технология значительно превосходит людей в решении многих задач, особенно связанных с количественной оптимизацией (например, выбор рекламного объявления для максимизации вероятности покупки или поиск нужного лица среди миллионов других).
Люди могут одновременно сосредоточиваться на ограниченном количестве объектов, а алгоритм, предобученный на океане информации, выявляет корреляции между неявными признаками, слишком незаметными или сложными для человека.
Кроме того, в процессе предобучения на огромном объеме данных глубокое обучение может подстраиваться под отдельных пользователей, базируясь на их паттернах поведения, равно как и на аналогичных шаблонах у других пользователей. Например, когда вы посещаете Amazon, ИИ этого веб-сайта выделяет или подсвечивает продукты, которые, скорее всего, должны вас заинтересовать и, соответственно, максимально увеличат ваши расходы.
А контент на вашей странице в Facebook◊20 должен удержать вас в соцсети как можно дольше. ИИ Amazon и социальной сети таргетированный (узконаправленный); он предлагает каждому человеку разный, но персонализированный контент. Это значит, что показанный мне контент, скорее всего, сильно повлияет на меня, но может совершенно не сработать в вашем случае. Подобная узкая нацеленность гораздо эффективнее генерирует клики и покупки, чем универсальный подход традиционных статических веб-сайтов.
Каким бы мощным инструментом ни было глубокое обучение, панацеей его, увы, не назовешь. Человеку не сравниться с ИИ в деле одновременного анализа огромного количества данных, но мы обладаем уникальной способностью опираться при принятии решений на прошлый опыт, абстрактные концепции и здравый смысл.
Глубокому обучению для эффективной работы требуются огромные объемы релевантных данных, узкая конкретная сфера действия и четкая целевая функция. Если чего-то из этого нет – вероятнее всего, ничего путного не выйдет.
Мало данных? В алгоритме будет недостаточно примеров для выявления значимых корреляций. Несколько разных областей? Алгоритм не сможет учесть корреляции между примерами из разных областей и не получит достаточно данных, чтобы охватить все возможные перестановки. Слишком общая целевая функция? Алгоритм не будет иметь четких указаний для ее оптимизации.
Важно понимать, что «мозг ИИ» (собственно, глубокое обучение) работает совсем не так, как мозг человека. Их основные различия показаны в таблице 1:

Таблица 1. Сравнение сильных и слабых сторон человеческого мышления и «мышления» ИИ
ПРИМЕНЕНИЕ ГЛУБОКОГО ОБУЧЕНИЯ В ИНТЕРНЕТЕ И ФИНАНСАХ
Если вспомнить упомянутые выше сильные и слабые стороны глубокого обучения, то станет понятно, почему первыми бенефициарами этой формы ИИ стали крупнейшие интернет-компании. Высокотехнологические гиганты вроде Facebook◊ и Amazon располагают самыми большими базами данных, которые к тому же часто размечаются автоматически в зависимости от действий пользователя (пользователь кликнул или купил? сколько минут он оставался на странице?).
Эти действия пользователей напрямую связываются с бизнес-метрикой (доход или количество кликов), которую необходимо максимизировать. Если заданные условия выполнены, приложение или платформа превращаются в денежный станок. Чем больше данных накапливается, тем большую выручку приносит платформа. Неудивительно, что интернет-гиганты вроде Google, Amazon и других за последнее десятилетие показали поистине феноменальный рост и все активнее используют ИИ.
Как мы увидели в рассказе «Золотой слон», следом за интернет-компаниями огромный потенциал ИИ взяла на вооружение финансовая сфера, в том числе банки и те самые страховые компании.
Страховая отрасль обладает теми же преимуществами, что и интернет-компании: большой объем высококачественных данных из одной сферы (страхование), привязанных к бизнес-метрикам. С появлением финансово-технологических компаний, основанных на ИИ, таких как Lemonade и Waterdrop21, появилась возможность покупать страховку или брать ссуду в компьютерном приложении с мгновенным одобрением.
Сегодня финтех-компании всерьез нацелены на победу над традиционными финансовыми корпорациями – ведь они показывают лучшие финансовые результаты (более низкий уровень дефолтов или мошенничества), предлагают клиентам мгновенные транзакции (с использованием ИИ и приложений) и более низкие затраты (благодаря исключению из этого цикла человеческого фактора). Однако и традиционные финансовые компании не сидят сиднем, а тоже спешно внедряют ИИ – так что гонка стартовала.
Есть еще одно любопытное преимущество финтех-компаний, взявших на вооружение ИИ: возможность использовать не только те данные, которые учитывают специалисты-люди. Иначе говоря, они укрепляют свою прогностическую силу за счет анализа огромного числа разнородных данных, которые не способен учесть никакой страховой агент.
Который не сумеет оценить, например, покупаете вы больше неполезных обработанных пищевых продуктов или полезных овощей; проводите вы больше времени в казино или в тренажерном зале; есть ли у вас постоянная подруга или вы вечно пристаете к женщинам в интернете. Но эти данные могут поведать о вас много важного, в том числе и о вашем относительном риске в качестве клиента страховой компании.
Кстати, миллионы единиц информации (или «признаков») можно найти в приложениях для мобильного телефона. Вот почему в нашем первом рассказе услуги Ganesh Insurance представлены в виде группы приложений под названием «Золотой слон». Они охватывают всё – от электронной коммерции до рекомендаций и купонов, инвестиций, ShareChat (реальная популярная индийская социальная сеть на местных языках) и придуманного Чэнем приложения для гадания FateLeaf.
Каждый раз, когда Наяна что-то покупает, пользуется рекомендацией, просит приложение предсказать судьбу или заводит с кем-то дружбу, Ganesh Insurance получает очередной кусок релевантной информации, и компания использует эти данные, чтобы стать еще более умной и оптимизированной. Это очень похоже на Google, который накапливает о вас очень неплохую базу данных, собирая крохи информации, которые вы случайно «насыпали» в Google, Google Play, Google Maps, Gmail и YouTube.
Потенциально это миллионы признаков, и пусть не все они актуальны и так уж полезны и большая часть имеет весьма скромную прогностическую силу, но даже среди последних глубокое обучение зачастую находит полезные и вполне информативные комбинации, которые между тем совершенно неуловимы и непостижимы для человека.
НЕДОСТАТКИ ГЛУБОКОГО ОБУЧЕНИЯ
Как известно, любая палка – о двух концах, что уж говорить о мощной технологии. Мы не можем представить себе жизнь без электричества – но соприкосновение с источником тока смертельно опасно. Интернет делает наше существование комфортным – но одновременно мешает нам сосредоточиться. Каковы же недостатки глубокого обучения?
Когда кто-то (ИИ) знает тебя лучше, чем ты сам, – это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.
С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в социальной сети по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?
В киноленте «Социальная дилемма»22 наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».
Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.
Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.
В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.
Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.
ИИ Ganesh Insurance предобучен находить причинно-следственные связи. Он может обнаружить повышенный риск заболеваний, связанных с курением, и, следовательно, будет пытаться отвратить человека от этой вредной привычки; и это хорошо. Но, руководствуясь узконаправленным анализом данных, ИИ может заставить приложение увеличить страховые взносы из-за потенциального романтического союза. Таким образом, умозаключения ИИ приводят к действиям, которые разрывают души людей на части и усугубляют неравенство.
Как же решается проблема? Один из первейших подходов – обучить ИИ сложным целевым функциям, таким как снижение страховых взносов с учетом фактора справедливости. Например, Тристан Харрис предлагает использовать в качестве метрики не просто «проведенное в интернете время», а «время, проведенное с толком».
Эти две цели можно объединить в одну сложную целевую функцию. Еще одно решение предложено экспертом в области ИИ Стюартом Расселом: гарантировать полезность каждой целевой функции путем поиска способа включить людей в цикл дизайна таких функций.
Например, можно попытаться построить целевые функции для «большего человеческого блага», такого, например, как счастье, и привлечь людей, чтобы определять, какой смысл они вкладывают в это понятие. (Эту идею мы исследуем подробнее в главе 9 «Остров счастья».)
Однако очевидно: эти идеи требуют дополнительных исследований в области сложных целевых функций и поиска способов количественной оценки таких расплывчатых концепций, как «с толком проведенное время», «справедливость» или «счастье». Более того, реализация этих идей изначально предполагает, что компании станут зарабатывать меньше денег.
Так как же нам стимулировать интернет-гигантов поступать правильно, невзирая на неизбежные финансовые потери? Один из способов – на законодательном уровне ввести нормы, предусматривающие наказание для нарушителей.
Другой путь – поощрять позитивное поведение как часть корпоративной социальной ответственности, например с помощью принципов ESG (environmental, social and corporate governance – экологическое, социальное и корпоративное управление). Сегодня принципы ESG уже набирают обороты в некоторых бизнес-кругах, и не исключено, что ответственный ИИ может стать частью будущей структуры ESG.
А еще можно привлечь третьи стороны и отвести им роль сторожевых псов: создавать информационные панели для основных показателей деятельности компаний и отслеживать такие показатели, как количество генерируемых «фейковых новостей» или «судебных исков с обвинениями в дискриминации», чтобы заставить их включать пропользовательские метрики.
И наконец, возможно, самым сложным, но и самым эффективным решением станет обеспечение стопроцентного совпадения интереса владельца ИИ с интересами каждого пользователя (подробнее об этом утопическом варианте рассказывается в главе 9).
У глубокого обучения есть еще один потенциальный недостаток – предвзятость. Поскольку ИИ основывает свои решения исключительно на данных и оптимизации целевой функции, они часто оказываются более справедливыми, чем решения, принимаемые людьми (на которых чрезмерно влияют всевозможные традиции и предрассудки).
Но ИИ тоже может быть предвзятым. Например, если использованных для обучения ИИ данных недостаточно, и, как следствие, они неверно отражают реальную картину, или данных достаточно, но расовая или гендерная демография в них искажена сторонними факторами. В результате отдел управления персоналом однажды обнаружит, что алгоритмы компании предвзяты к женщинам – потому что в обучающих данных было мало женщин.
Данные могут быть предвзятыми еще и потому, что их собирали в обществе с предрассудками. Так, чат-бот Tay компании Microsoft и алгоритм обработки естественного языка GPT-3 компании OpenAI печально прославились неуместными комментариями о национальных меньшинствах.
Недавние исследования показали, что ИИ способен с высокой степенью точности определять национальную принадлежность людей на основе анализа геометрии лица, тонких черт, структуры кожи и других биометрических характеристик. Но такие способности чреваты риском дискриминации. В рассказе «Золотой слон» примерно так и получилось с Сахеджем – ИИ путем расчетов определил его как далита. Иначе говоря, Сахеджа не назвали «неприкасаемым», но поскольку его данные и характеристики коррелировали с принадлежностью парня к этой касте, Наяну забрасывали предупреждениями. Система ИИ таким образом пыталась разлучить молодых людей.
Это, конечно, непреднамеренная несправедливость, но последствия ее могут быть чрезвычайно серьезными. Если же общество применит некорректные алгоритмы к таким сферам, как принудительная госпитализация или уголовное судопроизводство, ставки окажутся еще выше.
Решение проблем справедливости и предвзятости при использовании ИИ потребует немалых усилий. Некоторые шаги в этом направлении совершенно очевидны и понятны.
Во-первых, компании, использующие ИИ, обязаны информировать общественность, где и с какой целью используются такие системы.
Во-вторых, инженеров по разработке ИИ следует готовить на основе набора стандартных принципов вроде адаптированной клятвы Гиппократа, которую дают врачи; эти специалисты должны понимать, что их профессия подразумевает элемент этики в продуктах, серьезно меняющих жизнь людей, и, следовательно, они должны поклясться защищать права пользователей.
В-третьих, необходимо ввести тщательное тестирование всех ИИ-продуктов; оно должно быть встроено в инструменты обучения ИИ и заблаговременно предупреждать о моделях, обученных на данных с несправедливым демографическим охватом. В противном случае использование ИИ-продукта должно быть запрещено.
В-четвертых, можно принять новые законы, требующие аудита ИИ. Скажем, если на компанию поступает определенное количество жалоб, ей следует обязать пройти такой аудит (на предмет справедливости, раскрытия информации и защиты конфиденциальности) – точно так же, как фирма подпадает под налоговую проверку, если ее бухгалтерская отчетность выглядит подозрительно.
И, наконец, последняя проблема глубокого обучения – объяснения и обоснования. Люди всегда могут растолковать, почему они приняли то или иное решение – оно основано на в высшей степени конкретном опыте и правилах.
Но решения глубокого обучения базируются на сложных уравнениях с тысячами функций и миллионами параметров. «Резоном» для глубокого обучения, по сути, является многомерное уравнение, полученное на основе больших объемов данных. И вряд ли возможно как следует объяснить его людям – оно слишком сложно. Тем не менее многие ключевые решения ИИ должны сопровождаться объяснением причин – либо по закону, либо потому, что этого ожидают пользователи.
Поэтому в настоящее время проводится множество исследований, направленных на увеличение «прозрачности» ИИ, – либо путем резюмирования его сложной логики, либо посредством введения новых ИИ-алгоритмов, которые изначально проще интерпретировать.
Описанные выше недостатки и ограничения глубокого обучения привели к тому, что в обществе появилось серьезное недоверие к ИИ. Но ведь все новые технологии имели свои недостатки. История показывает, что со временем многие ранние ошибки удается исправить, а технологии – усовершенствовать.
Возьмем для примера предохранитель в любой электрической сети. Он оберегает людей от поражения током, а имущество – от пожара. Или антивирусные программы – они защищают от компьютерных вирусов. Я уверен, со временем появятся технологии и политические решения и для проблем, связанных с негативным влиянием ИИ, с предвзятостью и непрозрачностью его работы.
Но сначала нам придется пойти по стопам Наяны и Сахеджа и сообщить людям о серьезности проблем, а уж затем мобилизовать человечество на поиск их решений.
Глава 2. Боги под масками
И правда, и утро со временем проясняются.
Африканская пословица
РАССКАЗ ПЕРЕВЕДЕН ЭМИЛИ ДЖИН
Примечание Кай-Фу: В этой истории рассказывается о молодом нигерийском видеопродюсере, которого наняли для создания серьезного дипфейка23. Одним из основных направлений ИИ является так называемое компьютерное зрение – оно учит машины «видеть», и недавние прорывы в этой сфере позволяют получать невиданные доселе результаты. Этот рассказ – фантазия о мире будущего, характерной чертой которого стали беспрецедентные высокотехнологические игры в стиле «кошки-мышки» между мошенниками и их разоблачителями; между преступниками и потенциальными жертвами. Можем ли мы избежать такого мира, в котором все визуальные линии размыты и нечетки? Я исследую этот вопрос в своем комментарии: я опишу недавние и предстоящие открытия в области компьютерного зрения, биометрии и безопасности ИИ – трех технологических сферах, которые позволяют создавать подделки-дипфейки и другие подобные технологии.
Поезд наземного метро подтягивался к станции Яба, и Амака нажал кнопку открытия дверей. Они с визгом разъехались; парень, не дожидаясь полной остановки, спрыгнул на перрон. Он больше не мог вынести в этом черепашьем поезде, в его спертом воздухе, ни одного мгновения. Почти прижавшись к какому-то пожилому мужчине, Амака ловко проскользнул через турникет на выходе из вокзала – он опять проехался зайцем.
Система распознавания лиц автоматически списывала стоимость проезда со счета каждого проходящего мимо камер человека. Но Амака был в маске – камеры его не увидели, и он опять прокатился бесплатно.
Маски давно стали обычным аксессуаром для молодежи Лагоса24. Для их родителей они были скорее ритуальными атрибутами, но для молодых людей, которых в последние десятилетия заметно прибавилось, маски стали модным трендом, а заодно и средством обмана камер наблюдения.
В Лагосе, крупнейшем городе Западной Африки, жило примерно от 27 до 33 миллионов человек – каждый метод подсчета давал свою цифру. Пять лет назад государство строго ограничило число приезжих, считая мигрантами даже тех, кто родился в других частях Нигерии. И странствующим мечтателям вроде Амаки пришлось постоянно находиться в состоянии поиска убежища – организовывать пристанище в нелегальных квартирах, в общежитиях, на рынках, на автобусных станциях или даже под эстакадами.
Амака встречал много бездомных, оказавшихся на улице по самым разным причинам. Дома одних снесли, чтобы расчистить место для новых торговых центров; другие недавно приехали в Нигерию из еще более бедных стран; третьи были просто нищими бродягами. Нигерия – «молодая» страна, средний возраст жителей всего 21 год: результат высокой рождаемости. Но в выигрыше от этого оказались далеко не все граждане третьего в мире по численности населения государства.
Некоторые части Лагоса задыхались и страдали от избытка молодежи, но район Яба процветал. Он получил название «Кремниевая долина Западной Африки» и выгодно выделялся порядком, свежим воздухом и бытом, насыщенным высокими технологиями. Пешеход тут мог активировать мультяшного персонажа на рекламном щите и взаимодействовать с ним с помощью жестов. Роботы-уборщики неустанно шныряли по улицам, собирая и сортируя мусор – и район был невероятно чистым. Бытовые отходы отправляли в центры переработки и превращали в возобновляемые материалы и биотопливо. Модным трендом, а не только строительным материалом, вдруг стал экологически чистый бамбук – по крайней мере, для жителей Ябы.
Выйдя из вокзала, Амака поднял смартстрим на уровень глаз и наложил активную виртуальную карту на окружающий пейзаж. Следуя по проложенному маршруту, он добрался до тихого переулка. Компания Ljele, которую он искал, находилась, судя по всему, на третьем этаже серого дома с номером 237.
Два дня назад он получил из Ljele загадочный анонимный мейл с предложением работы, которая, как сообщалось в послании, наверняка «придется ему по душе». Место уже практически его, было написано дальше, но надо лично явиться на собеседование – это пустая формальность, таков общий порядок.
Амака вошел в небольшую приемную на третьем этаже, и улыбчивая администраторша тут же указала на маску – ее надо было снять для проверки личности. Молодой человек на секунду замешкался, но команду выполнил. В объектив камеры попало юное лицо с гладкой кожей.
Амака носил самую простую маску, напечатанную на 3D-принтере. Изысканные дорогие модели ручной работы туристы с удовольствием раскупали как сувениры на рынке Лекки – они стоили абсурдно дорого. Но и дешевая маска Амака неплохо дурила большинство камер наблюдения в городе.
Благодаря грубой поделке с узором в форме бабочек Амака был в понимании искусственного интеллекта «человеком без лица», и это парня очень устраивало. Маска не только позволяла ему экономить, но и, что куда важнее, защищала от преследования властей – у него еще не было официального вида на жительство для мигрантов.
Администраторша провела Амаку в конференц-зал. Парень сел на стул и замер, обдумывая, что говорить о предыдущем опыте работы. Придется врать, решил он. Тут, кажется, без вариантов.
Прошло минут десять. Обещанный интервьюер все не появлялся. И вдруг прямо напротив Амаки засветилась проекционная стена – началось воспроизведение видеозаписи камеры наблюдения.
С первых кадров Амака узнал запись – он помнил ее мельчайшие подробности. Полночь. Тусклый желтый свет фонарей. Несколько бездомных лежат под эстакадой на самодельных матрасах, набитых мусором. Из темноты возникает щуплый силуэт. Мальчик подходит к спящим и всматривается в их лица.
Наезд камеры. Мальчику не больше пяти-шести лет, белый, одет в полосатую пижамку, личико бледное и невыразительное. Один из спящих, вздрогнув, просыпается и встречается взглядом с мальчиком. Спрашивает, как его зовут и что он тут делает. Мальчик что-то бессвязно бормочет и дрожит всем телом.
Внезапно его лицо искажается жуткой гримасой, он разевает рот – обнажаются два ряда острых зубов. И вдруг ребенок вонзает клыки в шею бедного бездомного! Мужчина кричит от боли – просыпаются остальные. По губам и подбородку мальчика течет кровь, он отступает и быстро скрывается в темноте.
Видео было выложено в интернете и называлось «Белый вампир нападает на бездомных в Лагосе». В первые сутки ролик набрал миллионы просмотров на платформе обмена видео GarriV. Но через несколько дней платформа идентифицировала видео как фейк и удалила – как того и требовал закон. Аккаунт пользователя, загрузившего файл, Enitan0231, заблокировали, а все доходы от рекламы, связанные с роликом, заморозили.
Видео закончилось, Амака продолжал сидеть в одиночестве, но в комнате раздался громкий голос: «Отличная работа, Амака! Безупречное слияние мизансцены, актеров-любителей и съемки в реальном времени! Даже не верится, что это сделано в подпольной интернет-кафешке в Икедже», – невидимый мужчина говорил с сильным акцентом игбо25.
От неожиданности Амака вскочил и с криком «Вы кто?!» инстинктивно начал озираться. Быстро обшарил взглядом пустую комнату и остановился на динамиках.
– Да расслабься, – хохотнул невидимый незнакомец, – можешь называть меня Чи. Так нужна тебе работа или нет?
Амака вздохнул, опустился на стул и сник. Чи был прав. Без вида на жительство ему никогда не найти в Лагосе нормальную работу. Таинственная компания под названием Ljele сегодня была его единственной надеждой.
– Почему вы выбрали меня? – спросил Амака.
– Мы видели твои работы. Ты талантливый и амбициозный, ты никогда бы не поехал в Лагос, если бы не жаждал прославиться. А нам нужен человек, которому можно доверять. Один из наших.
Амака сразу понял, что имел в виду таинственный Чи. В Нигерии больше 250 этнических групп, каждая со своими языками и обычаями, многие конфликтуют уже не первую сотню лет. Йоруба и игбо – вторая и третья по величине этнические группы в стране, именно их стычки в последние годы были особо жестокими, поскольку обе народности рвутся к власти.
В Лагосе преобладали йоруба, Амака был игбо с юго-востока, поэтому обычно не афишировал свою этническую принадлежность – кому нужны неприятности?
– И что за работа? Что надо делать? – Амака уже практически принял предложение, а вопросы – так, для проформы. Ответы были ему не очень важны.
– То, что у тебя лучше всего получается, – снимать фейковое видео.
– Это, надо полагать, незаконно?
– Мы обеспечим тебя всем необходимым.
Зрачки Амаки сузились, ноздри раздулись.
– А если я откажусь? – он еще продолжал изображать сомнения. – Вы меня убьете?
– Убьем? – Чи опять издал какой-то странный смешок. – О, нет! Мы сделаем кое-что похуже.
И на проекционной стене опять началось видео.
Частный ночной клуб. Снимает камера в углу под потолком; она направлена на центр танцпола и берет крупный план. Несколько полуобнаженных парней (на них только штаны – рубашек или футболок нет) танцуют под мигающими лазерными вспышками. План еще более укрупняется.
Один из парней – Амака. Стоп-кадр.
Амака смотрел на стену не мигая – лицо его ничего не выражало. Прошло несколько секунд, и он усмехнулся. Это было похоже на дипфейк, но Амака быстро осознал, для чего на самом деле ему пришлось позволить просканировать свое лицо на стойке регистрации.
– Неплохо. – Амака стянул капюшон. – Но мы в Лагосе, здесь люди делают вещи и побезумнее!
– Разумеется, у нас есть кадры с тобой и похуже, – парировал Чи, – да и мы сами можем сделать видео, которое отправит тебя за решетку. И кстати, о семье подумай.
Амака подавленно замолчал. Он отлично знал: если на него стукнут, то проблем с полицией точно не избежать. И под угрозой тюрьмы у него наверняка станут вымогать деньги.
Да, ведь еще родные… В последние несколько лет отношения Амаки с родственниками стали прохладными, но он не мог даже помыслить обрушить на их головы такую жесть. Особенно жалко было отца – он возлагал на Амаку большие надежды.
Парень натянул капюшон и закусил нижнюю губу – создал иллюзию хоть какой-то защищенности.
– Мне нужен аванс. В криптовалюте. И подробности – что за объект? Не хочу тратить время на расследование.
– Как скажешь, дружище. Что же до цели… Ну, по этой точно не промажешь.
На проекционной стене возник нерезкий кадр. Когда проявились черты лица, Амака тихонечко присвистнул.
Йоруба называют Лагос «Еко», в переводе с их языка – «ферма». В Лагосе экваториальный муссонный климат, поэтому июнь – самый холодный месяц года с обильными ливнями. Амака лежал на узкой кровати в нелегально снятой комнате в общежитии и слушал звуки дождя. Новая работа была совершенно другого уровня, чем все предыдущие занятия, – детские шалости, похоже, закончились.
Амака надел XR-очки26 и принялся разбираться с новым гаджетом – темно-зеленым Illumiware Mark-V.
Новая работа представляла сложность совсем не из-за недостатка опыта в создании видеофейков. Все было как раз наоборот. В прошлом году Амака много вечеров провел на сайтах знакомств, скрывая свое истинное лицо. Чтобы не проколоться, следовало собрать как можно больше видеоданных с помощью робота-поисковика.
Желательно, чтобы видео снимали в комнатах с ярким и стабильным освещением – нужны четкие лица. Это позволяет искусственному интеллекту сделать достаточное количество цифровых стоп-кадров. Затем датасет объекта соединялся с набором данных по лицу самого Амаки – при другом освещении, под разными углами и с разнообразными выражениями, которые автоматически генерировал его смартстрим.
Далее Амака загружал оба датасета в облако и приступал к работе с гипергенеративно-состязательной нейросетью. Спустя несколько часов или дней он получал результат – модель DeepMask, сотканную из алгоритмов. Применив ее в видеоприложении, он мог присвоить любую внешность, которую сам сложил из битов информации, – отличить этот дипфейк от настоящего видео невооруженным глазом было совершенно невозможно.
Если позволяла скорость интернета, Амака мог развлечения ради менять лица в реальном времени. Но чтобы было весело, приходилось попотеть. Можно было в реальном времени переводить с английского на любой язык, использовать прогу для имитации разных голосов и инструменты с открытым исходным кодом для синхронизации движения губ со звукорядом.
Однако если человек в чате раскошелился на высококачественный детектор дипфейков, то аномалии в видео автоматически выявлялись и помечались красными полупрозрачными квадратиками-предупреждениями.
На заре появления технологии дипфейков воспроизведение могло сбоить из-за недостаточной скорости интернета или преувеличенной мимики – изображение размывалось, губы двигались несинхронно. Сбой мог длиться какие-нибудь сотые доли секунды, но человеческий мозг, эволюционировавший миллионы лет, обычно улавливал какую-то неестественность. Однако к 2041 году софт DeepMask – преемник дипфейка – достиг такой степени правдоподобия и синхронизации образов, что научился обманывать и человеческое сознание.
Антифейковые детекторы стали неотъемлемой частью стандартной конфигурации кибербезопасности – в Европе, Америке и Азии даже приняли соответствующие законы, но в Нигерии верификацию требовали только основные контент-платформы и государственные веб-сайты. Объяснение простое: для таких детекторов необходимы огромные вычислительные мощности и профессиональные навыки, кроме того, они существенно тормозят скорость проигрывания видео. Если же пользователям приходится ждать, они, как известно, имеют обыкновение переключаться на что-нибудь другое.
Нигерийские соцсети и платформы обмена видео обновляли детекторы выборочно, в основном в моменты, совпадающие по времени с наиболее популярными алгоритмами создания дипфейков; чем больше пользователи шерили контент, тем пристальнее обращали на него внимание.
После каждого такого «видеосвидания» Амаке обычно требовались тишина и темнота. Аскетичная обстановка съемной комнатки не давала забыть о суровой жизни. Однако вынырнув из виртуальной реальности, он позволял разуму еще чуть-чуть побыть в мечтах, млея от улыбок и нежных слов. Они любят не меня, напоминал он себе периодически, а маску, под которой я скрываюсь.
И чем больше мощи он раскапывал в DeepMask – тем сильнее прикипал к маске.
Амака изо всех сил старался сосредоточиться на заказе, на фейковом видео, но в дверь постучали. Пришла Озиома, хозяйка комнаты. В руках у нее была миска нарезанных семян ореха кола. Озиома тоже была игбо, но переехала в Лагос двадцать лет назад и совершенно ассимилировалась. Однако при первом знакомстве с Амакой она расслышала его тщательно скрываемый акцент игбо.
– Там, откуда я родом, раскалывать орехи кола разрешается только мужчинам, – заметил Амака, набивая рот угощением и смакуя знакомую горечь.
– Вот поэтому я оттуда и уехала! – хихикнула Озиома. – Йоруба называют это орех оби, а игбо – одзи. Но разве в названии дело? И то и другое, оказавшись у тебя во рту, решает все твои проблемы.
– О-о-о, мудрость старейшин. Спасибо за угощение, – сказал Амака и собрался было выпроводить Озиому, но она схватила его за руку и кивнула на светившийся монитор. Выражение лица женщины вдруг стало озабоченным.
– А что это ты делаешь? Симпатичный парень, но… Мне не нужны неприятности… Ну, ты понял, о чем я.
– Я просто новости читал, – Амака натянул на лицо беззаботную улыбку. – Мне ведь еще вид на жительство получать.
– Ну и молодец. Да благословит тебя бог.
Озиома ушла, прикрыв за собой дверь.
Амака облегченно вздохнул, опять запрыгнул на кровать и снова сосредоточился на мониторе.
Лицо мужчины излучало силу. Лоб и щеки были покрыты белой краской – это символ племенного духа. Глаза светились, будто два огня. Губы были слегка приоткрыты, уголки рта образовали полуулыбку – будто он собирался заговорить на божественном языке новой эпохи и взять штурмом весь мир.
Амака отлично знал этого нигерийца. Его звали Фела Кути, он был музыкантом, отцом жанра афробит, борцом за демократию и умер 45 лет назад.
Амаке предстояло сделать фейковое еще более фейковым.
Аватар – виртуальный образ с лицом Фелы Кути – возник в сети и начал постить видео на платформе GarriV. «Воскресший» Фела произвел в интернете фурор. Аватар называл себя АФАК – аббревиатура от «Аватар Фелы Аникулапо Кути». Видеоролики содержали едкие комментарии по поводу текущих социальных проблем, хотя точно определить его политическую принадлежность было трудно. Большинство людей восприняли происходящее как шутку – все знали, что настоящий Фела умер в 1997 году.
Технология переноса лиц в этих видеороликах была грубой до смехотворности. Платформы для обмена видео особо не заморачивались с запретом видео с АФАКом – просто помечали этот фейк как пародию.
Однако авторитет АФАКа рос, и вскоре его влияние стало совсем не забавным. Миллионы нигерийцев заходили в закрытые чат-группы и обсуждали его видеоролики – с лупой рассматривали каждый кадр, смаковали каждый слог. Текст даже стали переводить на разные диалекты – делали отличный дубляж и синхронизировали артикуляцию. Благодаря столь высокому качеству обработки послания АФАКа стали распространяться гораздо шире.
Официальный фонд Фелы Кути выступил с заявлением: организация озадачена происхождением аватара не меньше других. Однако не потребовал, чтобы загадочный персонаж, кто бы ни стоял за этим аккаунтом, перестал использовать образ музыканта.
Отследить человека, скрывающегося за ником, пока не удалось. Вся видеоинформация зашифровалась; учетные записи, с которых загружали видео, были одноразовыми и проходили через несколько прокси-серверов. Вполне логично возникла конспирологическая теория: а вдруг АФАК – дело рук антиправительственных активистов или какого-нибудь недружественного иностранного государства, посягающего на стабильность в Нигерии?
Компания Ljele, новый работодатель Амаки, оказалась ширмой, прикрытием подпольной группы «Слава игбо», а Чи – просто агентом, которого наняли завербовать Амаку и управлять его дальнейшими действиями. Группа проанализировала содержание видео с АФАКом и пришла к выводу: за аватаром стоят не иностранцы, а ультранационалисты йоруба.
Они хотели воспользоваться его популярностью и манипулировать сознанием людей, постепенно сделать видео с аватаром более «пройорубским» и перетянуть общественное мнение на свою сторону. Амаке было ясно: чем больше власти окажется в руках у и без того доминирующих йоруба, тем сильнее они станут притеснять другие этнические группы, и в первую очередь игбо.
Так, недавно АФАК призвал штаты, в которых преобладают игбо, отказаться от претензий на новое месторождение редкоземельных элементов и предложил сделать его «общей собственностью всех нигерийцев». Это была очередная и на текущий день последняя попытка отобрать у игбо ресурсы дарованной им богом земли. Народ игбо всегда чувствовал себя чем-то вроде хвоста ящерицы-Нигерии: его отрезали, он отрастал, его рубили вновь – и так бесконечно. Болит при этом культя, кровоточит – никого не волновало.
Игбо вконец устали. Миссия Амаки была ключом к революции, к достижению цели, поставленной перед собой группой «Слава игбо». Чи поручил Амаке создать фейковые видеоролики, которые подорвали бы авторитет и влияние аватара – так предполагалось ослабить доверие к АФАКу и, соответственно, его контроль общественного мнения.
Технически все было не так уж сложно. С помощью H-GAN (гипергенеративно-состязательной нейросети) Амака легко скопировал машинную модель лица АФАКа. Модель Амаки оказалась пиксельной зеркальной копией аватара АФАКа – начиная с частоты моргания и движения губ и заканчивая довольно заметной несостыковкой контура рта с окружающей кожей. Амака знал, как установить параметры и точно соотнести каждое математическое значение дипфейка и оригинала. Он мог обмануть любой детектор фейков и уж тем более – любой человеческий глаз.
Труднее всего оказалось воспроизвести речь в стиле АФАКа. Темы видеороликов варьировались от социально-политических новостей до головоломных популистских заявок, которые так любят обыватели. В монологах аватар то цитировал известные слова настоящего Фелы Кути, то сыпал перлами народной мудрости. Амаке часто было трудно разобрать, что он там произносит, не говоря уже об имитации речи.
АФАК заявлял, что Нигерия остро нуждается в новом языке, выходящем за рамки этнических границ, – дабы «очистить наш разум и язык от колониального яда». Он сетовал, что нигерийские матери, которые «страдают больше всех и заслуживают искреннего и высочайшего поклонения», собственноручно «приветствуют падение и закапывают трупы» своих многочисленных детей.
Аватар провозглашал, что «музыка – это оружие будущего», что только когда образование и богатство будут «распределяться также равномерно, как барабанная дробь пронизывает воздух, биение человеческих сердец сможет слиться в единый устойчивый ритм».
Очень скоро слова АФАКа, словно ливень, обрушившийся на выжженную солнцем землю, начали утолять жажду и в сердце Амаки. Как бы парень ни сопротивлялся, он чувствовал, что идеи аватара воодушевляют его и вселяют в него надежду. Может, Чи ошибается в отношении АФАКа? Амака попытался отмахнуться от нахлынувших чувств. Не нужно мне никакого вашего паршивого чувства принадлежности, твердил он себе.
Нужно ему сейчас было только одно – идеальный фейк речи в стиле АФАКа, в который бы поверили люди.
Карнавальное шествие растеклось по улицам Центрального Лагоса. Из глубины своего балкона Амака наблюдал за труппой молодых нигерийцев. Они раскачивались и кружились ритмично, грациозно и легко, как пылинки в солнечных лучах. Лица парней были расписаны белой краской в стиле Фелы Кути. Мускулы на их обнаженных спинах блестели под палящим солнцем. Следуя ритму, они в унисон воздевали руки и встряхивали кистями, будто бы читая заклинания.
Музыка инструментов разных этнических групп образовывала гармоничную мелодию. Пронзительный грохот барабана бата и низкие стоны барабана дундун народа йоруба; металлический звон колокольчика огэн и серебристая мелодия дудочки опи народа игбо. Воздух звенел от музыки, словно тетива боевого лука, когда ее натягивает стрелок.
Танцоры, гибкие, как молодые побеги маниоки в сезон дождей, ритмично двигались под музыку. Амаке они казались не отдельными людьми, а единым существом – таким же мощным и неделимым, как повторяемая ими мантра: «Еди-ная Ниге-рия». Это был слоган видеокампании с АФАКом.
Амака чувствовал, что сейчас лопнет от эмоций. С одной стороны, он завидовал танцорам и инстинктивно жаждал присоединиться к ним – но желание подавлял страх разоблачения и обвинения в предательстве. С другой стороны, действительно ли эти танцоры – последователи АФАКа и желают зла игбо, народу, от которого Амака отдалился, но который еще любил?
Но куда больше парня беспокоил стремительно приближающийся дедлайн, установленный Чи. С каждым днем Амака все больше убеждался, что поставленная перед ним задача абсолютно невыполнима.
Амаке стало казаться, что единственной идентичности АФАКа просто не существует. Аватар создавала команда, она опиралась на систему смарт-тегов платформы обмена видео и выдавала ролики, адаптированные к различным профилям пользователей. Она точно подгоняла основные темы, слоганы, тон и жесты под потребности каждой конкретной аудитории – как рекламное агентство, которое потворствует потребностям и желаниям определенной демографической группы.
Создание просто дипфейка – это одно, а дипфейка с множеством разных идентичностей – совсем другое; и это уже выходило за рамки умений Амаки. По какой-то непостижимой причине осознание этого принесло облегчение. Однако теперь парню предстояло столкнуться с последствиями провала миссии, порученной ему Чи.
– А почему бы тебе к ним не присоединиться? – голос Озиомы раздался прямо над ухом. Хозяйка шагнула из комнаты на балкон, приветственно пихнув Амаку, закурила английскую сигарету, облокотилась на перила и посмотрела вниз.
– А ведь я когда-то была королевой танцев в нашей деревне, – взгляд Озиомы затуманился: она ностальгировала. – Правда-правда, я не хвастаюсь. Парни глаз не могли от меня оторвать. Отец ненавидел, когда я танцевала. Он каждый раз грозился отлупить меня, когда заставал танцующей.
– И вы слушались?
Озиома от души расхохоталась.
– Да какой же ребенок откажется от того, что он любит, только из-за запрета родителей?! Я нашла способ, чтобы как минимум закончить танец.
– Какой?
– Прежде чем начать танцевать, я всегда надевала Агбого Ммуо.
– Чево-о-о?! – глаза Амаки вылезли из орбит. Агбого Ммуо – священная маска северных игбо, олицетворение девичьих духов, а также матери всего живого.
– Вот-вот, у отца, когда он видел меня в маске, становилось точно такое же лицо. Ему оставалось только кланяться и выражать почтение маске и богине, которую она олицетворяет. Конечно, потом, когда танец заканчивался и я снимала маску, мне доставалось на орехи, – Озиома сияла от гордости: воспоминания на миг вернули ее в юность, когда она была такой смелой и находчивой.
От истории Озиомы в голове Амаки шевельнулась какая-то идея. Она заворочалась, словно огромная рыбина на глубине, потом начала переваливаться с боку на бок и бить хвостом. Амака задумчиво наморщил нос и даже пробормотал вслух:
– Маска…
– Да, дитя мое. Маска – вот что давало мне силу, – эхом откликнулась Озиома. Она, оказывается, все еще была здесь.
– А если снять маску? Содрать маску… – бормотал, вдруг оглохнув, Амака.
Он вдруг бросился к Озиоме, подхватил на руки и звонко чмокнул в нос, прокричал: «Спасибо, спасибо, моя королева танцев!» – и ломанулся в комнату, оставив за спиной суматоху маскарадного шествия и совершенно сбитую с толку женщину.
– Если вложить в уста АФАКа явное вранье, это не заставит последователей отвернуться, он же кумир, – объяснял Амака в тот же день в видеочате своему куратору Чи. Парень был чрезвычайно взволнован неожиданным открытием. – Но если снять с него маску и разоблачить скрытую сущность кукловода, это наверняка поможет.
– Но кукловода никто не знает, – засомневался Чи.
– Вот именно! – Амака просиял. – Не понимаете? Раз его никто не знает, значит, кукловодом может быть кто угодно!
– То есть ты предлагаешь…
– …сорвать с АФАКа маску и сделать его таким, каким вы захотите!
Чи довольно долго молчал, а потом наконец пробормотал: «Да ты просто гребаный гений».
– Ндево, – попрощался Амака на языке игбо, собираясь уже выйти из чата.
– Погоди, – окликнул его Чи, – но ведь тогда нужно создать лицо, которое существует в реальности.
– Да, именно так.
– И оно должно обмануть все антифейковые фильтры, – задумчиво добавил Чи. – Надо учесть искажение цвета, структуру помех, вариации степени компрессии, частоту моргания, биосигнал… Это вообще выполнимо?
– Мне нужно время, – кивнул Амака. – И неограниченные мощности облачного искусственного интеллекта.
– Свяжусь с тобой, – бросил Чи и отключился.
Экран погас, Амака не двинулся с места и разглядывал свое отражение. Адреналин, поначалу захлестнувший его, куда-то улетучился. Теперь на лице Амаки было не возбуждение, а усталость и тревога – он чувствовал себя так, будто только что предал духа-хранителя, наблюдающего за ним с небес.
Теоретически создать фейковый образ и вставить его в видео может кто угодно, да и обойти антифейковые фильтры – не особая проблема. Проблема в расходах – стоимость необходимых для этого вычислительных мощностей огромна.
Дипфейки и их детекторы пребывали в состоянии вечной борьбы, как Эрос и Танатос. Перед Амакой стояла невероятно сложная задача, но он был настроен достигнуть своей единственной цели: создать настоящее человеческое лицо.
Чи предложил новую схему: АФАКа следовало лишить цифровой маски Фелы Кути и показать всем известного Репо, политика йоруба, известного нескончаемыми нападками на другие этнические группы и главного врага движения «Единая Нигерия». Как только Чи и его команда покажут, что именно Репо дергает за ниточки, что это он стоит за харизматичной и вдохновляющей фигурой АФАКа, вера людей в аватара рассыплется в прах. Но первым делом сфабрикованное Амакой видео должно будет пройти проверку миллионами глаз – как людских, так и искусственного интеллекта, включая VIP-детектор.
Программу, прозванную VIP-детектором, разработали для защиты репутации общественных деятелей: политиков, госчиновников, знаменитостей, спортсменов, ученых. Эти выдающиеся личности оставляли слишком заметный цифровой след, и это делало их особо перспективными мишенями для дипфейков.
VIP-детектор должен защитить эти «суперточки» киберпространства от возможного мошенничества или других разрушительных для них действий – в противном случае социальному порядку может быть нанесен ущерб. Веб-сайты, публикующие изображения или видео известных людей, обязаны перед публикацией контента применять специальный алгоритм обнаружения дипфейков. В VIP-детекторе задействовано множество технологий, от распознавания лиц в сверхвысоком разрешении до датчиков распознавания жестов и геометрии ладони и пальцев, оценки речи и даже распознавания вен.
Эти данные вводились в систему глубокого обучения ИИ VIP-детектора. Если объект защиты был особо важен, VIP-детектор заносил в свою базу данных даже его историю болезни. Понятно, что Репо с его социальным статусом и неоднозначностью входил в эту категорию.
Но Амака был уверен, что и в VIP-детекторе есть изъяны. Сумей он раскодировать его принцип действия, он точно мог бы найти пробелы в пересекающихся цепочках входных данных и использовать их. И пусть эти лазейки совсем узкие – кто ищет, тот, как известно, всегда найдет. И протиснется бочком.
И вот Амака, взяв за основу реальное видео Репо, принялся, подобно какому-то создателю Франкенштейна XXI века, слой за слоем сшивать его лицо: губы, глаза, нос. Искусственный интеллект в помощь: каждое мельчайшее движение, мимолетный жест в фейковом видео исходил от самого Репо, и это сводило к минимуму вероятность того, что антифейковый детектор обнаружит подделку.
Амака начал с того, что с помощью технологии XR-зрения создал себе трехмерное рабочее пространство. Он махал руками, выбирал, перетаскивал объекты, увеличивал и уменьшал масштаб; иконки и фрагменты видеозаписи парили в воздухе и управлялись разными жестами. Амака предпочел бы видеть себя магом, творящим волшебство, но пока куда больше был похож на звезду кулинарного шоу за приготовлением блюда авторской кухни.
Для каждой части тела Репо Амака тщательно выбрал самую эффективную программу с открытым кодом – и это было похоже на то, как повар выбирает и откладывает в подходящую посуду сырые ингредиенты для будущего блюда. Затем, словно приправляя кушанье разными специями, он скорректировал параметры, модели и алгоритм обучения. И наконец, довел все это «до кипения» на облачной ИИ-платформе – на огне максимальной вычислительной мощности.
Каждый набор видеоресурсов, обработанных GAN, генерировал серию миниатюр, которые образовали в виртуальном рабочем пространстве бесконечную галерею – и это была длиннющая череда постеров с различными частями тела Репо.
А между тем за этой стеной из плакатов развернулась жесточайшая битва – в облаке, в полной тишине. Сражались позитивные и негативные полюса GAN: сеть-фальсификатор и сеть-расследователь. Первая стремилась переобучить и модернизировать себя для создания максимально реалистичных изображений, способных обмануть антифейковые детекторы. Эти изображения, базируясь на обратной связи от сети-расследователя и благодаря ей должны были минимизировать значение функции потерь сгенерированного образа.
Сеть-расследователь, напротив, стремилась увеличить значение функции потерь. Эта битва, ставки в которой повышаются с каждой миллисекундой, будет повторяться миллионы раз – пока стороны не достигнут определенного баланса.
Корректировка параметров, очередная итерация модели… С каждой последующей корректировкой Амака убеждался: видео становится все более реалистичным. Он уже почти ослеп от бесконечно мелькающих разноцветных пикселей, но продолжал всматриваться в кадры в поле XR-зрения, которые практически не отличались друг от друга. Пот струился по лицу парня, но ловким пальцам Амаки, порхавшим по клавиатуре, это не мешало.
Время от времени в ушах, отвлекая и раздражая, возникал противный шепот – словно голос злого духа огбанже, навечно застрявшего в подвешенном состоянии между жизнью и смертью. «Ты убиваешь бога собственными руками», – шептал этот голос.
«Он не мой бог. Он йоруба», – возражал Амака, заставляя себя не отвлекаться от дела.
Наконец фейковое видео блестяще обошло фильтр – сумело обмануть VIP-детектор. У Амаки хватило сил только шагнуть к кровати – он рухнул плашмя и тут же уснул.
Незнакомый голос звал Амаку по имени. В изножье кровати колыхалась темная тень. Амака в ужасе попытался нащупать выключатель – пальцы не слушались. Тень приближалась. И тут он разглядел лицо – это был АФАК.
– Чего тебе?! – Амака аж задохнулся.
– Не бойся, дитя мое. Я услышал твой зов и пришел посмотреть на тебя, – АФАК улыбался в темноте, причем, похоже, вполне искренне.
– Но я не… Я не хотел причинить тебе вред, – Амака шептал дрожащим голосом.
АФАК вдруг расхохотался – и это было похоже на рык африканского леопарда.
– Никто не способен причинить мне вред, дитя мое. Ни ты, ни они.
– Они?
– Люди, которые пытаются задушить будущее Нигерии и обманом заманить тебя в ночные джунгли.
– Мне очень жаль, АФАК, но у меня не было выбора.
– Нет, выбор есть, дитя мое. Отправляйся в Нолливуд27. Не ищи простого решения – расскажи миру настоящую нигерийскую историю.
Амака не мог вымолвить ни слова, не получалось и отвести взгляд от пиксельной фигуры, стоящей у кровати. Я и вправду всегда хотел рассказать свою историю, думал он, историю игбо, который мечется между традиционной и изменяющейся реальностью.
– Мой дух-хранитель покинул меня, потому что я оставил свою землю и уехал на землю йоруба, – запинаясь, с трудом выговорил Амака.
– Чушь какая! – перебил АФАК. И Амака вдруг понял, что знает этот голос. – Помнишь, как ты был маленьким?
– Я был маленьким?
– Я показывал тебе разных птиц и говорил, как они называются; я показал, из какого древа получится самая хорошая рогатка; рассказал, как смастерить флейту из слоновой травы … Ты что, все забыл?
– Всему этому меня учил отец. – Амака изумленно замолк, глаза его расширились.
– Вот именно, дитя мое. Помнишь народную поговорку игбо? Когда человек говорит «да», его духу-хранителю ничего не остается, как тоже сказать «да». Это только люди покидают своего бога – бог их никогда не оставит.
– Но отец, я же не хочу тебя подвести, – Амака вспомнил об угрозе Чи опозорить всю его семью и почти шептал.
– Сходи в New Afrika Shrine28. Я уверен, ты сумеешь сделать правильный выбор. А потом возвращайся ко мне.
Амака уже почти дотянулся – кончики пальцев вот-вот должны были коснуться мерцающего пиксельного лица. Но АФАК вдруг исчез. Амака проснулся. Горел ночник. С темно-зеленого экрана монитора Illumiware Mark-V улыбалось знакомое лицо.
Расписанное граффити здание клуба New Afrika Shrine в Икедже можно запросто принять за полуразрушенный гараж. Впрочем, недостаток архитектуры с лихвой компенсирует энергетика места. В здании вместимостью две тысячи человек еженедельно проходят концерты, в нем работают всевозможные киоски с едой и напитками – и это весьма процветающий бизнес.
Фела Кути открыл ночной клуб Afrika Shrine в отеле Empire, но в 1977 году клуб сожгла полиция. Здесь была уже реинкарнация клуба – его в 2000 году открыл в память об отце Феми, сын Фелы.
Амака много раз бывал в Afrika Shrine. Как и любой молодой человек в Лагосе, любящий хорошо провести время, он видел в нем не только подходящее для вечеринки место с едой и выпивкой, но и храм, место паломничества – тут можно соприкоснуться с мятежным и свободным духом живших полвека назад таких же молодых. В этом особенном месте люди волшебным образом забывали обо всех этнических и классовых конфликтах и радовались жизни, пусть бы и под парами алкоголя.
Но сегодня Амака пришел со всем этим проститься.
В Afrika Shrine – и в старом, который он не застал, и в новом – свято хранили память и превозносили черных богов и богинь: Кваме Нкруму, Мартина Лютера Кинга – младшего, Малкольма Икса, Тома Санкару, Нельсона Манделу, Эстер Ибанга, Чинуа Ачебе, Воле Шойинка, Флоренс Озор… – великие души, посвятившие свою жизнь свободе, демократии и равенству29. Артисты в этом клубе часто прерывают выступления, чтобы отдать дань уважения своим культурным предкам.
Амака смотрел во все глаза – он молчал и старался получше запомнить все лица. Он молился, чтобы эти боги и духи оберегали его и впредь.
Он уедет из Лагоса, вернется домой и все расскажет отцу. Амака еще не решил, что будет делать дальше. Возможно, его умение работать с GAN поможет ему найти хорошую работу, и ему больше не придется делать дипфейки, а он станет помогать людям. Или ему удастся устроиться в сфере здравоохранения, скажем, заниматься переносом лиц в медицинских датасетах для обучения ИИ?
А ведь он еще отлично умеет раскрашивать старые черно-белые фильмы и улучшать изображение! А вдруг он сможет еще сильнее расправить крылья и сделать то, о чем лишь изредка осмеливался мечтать: снять настоящий нолливудский фильм? У Амаки уже появилась отличная идея для сюжета.
В смартстриме зазвенели монеты – пришли деньги, обещанные Чи. Это означало, что его фейковое видео настолько реально, насколько это вообще возможно – оно разлетелось по интернету, и его влияние можно было сравнить по мощи с ядерным взрывом.
В последние годы видео, созданные с помощью ИИ, спровоцировали мятеж в Габоне и серьезные политические беспорядки в Малайзии. И Амаке была невыносима мысль, что его видео может сыграть такую же скверную роль в истории его родной Нигерии.
Но выбор уже был сделан.
Амака поднялся на сцену и встал в самом центре, прямо под висящим высоко над ней черно-белым портретом Фелы Кути, сначала воздел руки, а потом вытянул их вперед – как бы стараясь соединиться с силой богов и духов.
«Я стану хозяином своей судьбы и сам буду решать, когда смерть придет забрать меня», – серьезно прошептал парень, словно какое-то магическое заклинание. Это были слова самого Фелы Кути, объяснявшие его второе имя Аникулапо – на языке йоруба оно означает «тот, кто несет в суме смерть».
Амака ввел что-то в смартстрим и запустил его в ближайший мусорный бак. Вынул из кармана и надел свою верную грубую маску, напечатанную на 3D-принтере. Амака молился и мечтал убраться отсюда как можно дальше, прежде чем спохватится Чи. Он уедет из Лагоса, из огромного города, исписанного слоганами Eko o ni baje — «Лагос не испортит», и вернется домой, к запахам свежей земли.
Он уничтожит ложь, создав еще одну ложь.
Второе видео, снятое им с помощью софта DeepMask, он уже выложил в интернет – оно готово спровоцировать еще один взрыв. И в первом, и во втором ролике АФАК снимал цифровую маску, под которой оказывалось лицо Репо – идеальный дипфейк, легко преодолевший все антифейковые фильтры. Но второй ролик на этом не заканчивался – аватар продолжал снимать маски: за АФАКом следует маска Репо, затем – другая маска под этой маской, потом еще… Слой за слоем, до бесконечности.
Нигерийцы изумятся: за АФАКом – все боги и богини, почитаемые завсегдатаями клуба New Afrika Shrine.
Анализ. Компьютерное зрение, сверточные нейронные сети; дипфейки; генеративно-состязательные сети (GAN); биометрия; безопасность ИИ
«Боги под масками» – история о визуальном обмане, об обмане зрения. Научившись видеть, распознавать, понимать и синтезировать объекты, ИИ может также манипулировать ими, создавая изображения и видео, неотличимые от реальных. В рассказе описывается будущее, в котором люди больше не смогут полагаться на невооруженный глаз, если наверняка пожелают отличить подлинное видео от тонкого монтажа.
Сайтам и компьютерным приложениям придется (их обяжут законом) использовать антидипфейковый софт (как сегодня используются антивирусные программы), чтобы защитить пользователей от поддельных видео. В нашей истории перетягивание каната между создателями дипфейков и детекторов для их выявления уже переросло в гонку вооружений, и с переменным успехом побеждает тот, у кого больше вычислительных мощностей.
Действие рассказа происходит в 2041 году, но, вполне вероятно, подобная ситуация сложится и раньше – как только развитый мир сможет позволить себе огромные расходы на супердорогие компьютеры, программное обеспечение и ИИ-экспертов, необходимых для создания и обнаружения дипфейков и прочих манипуляций ИИ. И регулирующие эту сферу законы, скорее всего, будут приняты прежде всего в развитых странах. Наша история происходит в стране развивающейся – в ней негативные внешние эффекты дипфейков, по всей вероятности, проявятся несколько позже.
Итак, как же ИИ научается видеть – и через камеры, и через записанные видео? Как используются способности ИИ? Как работает создатель дипфейков, применяющий ИИ? Способны ли люди или ИИ обнаруживать дипфейки? Наполнят ли наши соцсети фейковые видео? Как остановить поток дипфейков? Какими еще дырами в безопасности может быть чреват ИИ? И есть ли что-нибудь полезное в технологии, позволяющей создавать дипфейки?
ЧТО ТАКОЕ КОМПЬЮТЕРНОЕ ЗРЕНИЕ?
В рассказе «Золотой слон» мы увидели потенциальные возможности глубокого обучения при работе с большими данными, в частности в интернете и финансах. Вряд ли вы удивляетесь тому, что ИИ опережает людей по эффективности обработки больших массивов данных. Но вот как насчет способностей, уникальных для человека или прочих живых существ, например восприятия?
Зрение – самый важный из органов чувств человека. Компьютерное (машинное) зрение – это отрасль ИИ, которая обучает компьютеры видеть. Это слово означает здесь не только оцифровку видео или изображения, но и осмысление того, что при этом «видит» компьютер. Алгоритмы компьютерного зрения позволяют реализовать следующие возможности (перечислены в порядке возрастания сложности):
• Получение изображений и их обработка – для реальных 3D-сцен в видео используются камеры и другие приборы-датчики. Каждое видео состоит из последовательности изображений, каждое изображение представляет собой двумерный массив чисел, представляющих конкретный цвет, где каждое число соответствует пикселю.
• Обнаружение объектов и сегментация изображения – изображение разбивается на области и определяется место расположения объектов.
• Распознавание объекта – распознается объект (например, собака) и, возможно, детальная информация (немецкая овчарка, темно-коричневый окрас, и так далее).
• Трекинг объекта – отслеживание движущихся объектов в последовательных изображениях или видео.
• Распознавание жестов и движений – движения идентифицируются, как, например, танцевальные па в игре для Xbox.
• Интерпретация сцены – обеспечивается понимание сцены в целом, включая неявные взаимоотношения и нюансы, например голодная собака, жадно глядящая на кость.
Инструменты для создания дипфейков, использованные Амакой в рассказе, содержат все эти компоненты. Чтобы отредактировать видео с АФАКом, Амаке сначала нужно было разбить его на фрагменты – 60 кадров в секунду, каждый из которых состоит из десятков миллионов пикселей. ИИ считывает эти пиксели и автоматически сегментирует тело АФАКа (или рисует вокруг него границу), которое далее сегментируется на лицо в маске, рот, руки и так далее. И так для каждого видеокадра.
Если видео длится 50 секунд, у нас будет три тысячи кадров (изображений). Кроме того, сопоставляется движение между кадрами, что позволяет выделить связи между объектами. Все это, заметьте, делается до того, как начнется редактирование видео.
Процесс представляется жутко трудоемким, но мы, люди, в своей жизни делаем это на раз-два. Нам достаточно лишь бросить взгляд, и все перечисленное уже проделано – тратится меньше секунды. Кроме того, люди обладают способностью к абстрактной и обобщающей интерпретации, причем даже если один и тот же объект выглядит по-разному под разными углами, при разном освещении, с разных расстояний или даже почти скрыт другими объектами.
Например, увидев человека, сидящего за столом в определенной позе, мы можем сделать вывод, что он держит ручку, нацелившись на лист бумаги, хотя на самом деле не видим ни того, ни другого.
Когда мы что-то «видим», мы, по сути, каждый раз задействуем все накопленные ранее знания о мире – все, что узнали за свою жизнь о перспективе, геометрии, здравом смысле и обо всем том, что видели до этого. У человека это происходит просто и естественно, но научить тому же самому компьютер крайне сложно.
Компьютерное зрение – область исследований, которая пытается преодолеть трудности и сделать так, чтобы компьютеры умели видеть и понимать то, что они видят.
СПОСОБЫ ПРИМЕНЕНИЯ КОМПЬЮТЕРНОГО ЗРЕНИЯ
Уже сегодня мы практически ежедневно соприкасаемся с технологиями компьютерного зрения.
Их можно использовать в режиме реального времени в разнообразных областях – от транспорта до сферы безопасности. Приведу примеры.
• В автомобилях устанавливаются системы помощи водителю «Антисон», не дающие уснуть за рулем.
• Магазины без касс и очередей – типа Amazon Go: установленные в них камеры сами распознают товар, который вы кладете в корзину или возвращаете на полку.
• Охрана аэропортов (подсчет количества людей, распознавание террористов).
• Распознавание жестов (баллы за движения в танцевальных играх для Xbox).
• Распознавание лиц (использование лица пользователя для разблокировки мобильного телефона).
• Смарт-камеры (портретный режим вашего iPhone распознает и выделяет людей на переднем плане, а затем красиво размывает фон для создания эффекта фото, сделанного зеркальным фотоаппаратом).
• Военное дело (определение, кто напротив – солдат противника или мирный житель).
• Автономные системы навигации дронов и автомобилей.
В самом начале рассказа «Боги под масками» мы видели, как системы распознавания лиц используются в реальном времени для автоматической оплаты проезда – путем идентификации пассажиров, проходящих через турникет вокзала. И узнаем, что пешеходы, используя жестикуляцию, могут взаимодействовать с мультяшными животными в уличной рекламе. А смартстрим Амаки использует компьютерное зрение для распознавания городских улиц и указания маршрута, помогает ему добраться до незнакомого пункта назначения.
Кроме того, компьютерное зрение можно применять к изображениям и видео – не такими прямолинейными способами, но не менее полезными и важными. Приведу примеры:
• Интеллектуальное редактирование фотографий и видео (такие инструменты, как Photoshop, широко используют компьютерное зрение для удаления эффекта красных глаз и улучшения качества селфи).
• Анализ медицинских снимков (для определения наличия злокачественной опухоли на КТ-снимке легких).
• Модерирование (цензурирование) контента (обнаружение порнографического и насильственного контента в социальных сетях).
• Подбор сопутствующей рекламы, основанный на содержании конкретного видео.
• Интеллектуальный поиск изображений (находит нужное по ключевым словам или другим изображениям).
• И, конечно же, создание дипфейков (подмена лиц в видео).
В «Богах под масками» рассказывается об инструменте для создания дипфейков, который, по сути, является ничем иным, как автоматическим инструментом для редактирования видео; он по частям подменяет одного человека другим, начиная с черт лица, пальцев, ладоней и голоса и заканчивая жестами, походкой и мимикой. Поговорим об этом подробнее.
СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ (CNN) ДЛЯ КОМПЬЮТЕРНОГО ЗРЕНИЯ
Заставить компьютерное зрение работать на основе стандартной нейронной сети оказалось очень непростой задачей – ведь любое изображение состоит из десятков миллионов пикселей, и научить систему глубокого обучения находить тончайшие подсказки и признаки в огромном количестве изображений – это, согласитесь, даже звучит устрашающе. В поисках вдохновения в деле усовершенствования этой технологии исследователи обратились к человеческому мозгу.
Зрительная зона коры головного мозга задействует нейроны, соответствующие множеству ограниченных областей (известных как рецептивные поля, или поля восприятия), в рамках которых наши глаза фиксируют изображение в любой конкретный момент времени. Рецептивные поля идентифицируют основные признаки видимых объектов: формы, линии, цвета или углы. Эти детекторы соединены с неокортексом, верхним слоем коры головного мозга (новой корой).
Неокортекс хранит информацию иерархически и обрабатывает выходы полей восприятия, преобразуя их в более сложную интерпретацию сцены.
Наблюдения за тем, как «видят» люди, и вдохновили разработчиков на изобретение так называемых сверточных нейронных сетей (CNN – convolutional neural networks). Самый низкий слой CNN состоит из большого числа фильтров, которые многократно применяются к изображению. Каждый из этих фильтров, как и рецептивные поля, может видеть только небольшие смежные участки изображения.
Глубокое обучение за счет оптимизации параметров на множестве изображений решает, что «замечает» каждый фильтр. Каждый фильтр выдает на выходе уверенность, что видел конкретный признак, им представляемый (например, черную линию). Более высокие слои CNN организованы иерархически, как и неокортекс. Они принимают выход уверенности от более низких слоев и обнаруживают более сложные признаки.
Например, если в CNN загружается изображение зебры, фильтры нижнего слоя могут искать в каждой области изображения только черные и белые линии, а более высокие слои будут видеть полоски, уши и ноги в больших зонах. Следующие слои могут увидеть множество полос, два уха и четыре ноги. На самом высоком слое части CNN могут целенаправленно пытаться отличить зебру от лошади или тигра.
Обратите внимание: все эти примеры иллюстрируют, что CNN может делать, но в реальной работе сеть сама решает, какие признаки (полосы, уши или вообще нечто лежащее за рамками человеческого понимания) будут использованы для максимизации целевой функции.
CNN – это специфическая и улучшенная архитектура глубокого обучения, разработанная для компьютерного зрения, с различными вариантами для изображений и видео. Идея таких сетей возникла в 1980-х годах, у ученых тогда не было ни достаточного объема данных, ни вычислительных мощностей, чтобы продемонстрировать, на что эти сети способны.
Только в 2012 году стало ясно, что данная технология превосходит все предыдущие подходы к компьютерному зрению. По счастливому совпадению, примерно в это же время пользователи сняли на сильно подешевевшие и из-за этого массово распространившиеся смартфоны огромное количество фото и видео и выложили их в социальные сети. Примерно тогда же стали более доступными быстродействующие компьютеры и хранилища данных большого объема. Все эти факторы в совокупности способствовали рывку в развитии и распространении этой замечательной технологии.
ДИПФЕЙКИ
«Президент Трамп – полный и абсолютный ушлепок», – заявил однажды на камеру президент Обама… Ну или это был человек, который выглядел и говорил совсем как Барак Обама. В конце 2018 года видео стало вирусным, но это был дипфейк – поддельный ролик, смонтированный с помощью технологии глубокого обучения. Известны даже авторы – режиссер Джордан Пил и новостная интернет-медиакомпания BuzzFeed.
Пил записал фразу, ИИ преобразовал голос режиссера в голос Обамы. Затем ИИ взял реальное видео Обамы и отредактировал так, чтобы оно максимально соответствовало словам, включая артикуляцию, соответствующую мимику и выражение лица.
Джордан Пил сделал это с конкретной целью – так он хотел предупредить людей о скором наступлении дипфейков, что, собственно, и произошло. Уже в том же году в интернет оказались загружены несколько дипфейковых порнороликов со знаменитостями, это привело к скандалу и в конечном счете к новому закону, призванному решить эту проблему. Но появление дипфейков это уже не остановило.
В Китае в 2019 году было создано приложение, способное за считаные минуты превратить ваше селфи в главного героя какого-нибудь известного фильма. Оно сохраняет оригинальный саундтрек, что существенно снижает технологические требования к процессу.
Программа Avatarify возглавила в 2021 году рейтинг Apple App Store. Она «оживляет» любую фотографию, заставляя человека на ней петь или смеяться.
Короче говоря, дипфейки вдруг стали мейнстримом, и уже любой юзер без особого труда может сам изготовить фейковое видео (пусть и дилетантское, и видимое для детекторов, а зачастую и для человеческого глаза).
Сказанное означает, что в будущем возможна подделка любого цифрового материала, будь то онлайн-видео, заранее записанная речь, кадры с камеры видеонаблюдения или видео с уликами из зала суда. В нашей истории Амака использует инструменты, гораздо более продвинутые, чем имелись в распоряжении Пила, создает сложное, высококачественное видео, подделку, которую не распознает ни человеческий глаз, ни обычное программное обеспечение для обнаружения дипфейков.
Сначала он использует инструмент для преобразования любого текста в звукоряд, который станет неотличим от голоса Репо. Затем он синхронизирует эту речь с лицом Репо с соответствующей мимикой и эмоциями. Далее это лицо накладывается на изображение АФАКа из ранее снятого видео с соответствующими руками, шеей, ступнями и даже его уникальными паттернами пульса и дыхания. А продвинутый ИИ образца 2041 года обеспечивает совершенно бесшовное соединение всех частей тела в нужных местах.
Помимо этого подхода к созданию «фейковых людей», основанного на видео, существует еще 3D-подход, включающий в себя построение трехмерной модели человека исключительно с помощью вычислений. Именно так, например, снимаются полнометражные анимационные картины вроде «Истории игрушек»30.
Данный подход базируется на другой области информатики – на компьютерной графике. В ней все моделируется математически, и для волос, ветра, света, теней и проч. нужно разрабатывать реалистичные математические модели. Этот трехмерный подход обеспечивает «продюсера» гораздо большей свободой действий, позволяя ему манипулировать каждым персонажем, как только заблагорассудится, однако и сложность, и требования к вычислительным мощностям тут намного выше.
Компьютеры в 2021 году еще не умеют снимать полнометражные фильмы с использованием 3D-видео, способного обмануть человеческий глаз (вот почему люди в анимационных фильмах выглядят не вполне реалистично), не говоря уже о программах-детекторах. Но к 2041 году наверняка появятся фотореалистичные 3D-модели, о которых мы подробнее поговорим в других главах этой книги – «Воробьи-близнецы» и «Мой призрачный кумир».
Джордан Пил создал дипфейк ради развлечения и в назидание, а в нашем рассказе агент Чи вербует Амаку для изготовления дипфейка с конкретным злым умыслом. Помимо распространения сплетен дипфейки могут быть использованы для шантажа, преследования, клеветы, манипуляций на выборах.
Как делаются дипфейки? Как научить ИИ выявлять их? Кто победит – софт для создания дипфейков или программы для их обнаружения? Чтобы ответить на эти вопросы, необходимо разобраться в механизме, который генерирует дипфейки, – в генеративно-состязательных сетях (GAN – generative adversarial networks).
ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫЕ СЕТИ (GAN)
Дипфейки базируются на технологии, называемой генеративными состязательными сетями. Как следует из названия, GAN – это пара «состязательных» нейронных сетей глубокого обучения. Первая сеть, генератор, пытается создать что-то, что выглядит реалистично (скажем, синтезированное изображение собаки), основываясь на миллионах изображений собак.
Вторая сеть, дискриминатор (сеть-детектив), сравнивает синтезированное изображение собаки из первой сети с подлинными изображениями собаки и определяет, является ли выход генератора подлинным или фальшивым.
Основываясь на обратной связи от дискриминатора, генератор переобучается так, чтобы в следующий раз обмануть дискриминатор. Он самокорректируется, минимизируя «функцию потерь», то есть различия между сгенерированным и реальным изображением. Затем переобучается и дискриминатор, и ему становится легче распознавать фейки – «функция потерь» максимизируется. Эти два процесса повторяются миллионы раз; обе сети совершенствуют свои навыки до тех пор, пока не возникает устойчивое равновесие.
Первая статья о GAN была опубликована в 2014 году. Ее автор Ян Гудфеллоу показал, как генератор сначала создал симпатичную, но явно фейковую «собаку-мячик», которую дискриминатор мгновенно обнаружил, и как первая сеть постепенно научилась создавать фейковые изображения собак, неотличимые от реальных. С тех пор эту технологию применили к видео, речи и многим другим типам контента, в том числе и для создания печально знаменитого видео Обамы, о котором я упомянул ранее.
Можно ли обнаружить дипфейки, созданные GAN? Из-за их относительно рудиментарной природы и ограничений современных вычислительных мощностей большинство дипфейков сегодня обнаруживаются алгоритмами, а иногда и видны невооруженным человеческим глазом.
Facebook◊ и Google уже вступили в состязание по разработке софта для обнаружения дипфейков. Эффективные детекторы дипфейков можно создать и сегодня, но это требует огромных вычислительных мощностей, что является весьма серьезной проблемой, если на ваш веб-сайт ежедневно загружаются миллионы видео и фото.
Однако в долгосрочной перспективе наибольшая сложность состоит в том, что GAN оснащена встроенным механизмом для апгрейда сети-генератора. Допустим, вы обучили генератор GAN, а кто-то другой придумал новый алгоритм для обнаружения вашего дипфейка. Вы можете просто переобучить генератор GAN, чтобы обмануть этот алгоритм-дискриминатор. Так начинается что-то вроде гонки вооружений – каждая из сторон старается переобучить лучшую модель на еще более мощном компьютере.
В нашем рассказе более ранний ролик (про мальчика-вампира) Амака изготовил с помощью относительно простых инструментов в интернет-кафе, на минимальных вычислительных мощностях. Видео получилось достаточно хорошим, чтобы обмануть людей; в 2041 году фейковые видео были уже вполне убедительными, чтобы люди не отличали их от реальных.
Однако видео не смогло обмануть GAN-детектор сайта, на котором его разместили (его обучали с использованием гораздо больших вычислительных мощностей), поэтому оно впоследствии было удалено с сайта и заблокировано.
А позже Чи предоставил Амаке мощный компьютер для обучения сложной GAN, умеющей генерировать не только лицо, но и кисти рук, пальцы, походку, жесты, голос и мимику. Кроме того, эта GAN обучалась на огромном количестве данных, доступных в сети по такой знаменитости, как Репо – мишень Амаки. В результате Амака сумел обмануть все обычные детекторы дипфейков.
Представьте себе ювелирный магазин с пуленепробиваемыми витринами, способными защитить от любых видов стрелкового оружия. Но если у преступника будет ручной противотанковый гранатомет (РПГ), никакое пуленепробиваемое стекло перед ним не устоит. Так что все дело в мощности компьютера.
К 2041 году антидипфейковые программы станут похожими на сегодняшний антивирусный софт. Правительственные, новостные и другие сайты, для которых достоверность информации критически важна, не потерпят фальшивого контента и потому будут устанавливать высококачественные детекторы дипфейков, предназначенные для выявления подделок с высоким разрешением, которые, в свою очередь, создадут крупные сети GAN, обученные на мощнейших компьютерах.
Сайты со слишком большими объемами видео- и фотоматериала (например, социальные сети и YouTube) столкнутся с проблемой высокой стоимости сканирования всего загружаемого контента с помощью высококачественных детекторов дипфейков, поэтому они, скорее всего, начнут использовать для всего медиаконтента детекторы низкого качества, а более качественный софт применять, только когда популярность видео или изображения покажет экспоненциальный рост.
Поскольку фейковое видео Амаки должно было стать вирусным, его нужно было обучить на самом мощном компьютере с наибольшим объемом данных, чтобы его не могли обнаружить самые качественные антидипфейковые детекторы.
Следует ли считать цель стопроцентного обнаружения дипфейков безнадежной? В очень долгосрочной перспективе это может стать возможным благодаря применению совершенно другого подхода – аутентификации каждой фотографии и видео, когда-либо снятых каждой камерой или телефоном, с использованием в момент съемки технологии блокчейн (она гарантирует, что оригинал не изменялся).
Тогда любое фото, загруженное на сайт, должно будет сопровождаться блокчейн-авторизацией. Такой процесс действительно сделает дипфейки невозможными. Однако к 2041 году такой апгрейд еще будет немыслим – ведь для этого требуется, чтобы технология блокчейн использовалась абсолютно на всех устройствах (точно так же, как сегодня все AV-ресиверы используют Dolby Digital), и она должна стать достаточно быстрой для обработки данных в огромных масштабах.
Мы надеемся, что пока у нас нет такого долгосрочного решения, основанного на блокчейне или аналогичной технологии, инструменты для обнаружения дипфейков будут постоянно совершенствоваться. А поскольку они вряд ли будут идеальными, нам также потребуются законы, жестко наказывающие за создание злонамеренных дипфейков и тем самым сдерживающие пыл злоумышленников.
Так, в 2019 году в Калифорнии приняли закон, запрещающий использование дипфейков для порно и для манипуляций с видео с политическими кандидатами в преддверии выборов. Нам, по всей вероятности, потребуется научиться жить в новом мире (до тех пор пока не заработает блокчейн-решение), в котором любой онлайн-контент, независимо от его реалистичности, должен подвергаться сомнению.
Следует также отметить, что помимо создания дипфейков GAN можно использовать для вполне конструктивных задач – «состаривания» или «омоложения» фотографий, раскрашивания старых черно-белых фильмов и фото, создания анимированных живописных полотен (например, Моны Лизы). Можно увеличивать разрешение фотографий, обнаруживать глаукому, прогнозировать последствия изменения климата и даже изобретать новые лекарства.
Так что не стоит думать о GAN только в связи с дипфейками – как в случае с большинством новых прорывных новшеств, позитивные способы применения этой технологии со временем наверняка превзойдут по численности негативные.
ВЕРИФИКАЦИЯ ЛЮДЕЙ С ПОМОЩЬЮ БИОМЕТРИИ
Биометрия – это область изучения физических характеристик человека с целью их дальнейшего использования для проверки и подтверждения личности. То, как сложная GAN использовалась в рассказе «Боги под масками», представляет собой одну из форм биометрической верификации. Там GAN объединяла важные признаки, включая распознавание лиц, походки, геометрии ладоней и пальцев, идентификацию говорящего, распознавание вен и жестов.
В реальности биометрия обычно применяется в режиме реального времени с помощью специальных датчиков, а не путем извлечения необходимых данных из видеозаписи, как это показано в нашем рассказе. Например, радужная оболочка человеческого глаза и отпечатки пальцев уникальны для каждого человека и идеально подходят для проверки личности.
Распознавание радужной оболочки глаза считается наиболее точным методом биометрической идентификации. Чтобы верифицировать личность таким способом, глаза объекта фотографируют в инфракрасном свете, а снимок сравнивают с радужной оболочкой человека, которого проверяют.
Распознавание отпечатков пальцев – также чрезвычайно точная методика. Однако и в том и в другом случае требуется согласие объекта и специальное оборудование с датчиками ближнего действия31, поэтому в ситуации с видеозаписями из нашей истории эти методы использовать было бы невозможно.
Последние достижения в области глубокого обучения и GAN продвинули область биометрии далеко вперед. Получив любой биометрический параметр (например, голос или лицо), ИИ уже сегодня превосходит людей в деле верификации или распознавании личности. А в ситуациях, когда есть возможность собрать и объединить множество признаков, точность, по сути, будет абсолютной.
К 2041 году ИИ, без всяких сомнений, возьмет на себя рутинную задачу по распознаванию и верификации людей. Я также берусь утверждать, что в следующие двадцать лет использование интеллектуальной биометрии для уголовных расследований и криминалистики позволит нам раскрывать гораздо больше преступлений и существенно снизит уровень преступности.
БЕЗОПАСНОСТЬ ИИ
Как известно, по ходу технического прогресса возникают новые области уязвимости и повышаются риски безопасности для всех вычислительных платформ: вирусы – для ПК, кража личных данных – для кредитных карт, спам – для электронной почты. А поскольку ИИ все больше становится мейнстримным явлением, ему тоже не избежать атак на особенно уязвимые места. И дипфейки – это лишь один из множества вариантов.
Уязвимым местом ИИ являются границы, разделяющие его решения, которые можно примерно оценить и использовать для маскировки входных данных, заставляя ИИ ошибаться. Например, один исследователь разработал солнцезащитные очки. Если их надеть, ИИ верифицирует тебя как Миллу Йовович. А другой наклеил на дорогу стикеры, и автопилот Tesla Model S сменил полосу движения и выехал на встречную полосу.
В самом начале нашего рассказа Амака использует маску, чтобы обмануть систему распознавания лиц на вокзале. Так вот, маскировка такого типа очень пригодилась бы военным – только представьте, что танк можно замаскировать под, скажем, машину скорой помощи!
Еще один тип атаки называется отравлением (poisoning). Процесс обучения ИИ намеренно искажается за счет загрязнения обучающих данных, обученных моделей или самого процесса обучения. Это приводит к систематическому отказу ИИ в целом или к тому, что контроль над ИИ могут получить злоумышленники.
Только представьте себе боевые дроны, взломанные и перенаправленные террористами на их создателей! Такие атаки хуже обычного хакерства: ИИ-модели отладить очень нелегко, они представляют собой чрезвычайно сложные уравнения, имплементированные в тысячах слоев нейронных сетей, а не в детерминированном компьютерном коде.
Впрочем, несмотря на многие проблемы и трудности, мы уже сегодня можем предпринять некоторые меры: усилить безопасность среды обучения и исполнения; создать инструменты для автоматической проверки на наличие признаков отравления и разработки технологий, специально предназначенных для борьбы с подделкой данных.
Нам удалось с помощью технологических инноваций в основном преодолеть проблему спама и компьютерных вирусов, вот и безопасность ИИ обязательно будет усиливаться, хотя, конечно, время от времени атаки на него все же неизбежны (точно так же, как мы по-прежнему периодически подвергаемся атакам спама или вирусов).
Уязвимость, порождаемую техническим прогрессом, всегда устраняли или как минимум ослабляли благодаря новым технологическим решениям.
Глава 3. Воробьи-близнецы
Мы оба, милый друг, солнце и луна, море и суша.
Цель не в том, чтобы слиться друг с другом,
а чтобы познать друг друга и научиться видеть
и уважать в другом то, чем он является:
противоположность и дополнение другого.
Герман Гессе, «Нарцисс и Златоуст»
РАССКАЗ ПЕРЕВЕДЕН БЛЭЙКОМ СТОУН-БЭНКСОМ
Примечание Кай-Фу: В этой истории исследуется будущее образования, основанного на искусственном интеллекте. В ней мудрые ИИ-учителя, замаскированные под виртуальных друзей, помогают двум корейским сиротам-близнецам реализовать их человеческий потенциал. Благодаря направлению ИИ под названием «обработка естественного языка» (ОЕЯ), которое, по моим оценкам, готово к стремительному росту уже в ближайшее десятилетие (включая способность ИИ самообучаться языкам), эти ИИ-компаньоны умеют свободно разговаривать на человеческом языке. Сможет ли ИИ достичь к 2041 году уровня полноценного человеческого интеллекта? Я отвечу на этот вопрос в анализе-комментарии. Я также опишу недавние прорывы в области ОЕЯ, такие как алгоритм GPT-3 и другие успехи в стремлении ИИ понять язык.
– Да, погода сегодня шикарная, – завела светскую беседу Ким Чи Юн, директор закрытой школы-интерната «Источник». С посетителями, дорого и нарядно одетыми супругами Пак – Чжун Хо и Хе Джин, она была хорошо знакома. Кабинет и вправду заливало солнце, через арочные окна хорошо просматривался школьный двор.
– Я уверена, вам известно, что наши ресурсы очень ограничены, – перешла к делу директриса (ее тут называли Мама Ким). – Мало кто беспокоится, на какие средства заведения вроде нашего должны раскрывать таланты воспитанников. Но мы в «Источнике» стараемся восполнить этот пробел. У нас своя технология, и мы ее запатентовали. Мы обеспечиваем развитие детей, учитывая их потенциал, сколько бы времени они ни оставались с нами. Ой, да что это я – вы же отлично все это знаете.
Чжун Хо откашлялся:
– Мы с Хе Джин большие поклонники ваших достижений, именно поэтому наш фонд Delta Foundation так щедро вас поддерживает. Но сегодня мы к вам не как члены попечительского совета.
Он бросил быстрый взгляд на жену, Хе Джин подбодрила его ответным взглядом и кивнула.
– Видите ли, – продолжил Чжун Хо, – мы с Хе Джин решили усыновить ребенка.
– Неожиданно! – Мама Ким обрадовалась. – Вы кого-то присмотрели?
– Они все кажутся замечательными, – включилась Хе Джин, – но нас заинтересовали мальчики-близнецы.
– Воробьи, Золотой и Серебряный… – протянула Мама Ким и понизила голос. – Вы в курсе, что для усыновления двоих семейную экспертизу придется пройти дважды?
– Да, но нас это не беспокоит, – голос Джун Хо не дрогнул.
Мама Ким проводила Паков в светлую просторную гостиную с пушистым ковром на полу. Вскоре в комнату привели двух шестилетних мальчиков. Их можно было бы принять за клонов: одинаковые темные вьющиеся волосы, тонкие изогнутые брови, немного поджатая верхняя губка и прелестные веснушки на носу – разной была только одежда. Кроме нее, Паки в первый момент не заметили между близнецами никакой разницы.
Чжун Хо и Хе Джин поднялись навстречу детям, но мальчишки среагировали совершенно по-разному. Один шагнул навстречу, другой отступил подальше и забился в угол.
– Золотой Воробей, Серебряный Воробей, – обратилась к воспитанникам Мама Ким. – Это Чжун Хо и Хе Джин Пак. Они хорошие друзья нашей школы. Они хотят с вами познакомиться.
– Здравствуйте, Чжун Хо. Здравствуйте, Хе Джин, – вежливо кивнул мальчик, что был побойчее. – Вы хотите забрать нас к себе?
Чжун Хо и Хе Джин улыбнулись и переглянулись – они не ожидали столь прямого вопроса от ребенка и не были готовы ответить.
А мальчик в углу молчал. Он опустил голову и старательно выводил ногой спираль на ковре.
– Хочешь, угадаю, кто ты? – Хе Джин присела, чтобы оказаться на одном уровне с разговорчивым парнишкой. – Ты – Золотой Воробей. Так ведь?
– Чего тут гадать-то?! – довольно резко отреагировал на такое откровенное заигрывание парнишка. – Мы – однояйцевые близнецы с геномными данными, различающимися только в одной последовательности из миллиона. На самом деле мы разные.
Развернутый научный ответ не по годам развитого шестилетнего крохи ошарашил Чжун Хо и Хе Джин.
– Ну, а как вообще у тебя дела? – Чжун Хо не смог быстро переключиться со взятого женой, видимо, все-таки неверного тона. – Во что ты любишь играть?
– Я не люблю играть, – не повелся на сюсюканье Золотой Воробей. – Я предпочитаю соревноваться.
– Ух ты! И в чем же ты соревнуешься?
– Лично я могу соревноваться в чем угодно. С помощью Атомэна я недавно победил на конкурсе дизайнеров.
– Атомэна? – переспросил Чжун Хо.
– Это ИИ-компаньон Золотого Воробья, – объяснила Мама Ким. – В нашей школе такой есть у каждого ребенка, его предоставляет система vPals, «виртуальные приятели». Компаньоны помогают воспитанникам справляться с расписанием, делать уроки и даже играют с ними.
Пока Мама Ким объясняла, в XR-очках Чжун Хо вспыхнуло приглашение к обмену данными – это постучался Золотой Воробей. Посетитель его, похоже, заинтересовал. Чжун Хо повел глазами: «ОК». Силуэт мальчика в XR-поле засветился красным, вокруг замерцало пиксельное пламя. Оно стремительно преобразовывалось, пока не превратилось в красного робота с угловатым контуром. От фигуры веяло агрессией, во все стороны летели яркие искры – и Чжун Хо шутливо вскинул руки: «Сдаюсь!»
– Вот, это мой лучший друг Атомэн, – Золотой Воробей торжествовал. Пока все происходило как он хотел – взрослый дяденька полностью подчинился.
А Серебряный Воробей исподлобья наблюдал за происходящим, так и не выбравшись из своего угла.
Хе Джин шагнула к молчащему мальчику:
– Ну, а как зовут твоего ИИ-компаньона?
Серебряный Воробей не ответил. Хе-Джин наклонилась, протянула руку – хотела подбодрить. Мальчишка отпрянул, и тут Хе Джин разглядела особую примету: на правом веке Серебряного Воробья виднелся малюсенький шрам в форме лепестка розы.
Бойкий Золотой Воробей опять подал голос:
– Его ИИ-компаньонку зовут Солярис. По мне, так это просто какой-то мешок соплей, настоящее позорище.
Серебряный Воробей впервые с момента появления в комнате поднял голову, бросил на брата испепеляющий взгляд и тут же опять отвел глаза.
– Солярис – не мешок соплей! – выкрикнул он.
– Да точно мешок соплей! Ты просто дурак и этого не понимаешь, а у тебя самого изо рта вечно воняет соплями!
Серебряный Воробей немедленно пришел в ярость, и в сторону брата полетели отборные ругательства. Мама Ким немедленно подала знак, и мальчиков увели, пока ситуация совсем не вышла из-под контроля. Стало тихо, но общее молчание было очень неловким.
– Как видите, близнецы очень разные, – принялась оправдываться директриса. – Но оба замечательные. Итак…
– Да уж, впечатляюще, – Чжун Хо пытался осознать увиденное, говорил с Мамой Ким, но смотрел при этом на жену. – Нам, пожалуй, нужно подумать. Мы с супругой все обсудим и с вами свяжемся.
Небо уже потускнело. Во дворе зажглись фонари. Роскошный автомобиль увозил чету Паков – следом летели опавшие листья, которые не успели убрать с дорожки кампуса. Мама Ким одновременно ощутила облегчение и сожаление.
Ей не требовалось слышать, что решат усыновители, она и так это знала. Выбор любой пары, твердо, как Паки, придерживающейся принципов рациональности и эффективности, был бы таким же. Мама Ким не ошиблась – через неделю они пришли забрать Золотого Воробья. Без Серебряного.
Три года назад, зимней снежной ночью, во двор школы «Источник» медленно въехал фургон управления соцобеспечения. Два дрожащих близнеца вцепились в сопровождавшую их медсестру, и Мама Ким с трудом сумела разжать детские ручонки. Дети из-за толстых пуховиков казались еще меньше, чем были на самом деле – просто какие-то две заснеженные сосновые шишки, готовые вот-вот упасть с дерева.
Несколько часов назад родители малышей погибли в автокатастрофе. Их отец по какой-то неведомой причине отключил автопилот, и машина потеряла управление на обледенелой дороге. Автомобиль пробил ограждение и рухнул с десятиметрового обрыва. Супруги, сидевшие впереди, погибли мгновенно. Детей – двух трехлетних мальчиков-близнецов – спасатели извлекли с заднего сиденья. На одном не было ни царапины, у второго – небольшая ссадина на правом веке.
Полиция и социальные службы попытались отыскать родственников сирот – безуспешно. Позвонили в интернат Маме Ким, и она велела их везти – была уже ночь, дети маленькие, что-то решать надо срочно. Мама Ким отвела братьев в тепло, раздела, подогрела молока. Проголодавшиеся малыши схватили по чашке. Они старались не облиться и не подавиться, но один шумно прихлебывал, а второй пил медленнее и осторожнее – в общем, оба занялись делом. На их лица стал постепенно возвращаться румянец.
– Надо же! Ну точно нахохлившиеся воробьишки, – умилилась Мама Ким. – Золотой Воробей и Серебряный Воробей. Как вам такие новые имена? Ну, кто из вас какой?
Будущий Золотой Воробей протянул директрисе опустевшую чашку, продемонстрировав молочные усы и широкую улыбку.
– Разве это не счастье? – продолжала рассуждать вслух Мама Ким. – Думаю, ты у нас будешь Золотым Воробьем.
Серебряному Воробью не осталось выбора, но это его, казалось, совершенно не тронуло. Он еще не осилил и половины молока – а оно уже совсем остыло. Малыш безучастно смотрел в чашку, крепко держал ее двумя руками, и происходящее вокруг его абсолютно не занимало.
Учеба близнецов в «Источнике» пошла неплохо, но вот эмоционально детям пришлось нелегко. Золотой Воробей очень скучал по маме, поэтому иногда принимался громко рыдать. Серебряный тоже иногда плакал, но тихо – он только молча утирал слезы.
Если выдавалось свободное время, Мама Ким и другие сотрудники интерната старались уделить близнецам внимание и частенько укладывали их спать – пели колыбельные, как папа или мама, старались обнять и утешить. Золотому Воробью это нравилось, Серебряный, в отличие от брата, противился любому прикосновению. Впрочем, мальчик так же старательно избегал и зрительного контакта.
Опытная Мама Ким сразу отметила про себя нетипичное для ребенка такого возраста поведение Серебряного Воробья.
В облачном хранилище социальной службы нашлись медицинские карты и поведенческие данные братьев, и это позволило без проблем включить их в соответствующую школьную систему. Как выяснилось, поведение Серебряного Воробья не было последствием психологической травмы, полученной в аварии, точно так же странно он вел себя еще до трагедии и до поступления в «Источник».
Золотой Воробей сразу проявил себя как авантюрный и импульсивный; привычки и поступки Серебряного, казалось, были кем-то запрограммированы. В медкарте обнаружилась пометка: малыш еще только учился ходить, но двигался по детской практически всегда по одной и той же траектории.
Когнитивных нарушений, гиперактивности, эпилепсии или чего-то подобного у Серебряного Воробья врачи не выявили и объявили его просто невероятно тихим ребенком, погруженным в собственный мир. Серебряный мог целыми днями не шевелясь смотреть на что-нибудь движущееся, особенно его привлекали вращающиеся лопасти вентилятора. Однако медицинский искусственный интеллект проанализировал взгляд, мимику, голос, жесты ребенка и заключил: с вероятностью 83,14 процента у мальчика РАС – расстройство аутистического спектра, синдром Аспергера.
Как педагог Мама Ким изучила массу данных о таких детях. Она проштудировала обширные клинические данные и знала: у них формируются отличные от обычных детей паттерны мышления и когнитивного функционирования. Многие особенности, проявившиеся в раннем детстве, остаются на всю жизнь. Таким детям, чтобы они стали максимально похожи на обычных, как правило, рекомендуют индивидуальную методику обучения.
Однако лично Мама Ким считала, что ребенка с синдромом Аспергера совсем не обязательно стараться сделать нормальным. Как любое дитя в мире, он нуждается только в одном – возможности стать наилучшей версией самого себя.
Когда близнецы немного освоились в школе, Мама Ким привела их в комнату с компьютерами и другими хитрыми приборами. Она сказала мальчикам, что сейчас каждому из них сделают «волшебного друга».
Среди персонала «Источника» была колоритная парочка: стройная симпатичная Сун и пухлый Гван. Оба – здешние выпускники, друзья еще со школьных времен. Мама Ким предложила им остаться в альма-матер, и теперь они обслуживали ИТ-систему интерната и обеспечивали разнообразную техническую поддержку.
Гван просканировал тела братьев и создал каждому цифрового компаньона, связав полученные ИИ-объекты с личными данными мальчиков в облачном хранилище. Сун аккуратно прикрепила к запястьям детей мягкую биоленту, чтобы в режиме реального времени записывать их физиологические и поведенческие данные и тоже синхронизировать их с облаком. Мама Ким присутствовала и внимательно наблюдала за манипуляциями.
Сун надела на близнецов гибкие смарт-очки особой, «детской» формы – они дополнительно укреплялись на ушах, поэтому не могли случайно свалиться. В снятом и сложенном состоянии очки выглядели обычно, однако были оснащены XR-оверлеем – графической накладкой для расширенной реальности, поэтому легко превращались в полноценные XR-очки, только детского размера.
Золотой Воробей взвизгнул от восторга и сразу встал в воинственную позу «луч смерти» – точь-в-точь как Атомэн, любимый аниме-супергерой. Серебряный Воробей еще долго нервно ощупывал запястья и уши, и выражение лица у него было такое, словно на него нацепили каких-то ядовитых гусениц.
– А теперь выберите голос, который вам нравится, – Сун настроила vMirror, прибор, напоминающий зеркало. Через XR-слой смарт-очков мальчики увидели появившийся в vMirror интерфейс. А Сун теперь видела то же, что и дети.
Близнецы могли взаимодействовать с виртуальным образом – говорить с ним, жестикулировать или корчить рожицы. Взрослые это называют «создавать и изменять любой контент». Виртуальное зеркало VMirror служило инструментом взаимодействий с искусственным интеллектом «Источника».
Сун взяла мальчиков за руки и показала, как заставить их персональных компаньонов заговорить. Регуляторы были интуитивно понятны, и четырехлетние малыши быстро их освоили. Золотой Воробей определился быстро – его ИИ-компаньон, будущий Атомэн, получил героический хрипловатый баритон.
Серебряный Воробей выбирал долго, пока не остановился на мягком и нежном женском голосе, напоминавшем о маме.
– Теперь решим, как станут выглядеть ваши ИИ-партнеры. Лепите что захотите, – и Сун дала каждому по полупрозрачному комку, напоминавшему мячик или кусок пластилина.
Золотой Воробей немедленно схватил и принялся мять свой пластичный комок – vMirror, реагируя на жесты мальчика, «лепило» виртуального ИИ-партнера. Он становился похож то на жука, то на рыбу, то вообще на какую-то недоразвитую панду. Серебряного Воробья происходившее пугало, но и вызывало любопытство, поэтому он исподтишка наблюдал за братом.
Золотой Воробей увлекся и не замечал ничего вокруг. Наконец «мяч» превратился в маленького красного Атомэна – мальчик удовлетворился его видом и больше не стал ничего менять. Виртуальный супергерой потянулся, дрыгнул ногами и поприветствовал Золотого Воробья, назвав по имени. Мальчик завопил от восторга и захлопал в ладоши, сразу признав своего виртуального приятеля.
– Ну, Серебряный Воробей, теперь ты, – Сун поторопила второго мальчика. Серебряный Воробей вгляделся в свое отражение в виртуальном зеркале, отпрянул и едва слышно прошептал: «Я… Я не хочу».
Мама Ким наклонилась, стараясь даже случайно не задеть мальчика.
– Ты не хочешь, чтобы у тебя был собственный друг? И чтобы тебе всегда было, с кем играть? Вы все сможете делать вместе, он станет тебе помогать…
– Я не… Это уродство! – Серебряный Воробей отбросил пластичный комок и поджал губы.
Все, кроме Золотого Воробья, от неожиданности засмеялись. Золотой Воробей занимался своим Атомэном и ничего не слышал.
– Давай так поступим, – нашлась Мама Ким. – Пусть у твоего компаньона будет пока только голос. Хорошо? А когда ты придумаешь, как он должен выглядеть, то сможешь придать ему любую форму. Годится?
Большинство людей при первом взгляде на Золотого и Серебряного Воробьев видели абсолютные – пиксельные – копии. Но вскоре наблюдатель замечал, что мальчики сильно различаются.
Контрастировали даже аватары их виртуальных друзей (их называли в школе vPals). Любой посетитель «Источника» замечал в общедоступном XR-слое ярко-красное пламя ИИ-компаньона Золотого Воробья, через год обретшего совершенно четкий облик – это был грозный Атомэн.
Вдохновленный обожаемыми ретромультиками, мальчик придал базовой форме Атомэна вид игровой приставки Nintendo Famicom образца 1985 года. Красно-белое устройство, бешено вращаясь, трансформировалось в крутого красного робота-супергероя.
Золотой Воробей и Атомэн стали неразлучны:
– Эй, я сделал домашку, давай погоняем в машинки! – кричал Золотой Воробей виртуальному приятелю.
– Ну нет, – мог, однако, ответить Атомэн, – у тебя многовато ошибок. Видишь, сколько красных пометок? Можно сделать лучше. Так что сначала пара-тройка упражнений, а потом гонка. Обещаю.
– Ф-у-у, опять?! Да ты зануднее любой училки!
Золотой Воробей обижался, злился, надувался и пыхтел, но понимал: все равно придется сделать то, что предлагает Атомэн. У мальчика с ИИ-компаньоном было полное взаимопонимание. Связь основывалась прежде всего на продуманной системе вознаграждений и наказаний, применяемой Атомэном, однако немалую роль играло и полное доверие Золотого Воробья виртуальному другу.
Атомэн всегда был рядом: он помогал, если возникали какие-нибудь проблемы, участвовал в играх – и подопечный ощущал себя значимым и нужным. Золотой Воробей, естественно, изо всех сил старался оправдать ожидания Атомэна. Когда это удавалось, шестеренки на теле робота начинали бешено крутиться, а красные огоньки – мигать. Так Атомэн выражал восторг.
ИИ-партнер внимательно наблюдал за реакциями Злотого Воробья, поэтому Атомэн эволюционировал в соответствии с его адаптивными vPals-алгоритмами. ИИ-партнер заметил, что мальчик чрезвычайно азартен, учится гораздо быстрее и лучше, когда есть конкуренция. И Атомэн стал подбивать Золотого Воробья на соревнования, связанные с учебой.
В «Источнике» эту яркую парочку знали все. Они часто придумывали разные конкурсы: по орфографии, географии, киберспорту и так далее. Дуэт устраивал розыгрыши и шалил. Однажды Золотой Воробей подбил Атомэна перепрограммировать старых роботов-уборщиков, найденных в кладовке, – и те открыли охоту на ничего не подозревающих сотрудников школы. А вирус «Лицо-призрак», запущенный в школьную компьютерную сеть, заставил компьютеры по секретной команде подменять смешными рожицами учебные задания по разным предметам, выведенные на дисплеи.
Сун и Гвану приходилось ликвидировать эти безобразия – чаще они веселились, но иногда раздражались. Виновник всегда был один, так что скоро они даже перестали поднимать логи – и так ясно, что это проделки Золотого Воробья и Атомэна. Однако все эти шалости полностью вписывались в изначальный замысел Мамы Ким.
Близнецы относились к первому поколению, вплотную столкнувшемуся с искусственным интеллектом в столь юном возрасте, и большинство их ровесников, судя по всему, отлично нашли общий язык со своими виртуальными компаньонами.
Но Серебряный Воробей очень отличался от сверстников.
Нескольких месяцев его «виртуальный приятель» оставался бестелесным голосом. Через девять месяцев после знакомства с системой vPals Серебряный Воробей наконец создал аватар для своего ИИ-партнера – это обнаружила Сун, когда синхронизировала журналы управления. Партнер Серебряного Воробья походил на амебу – он остался полупрозрачным и менял форму в зависимости от ситуации.
Аватар мог вытянуть щупальца или медленно течь, подобно густой жидкости. Серебряный Воробей много читал, книги часто совершенно не подходили для его возраста. Он назвал свою компаньонку «Солярис» – в честь известного польского научно-фантастического романа.
Никто даже не догадывался, что у странного мальчика появился ИИ-партнер – тоже странный и нежный. Серебряный Воробей частенько просил Солярис обвить его всего ее полупрозрачным телом. XR-слой не обеспечивал подлинных тактильных ощущений, но знание, что почти невидимая Солярис оберегает его, укрывает его тело своим, давало Серебряному Воробью необходимое ощущение защищенности.
С появлением ИИ-партнера Серебряный Воробей стал еще более безразличен к происходящему в школе. Он по необходимости перемещался по зданию, но, добравшись до нужного места, сворачивался в виртуальную куколку. Он все время бормотал, будто какой-то сказочный маг, – нашептывал своей ИИ-компаньонке вопросы и инструкции. Они отображали лишь внутренний мир самого Серебряного Воробья – ничего общего с другими школьниками.
Рабочее место Сун находилось за шумной комнатой для игр и активных занятий. Пересекая ее, девушка каждый раз открывала для себя какие-то удивительные новые навыки и умения учеников, появившиеся благодаря их ИИ-друзьям. Но всегда – без изменений – в одном и том же углу Сун видела одинокую фигурку Серебряного Воробья. Он сидел недвижно, уставившись на обои.
Сун знала: мальчик любит природу, поэтому она часто подбирала листья, перья, веточки – просто, проходя через игровую, клала с ним рядом. Однажды Сун принесла сухую сосновую шишку, и вдруг Серебряный Воробей заговорил.
– Какая красивая!
– Шишка? – немедленно отозвалась Сун, хотя и слегка вздрогнула от неожиданности. – Нравится? Правда, классная?
– Смотри, как разворачиваются спирали… Идеальная последовательность Фибоначчи… Священная геометрическая роза…
Сун не нашлась, что сказать – ее поразил словарный запас, да и понятия были мальчику явно не по возрасту.
– Это же фрактал32, – Серебряному Воробью не было дела до реакции Сун, он продолжал говорить о шишке, и его губы растянулись в улыбке. Для девушки это было как солнечный лучик, пробившийся сквозь плотные облака.
– Ну конечно, фрактал! – с искренним восторгом подтвердила Сун: Серебряный Воробей наконец-то дошел до уровня предметного общения с кем-то, кроме себя самого или своего ИИ-партнера!
Сун села рядом, запустила пальцы в серый ворс ковра. Серебряный Воробей неотрывно смотрел на ее руку.
– Я расскажу тебе один секрет, – тихонько заговорила Сун. – Когда мне было столько лет, сколько тебе сейчас, мне всегда казалось, что я делаю что-то не так. Родители привезли меня в эту школу и уехали. Мне казалось, меня наказали, только я не знала, за что. Меня будто посадили в клетку и держали подальше от остального мира.
Серебряный Воробей не шевелился – девушка не могла понять, слышит он ее или нет.
– Однажды Мама Ким сказала мне, – Сун все-таки решила продолжить, – что не все отцы и матери могут быть родителями и что я тут оказалась не по своей вине. И я поняла: если мне что-то кажется, то не обязательно все так и есть на самом деле. И от этого дверца моей клетки вдруг открылась.
Сун пропустила момент, когда Серебряный Воробей перевел взгляд с ковра на ее лицо.
– Ты умный и добрый, тебя все уважают, – девушка только увидела, что он внимательно на нее смотрит. – Может, и тебе попробовать выглянуть из клетки? Расскажи кому-нибудь о том, что тебе очень нравится, подружись с кем-нибудь. Возможно, мир станет для тебя интереснее.
Серебряный Воробей опять смотрел на ковер и что-то бормотал. Сун вздрогнула – неужели она разрушила чары их мимолетного контакта? Но тут вспыхнул запрос на передачу данных – от Серебряного Воробья. Она немедленно без колебаний согласилась.
Неистовый полупрозрачный видеопоток залил XR-поле Сун. Различные форматы, разрешения, фрагментированные источники – все сплелось в сложном ритме времени и пространства. Образы смешивались, перекрывались, захлестывали визуальным водоворотом. Разобрать хоть что-то удалось только через несколько секунд.
Сун увидела множество разрозненных образов: горы; реки; озера; облака; туманности; десятикратно увеличенные прожилки растений; микроструктуры химических соединений; ускоренную съемку экспериментов в аэродинамической трубе; кадры из фильмов «Звездный путь» и даже повседневную жизнь их школы. Но большая часть была совершенной абстракцией или чем-то незнакомым – львиную долю увиденного программистка не сумела бы описать словами.
Сун машинально прибавила громкость в наушниках и услышала мягкий шум – как будто напор струйки воды менялся вслед за ритмом визуального потока.
Девушка сощурилась – так она лучше видела Серебряного Воробья, сидевшего напротив, и вдруг поняла, что это за странный звук. Серебряный Воробей мог открывать и закрывать глаза, но не уши – для таких, как он, чрезмерная сенсорная стимуляция бывает совершенно физически невыносимой.
– Ты это сам сделал? Потрясающе!
Нижняя губа Серебряного Воробья дрогнула несколько раз – наверное, это была улыбка, и в ухе Сун раздался четкий звуковой сигнал.
– Это была Солярис.
Сун на мгновение онемела – даже ей порой почти невозможно понять этих современных детей с их ИИ-друзьями.
– А почему бы тебе не поделиться своими работами с другими детьми?
– Поделиться? Ты имеешь в виду подарить? – Серебряный Воробей моргнул.
– Не обязательно подарить, можно поделиться другим способом. Но и подарить тоже можно – в знак дружбы или на память. Помнишь, как Томми дарил фигурки-оригами разных животных, внутри которых написал имена?
Серебряный Воробей молчал. Сун подумала, что совершила ошибку и исчерпала свое везение в общении с этим непростым ребенком. Однако через неделю на ее мейл пришел видеострим. Сун открыла послание и увидела свое лицо, которое стало трансформироваться – сначала превратилось в прекрасные цветы, потом в облака, в волны, а закончился цикл опять ее лицом. Над изображением завораживающе-ритмично, гипнотизирующе пульсировали буквы:
И тогда дверь клетки открылась… И тогда дверь клетки открылась… И тогда дверь клетки открылась.
Поток эмоций – радость, облегчение, смутный страх – накрыл Сун. Она переслала видеострим Маме Ким – что директор скажет по этому поводу? Та откликнулась почти немедленно.
– Персонализированную версию этого стрима получили все в школе, и я в том числе, – сообщила Мама Ким. – Все получили – кроме… Угадай, кого?
– Золотого Воробья?
– Точно! Надеюсь, он не решит, что брат намеренно его игнорирует, но придется держать ухо востро и не упускать близнецов из виду.
– Я уговорила Серебряного Воробья поучаствовать в сеульском конкурсе «Художники будущего», он в группе U-6, у него есть реальный шанс.
– И в этом конкурсе безумно хочет победить Золотой Воробей? Н-да, кажется, намечается шоу.
Сун еще раз запустила послание от Серебряного Воробья. Она могла оценить как профи – видео почти волшебное, непередаваемо высокого технического качества. Оно почти вводило в транс. Программистке потребовалось минут десять, чтобы, собрав волю в кулак, оторваться от стрима и заняться работой.
Прошло полгода, как Паки усыновили Золотого Воробья. В «Источник» опять прибыли гости. Дети играли на зеленой лужайке кампуса, гонялись друг за дружкой и совершенно не обратили внимания на прибывших.
Мама Ким заметила их автомобиль издалека и вышла на крыльцо. Новых гостей она поджидала с вежливой улыбкой. Директор знала – в отличие от Паков, их направил в школу не фонд Delta Foundation, а служба по усыновлению. На ее сайте были представлены анкеты детей-сирот из разных образовательных учреждений. Клиенты службы проходили «квалификацию» – обязательную проверку биографических данных, а потом могли выбрать ребенка и встретиться с ним.
– Добро пожаловать, Андрес и Рей, – Мама Ким прямо-таки лучилась дружелюбием и любезностью. – С радостью расскажу вам о нашей школе.
– Отлично, большое спасибо, – поблагодарил директрису Андрес. – Но мы хотели бы поскорее увидеть мальчика. Мы имеем в виду…
– …Серебряного Воробья, – закончили Андрес и Рей в один голос.
Надо сказать, у Мамы Ким вызвала некоторые сомнения одежда пары. Они обернули себя кусками ткани с ярким геометрическим узором, как на картинах авангардиста Кандинского. Материал на вид напоминал синтетическую пленку с острыми неровными краями.
– Возможно, вы знакомы с биографией мальчика, но я бы хотела еще раз напомнить, – Мама Ким посуровела. – Серебряный Воробей особенный и чувствительный ребенок, его очень легко перевозбудить.
Директор увидел, как Рей снимает ярко-желтые солнцезащитные очки; серьезность его гостей соответствовала серьезности тона педагога.
– Директор Ким, вы, возможно, привыкли к другим родителям, но, поверьте, мы никогда не поставим свои интересы выше безопасности нашего ребенка. Правда, Андрес?
Андрес кивнул и отбил пальцами четкий ритм на запястье другой руки. И гости внезапно начали как бы таять, словно мороженое на солнце. Острые геометрические края одеяний на глазах смягчились до текстуры шерстки пушистой зверушки. Яркие насыщенные цвета поблекли, сменились природными пастельными тонами.
– Надо признать, это весьма… предусмотрительно, – Мама Ким довольно кивнула и провела их в приемную.
Серебряный Воробей сидел на диване, раскачивался взад-вперед и не обратил на вошедших никого внимания.
– Здравствуй, ты, должно быть, Серебряный Воробей? – гость сразу попытался взять быка за рога. – Я Андрес, а это Рей. Для нас большая честь встретиться с тобой.
Мама Ким прокашлялась: «Серебряный Воробей, я оставлю вас наедине. Если тебе что-нибудь понадобится, ты знаешь, как меня позвать», – и вышла.
В комнате остались трое.
– Полагаю, в формальностях нет необходимости, – начал Андрес. – Ты знаешь, зачем мы здесь. Мы хотим пригласить тебя жить с нами.
– Мы узнали о тебе не через службу усыновления. – Мальчик, казалось, не слушает, что говорит Рей. – Мы обращались туда только для формальностей – верификации биографических данных. Но мы с самого начала знали, что хотим познакомиться именно с тобой, Серебряный Воробей.
– Мы думаем, что ты невероятно талантливый мальчик! – перебил Андрес. – Мы видели твои работы на конкурсе «Художники будущего». Мы просто не могли поверить, что это сделал шестилетний ребенок. Конечно, физиологический возраст – давно устаревшее понятие, но это необычно и для работ художников другого возраста, и даже других эпох! Да, Рей?
– Безусловно! Я специализируюсь на цифровом искусстве XX и XXI веков, так что некоторый опыт у меня имеется. Вообще-то это мы анонимно купили твое произведение на благотворительном аукционе вашей школы. То, что случилось с оригиналом, конечно, трагично, однако новая версия нам понравилась еще больше.
Серебряный Воробей, не проронивший до сих пор ни слова, шевельнулся и безразлично уставился на гостей.
– Ваша стратегия ставок на том аукционе не была оптимальной, – вдруг заявил он. – Солярис сказала, что вы слишком рано раскрыли свое намерение, из-за чего покупатель-конкурент за три следующих раунда успел поднять цену.
Андрес и Рей переглянулись, просияв от восторга.
– Все потраченное стоило того, чтобы познакомиться с тобой поближе и получить шанс: мы считаем, что отлично подходим тебе как родители. – Мальчик молча слушал. – Мы отдадим тебе всю любовь, и не только в смысле обычной родительской нежности. Мы хотим поддержать тебя на пути самопознания и реализации твоего величайшего потенциала. Как тебе идея?
Серебряный Воробей помолчал и повернулся к как раз вернувшейся директрисе: «Мама Ким, я смогу взять с собой Солярис?»
Поначалу Серебряный Воробей вел себя у приемных родителей как и в «Источнике» – целыми днями сидел в укромных уголках. Солярис по инструкциям мальчика генерировала полупрозрачные виртуальные пузыри, обертывала его ими и воспроизводила различные стримы. Визуальный вихрь давал Серебряному Воробью ощущение защищенности и покоя.
Андрес и Рей смотрели на полупрозрачный силуэт приемного сына в углу своего просторного лофта – они старались не беспокоить ребенка, давали ему время адаптироваться.
То ли из-за отсутствия других детей, то ли благодаря таланту Солярис внутренний объем виртуального кокона постепенно увеличивался, периметр личного пространства Серебряного Воробья расширялся. Попутно пополнялся и ассортимент его занятий. Постепенно кокон распространился на весь лофт.
У мальчика изменилось ощущение пространства и масштаба и вдруг пробудился большой аппетит к физической активности. В школе Серебряный Воробей боялся столкновений с другими детьми, но дома мог лазить, прыгать и преследовать виртуальных кроликов, которых для него создавала Солярис. Мальчик носился по лофту, задыхался, потел и чувствовал, как от радости выпрыгивает сердце.
Он часто вспоминал слова Сун о том, каково это – вырваться из клетки. Мальчику хотелось такого движения, но сначала было необходимо понять свой внутренний мир.
Солярис составила для Серебряного Воробья тесты и помогла разработать комплексную модель для самооценки. Исследовались когнитивные способности – понимание языка, количественный анализ и логика, а также физическая активность, открытость и эмоциональный интеллект.
Выводы оказались вполне ожидаемыми. Общие когнитивные способности и особенно навыки количественного анализа Серебряного Воробья были выше всяких похвал. А вот в области межличностного общения балл получился совсем низким.
У мальчика никак не получалось научиться распознавать эмоции. Он не понимал: добросердечный человек перед ним или злобный, искренний или саркастичный. Ему было трудно различать буквальное и переносное значения слов. Собственно, в этом отношении он не сильно отличался от ИИ десятилетней давности.
Но вот по одному типу навыков – по креативности – результаты тестов Серебряного Воробья буквально зашкалили. Глядя на них, он вспомнил брата и то, как они рассорились. В голове Серебряного Воробья возник и запульсировал вопрос, на который не находилось ответа: а было бы все по-другому, если бы я больше походил на других детей?
Прошло около двух лет с того дня, когда Золотой и Серебряный Воробьи попали в «Источник». Гван уехал в командировку в Джакарту, и поздно вечером Мама Ким срочно вызвала Сун. Случилось чрезвычайное, и директор пребывала в полном отчаянии.
В кампусе вышла из строя система «умный дом»: свет потускнел, лампы мигали, кондиционеры сами собой переключалась с охлаждения на обогрев и обратно. Роботы-уборщики бессмысленно и беспорядочно сновали в сумраке под ногами, натыкались на мебель и издавали громкие лязгающие звуки. Похоже, произошла хакерская атака.
Педагоги собрали детей в игровой комнате, как могли успокаивали их и пытались отвлечь. Ту и появилась запыхавшаяся Сун.
– Что случилось?
– Всё потом. Сейчас просто решай проблемы.
Сун бросилась к себе, через vMirror подключилась к серверу и обнаружила: действительно, система подверглась DDoS-атаке. Хакер, правда, был не особо продвинутым. Он воспользовался дырой в системе безопасности – ее действительно следовало давно обновить. Первое, что пришло Сун в голову: не связан ли сбой с командировкой Гвана? Девушка поправила настройки, установила – для защиты от будущих подобных атак – последнюю версию системы мониторинга сетевого трафика. И школа облегченно вздохнула, вновь засияла огнями. Жизнь наладилась.
Директриса по громкой связи попросила Сун срочно прийти в конференц-зал. Уже уходя, бросив последний взгляд на монитор, девушка заметила в логах нечто странное. Разобраться решила позже – это не к спеху, а ее ждали.
В конференц-зале прямо на столе для переговоров лежал унылый Золотой Воробей, совершенно лишенный обычной для него энергии.
– Так вот чьи это проделки!
– Нет, не его, – спокойно ответила Мама Ким.
Сун удивленно развернулась к директору.
Мама Ким слегка повернула голову, и Сун увидела Серебряного Воробья, по обыкновению сидевшего на полу в углу, согнув колени: на них – руки, голова – на руках, глаза мокрые.
– Серебряный Воробей? Да как же так?!
– Они молчат, поэтому и пришлось вызывать тебя, – сказала Мама Ким. – Я совсем ничего не понимаю.
– Золотой Воробей, ты же отлично знаешь, я залезу в логи твоего Атомэна и все увижу. Лучше сам расскажи!
Золотой Воробей надулся:
– Нету времени. Да и слишком поздно.
– Для чего поздно?
Поняв, что разговор может длиться бесконечно, Сун открыла свое XR-поле – сказанное Золотому Воробью не было пустой угрозой. Красного робота, который всегда был при мальчике, не оказалось. Айтишница проверила разрешения на общий доступ к данным – вроде все нормально. Конечно, есть вероятность, что Золотой Воробей спрятал Атомэна, но это как раз было не в его стиле.
– Где Атомэн?
Золотой Воробей нехотя сел и раскинул руки в стороны. Они прямо-таки пылали красным – словно горели. Мальчик вытянул руки вперед и сжал кулаки. И Сун увидела аватар – но он совсем не походил на Атомэна. Теперь ИИ-приятель Золотого Воробья выглядел так, будто его вдребезги разбили. Детали парили в воздухе, конечности находились не там, где надо. Сун показалось, что Атомэн (а это все-таки был он) вообще может в любой момент распасться на пиксели.
– Что это такое, черт возьми?
– Его спросите! – завопил Золотой Воробей, указывая на съежившегося в углу брата.
Мама Ким подошла к Серебряному Воробью, опустилась рядом на колени. Мягко спросила:
– Твой брат говорит правду? Это ты сделал?
Серебряный Воробей молчал, но Сун уже получила новый пакет данных – еще одно видео.
Она узнала стрим из знаменитых видеоработ Серебряного Воробья, но теперь в нем царил хаос. Сун повернулась к Золотому Воробью – странная активность, которую она заметила в журнале, но в которой не успела разобраться, обрела смысл.
– Зачем ты это сделал?!
– Я ничего не делал. – Золотой Воробей был сама невинность.
– Зачем ты уничтожил работу брата?! Разве ты не знаешь…
Гневную речь Сун строго перебила Мама Ким:
– Как он получил доступ к серверу?
– Наверное, Гван дал ему доступ перед командировкой, – предположила Сун. – Гван хотел обучить Золотого Воробья и со временем сделать его помощником сисадмина.
– Я… – Золотой Воробей замолчал, явно собираясь с духом. – Я только хотел вернуть свое.
Мама Ким расширила глаза:
– Ты про приз, который Серебряный Воробей получил на выставке «Художники будущего»?
– Кажется, я поняла, – Сун сердито кивнула, – работа Серебряного Воробья состоит из четырех частей: один родительский стрим и три дочерних. Представьте, что Мону Лизу да Винчи оцифровали и преобразовали в другие виды медиа. Но у нас произведение было динамичным и гораздо более сложным. Серебряный Воробей говорил, что его работа призвана отражать духовно-эмоциональные связи между школой и ребенком. До тех пор пока из родительского стрима выходит поток данных, дочерний стрим продолжает развиваться. Но без него он нежизнеспособен.
– И при чем здесь Золотой Воробей?
– Он не просто в него влез, – хмуро сказала Сун. – Он сознательно его уничтожил.
– Что?!
Сун спроецировала видео с камеры наблюдения из серверной на vMirror конференц-зала:
– Смотрите.
На записи был Золотой Воробей в помещении школьного ИТ-отдела. Вот он через vMirror подключился к серверу, идентифицировал путь сохранения родительского стрима. Было видно, что мальчик колеблется, прежде чем отдать последнюю команду. Возможно, он даже думал в этот момент, сколько сил и времени затратил брат на эту работу в последние месяцы; может, вспомнил, что работа принесла славу его школе. И все же, слегка помедлив, судорожно сглотнул и нажал на кнопку «ОК». Родительский стрим, мастер-версия Серебряного Воробья «Фьюжн-опус-003», рассыпался на отдельные биты.
Серебряный Воробей, увидев, во что превратилась его работа, затрясся от горя и злости.
– Серебряный Воробей отомстил брату общей атакой на школьную систему – только так он мог уничтожить его Атомэна. – Мама Ким повернулась к Сун: – Мне нужно поговорить с Золотым Воробьем наедине. Позаботься о Серебряном.
Оставшись вдвоем с Золотым Воробьем, Мама Ким повернулась к мальчику. – Смотри в глаза. Отвечай, зачем ты это сделал?
– Я… Это… Ну… Серебряный Воробей без разрешения использовал мой портрет, – проблеял мальчишка.
Мама Ким перебила:
– Это потому, что брат выиграл приз и начал нравиться людям? Это тебя расстроило?
Золотой Воробей поник еще больше, ему с трудом удавалось подобрать слова:
– Я попросил Атомэна проанализировать все работы-победители за последние несколько лет. Я составил план для всех возможных исходов. Вероятность моего выигрыша была самой-самой высокой.
– Невежественный ребенок, – Мама Ким горестно покачала головой. – Вероятности – они на то и вероятности. Даже если вероятность самая-самая-самая высокая – это не значит, что ты обязательно победишь. Люди – не машины, у них есть эмоции. Радоваться надо, что приз получил твой брат!
– А почему вы все из-за этой ерунды решили, что он классный? Потому что у него с головой не в порядке, что ли? Но это же нечестно! Разве не должен побеждать лучший?!
– Я понимаю, это сложно, но нужно учиться держать удар, ты не всегда будешь во всем первым… – Мама Ким явно была в замешательстве.
– Вы ничего не понимаете! Меня только Атомэн понимает.
– Атомэн – не живой, он инструмент.
– Нет, Атомэн – мой лучший друг! А этот урод его погубил! Я его ненавижу!
Сун в это время в коридоре, за дверью конференц-зала, пыталась утешить Серебряного Воробья. Мальчик вернулся к привычному замкнутому состоянию. Девушка хотела, чтобы он заговорил, поделился с ней своими чувствами, но он лишь повторял, как заведенный: «Сувенир… Сувенир…»
И вдруг Сун вспомнила: именно это слово она произнесла во время первого разговора с Серебряным Воробьем несколько месяцев назад. Она говорила об оригами-фигурках, которые мальчик Томми сделал для одноклассников. «Сувенир». А может, Серебряный Воробей делал свой «Фьюжн-опус-003» для брата? И поэтому использовал портрет Золотого Воробья? Если так, то столь резкая реакция вполне понятна.
Разговор Мамы Ким с Золотым Воробьем был окончен – директор окликнула Сун, и девушка с Серебряным Воробьем вернулись в конференц-зал. Директор строго посмотрела на братьев: «Отсюда никто не уйдет, пока не извинится и не пожмет другому руку».
Мальчики дулись и мириться, похоже, не собирались – наоборот, с каждым мгновением они все больше становились похожи на параллельные прямые, которым никогда не пересечься.
Мама Ким, обсуждая усыновление Серебряного Воробья, поставила его новым родителям условие: добиться воссоединения близнецов. Пути братьев разошлись, но педагог считала необходимым сделать все, чтобы контакт между ними сохранился.
Мальчики встретились в доме Паков – огромном особняке в неоклассическом стиле, с бассейном и детской площадкой на заднем дворе. План мероприятия, как и обстановка, был слишком официальным: барбекю на открытом воздухе, активные игры для детей.
– Привет, Золотой Воробей, – Андрес и Рей с Серебряным Воробьем поднялись на крыльцо и остановились перед внушительной парадной дверью, – ты совсем не похож на свои фотографии. Наверное, ты много занимаешься спортом.
За полгода жизни у Паков мальчик действительно изменился – он стал выглядеть и вести себя по-другому.
Золотой Воробей ничуть не стушевался и протянул Андресу руку.
– Да, у меня жесткий режим – его разработал Атомэн. Там все написано – как мне питаться, как заниматься спортом, как работать и отдыхать. Да, такой вот у меня Атомэн после апгрейда, – и Золотой Воробей протянул руку близнецу:
– Привет! У тебя все ОК, брат?
Серебряный Воробей почувствовал, как его мягко подтолкнули вперед. Мальчик посмотрел на Золотого Воробья, но руки не пожал.
– Ну же, Серебряный Воробей, – подбодрили его приемные родители. – Это же твой брат, вы так давно не виделись… Целых полгода.
– Сто семьдесят три дня, если точно, – Золотой Воробей улыбнулся. – Хочешь, я покажу тебе моего Атомэна? Чжун Хо модернизировал его, он теперь – улучшенная версия, у него появилась куча интересных функций. Мы даже сделали ему настоящее тело. Круто вышло!
В глазах Серебряного Воробья сверкнуло любопытство.
– Атомэн, смотри, кто к нам пришел! – завопил Золотой Воробей.
Земля задрожала – по лужайке огромными прыжками несся красный робот. Верх гуманоида был прикреплен к плечам собаки-робота; такой себе киборг-кентавр.
Обновленная версия Атомэна сразу распознала лицо Серебряного Воробья. Смешно подогнув правую переднюю ногу (или лапу?), робот церемонно поклонился гостю, моргнул всеми тремя глазами-камерами и произнес: «Серебряный Воробей, сколько лет, сколько зим». Затем Атомэн чопорно поднял руку в особом робоприветствии – и Серебряный Воробей ответил слабой улыбкой.
– Дети, все готово! – позвал Чжун Хо, возившийся с барбекю. – Накрывайте на стол.
Новые братья и сестры Золотого Воробья, 15-летняя Хен Ву, 11-летний Си Ву и 8-летняя Сук Чжа, помчались к столу во внутреннем дворике.
– Позже поговорим. Я должен помочь, – Золотой Воробей, свистнув, рванул за старшими, Атомэн – следом.
– Кажется, с твоим братом не так уж трудно ладить, – пошутил Андрес.
Серебряный Воробей только скривился.
Мастерство Чжун Хо в приготовлении блюд на гриле оставляло желать лучшего, но, на счастье, остальное готовил повар.
За столом Андрес и Рей с интересом наблюдали за манерами детей Паков – они вели себя предельно сдержанно и аккуратно, даже когда просто выбирали подходящую вилку. Золотой Воробей больше не шалил, как в школе; он краем глаза следил за братьями и сестрами. Атмосфера за столом была напряженной, формальной – как будто все участвовали в кем-то поставленном спектакле.
Серебряный Воробей был не в своей тарелке. Еще не подали всех блюд, а он уже копался в картофельном пюре, вилка скребла по дорогому фарфору – звук был ужасен. Хе Джин Пак косилась на мальчика, но молчала.
Чтобы разрядить обстановку, Андрес заговорил об Атомэне.
– Ну и крутой же у тебя робот, Золотой Воробей. Как вы выбрали для него тело?
– Да мы особенно и не выбирали. Чжун Хо сказал, что это последняя и лучшая модель, мы на ней и остановились, – мальчик взглянул на Чжун Хо, явно ожидая от отца одобрения.
– Я всегда хочу самого лучшего для своих детей, – тот действительно кивнул и чванливо вздернул подбородок.
Андрес услышал, как Рей, повернувшись к Чжун Хо, сдержанно говорит:
– Но ведь лучшее – понятие относительное. Ребенок и взрослые могут считать лучшим разное, не так ли? – Было видно, что Рей старался удержаться в рамках светской беседы, но прозвучало это достаточно холодно.
– Вообще-то нет, – Чжун Хо и Хе Джин переглянулись, обменявшись покровительственными улыбками. – Мы верим, что всегда найдем для детей лучшее, самое-самое во всем мире. Это касается путешествий, страхования, образования – да чего угодно, всего. Даже роботов. Ну-ка, Золотой Воробей, расскажи нам, что ты узнал сегодня утром.
– Цена – это то, что ты платишь. Ценность – это то, что ты получаешь, – тут же отбарабанил Золотой Воробей.
– Чего-чего? – Андрес оторопел.
– Это известные слова Уоррена Баффета, он сказал их во время финансового кризиса 2008 года, – пояснил Чжун Хо. – Немного, так сказать, олдскульной мудрости из мира инвестиций.
– Разве это должен говорить шестилетний ребенок? – Стало очевидно, что Рей уже не может сдержаться и больше даже не скрывает презрения.
– А почему нет, уважаемые художники? – Чжун Хо не понял или сделал вид. – В старину детям приходилось запоминать многое, чего они совершенно не понимали, но ведь тогда они не имели ни малейшего представления о будущем. А сегодня благодаря искусственному интеллекту жизнь уже не такая непредсказуемая и не такая произвольная.
– Искусственный интеллект сегодня может то, чего в прошлом не могли ни школы, ни учителя, – поддержала мужа Хе Джин. – У Чжун Хо есть план для всех наших детей.
– Если Золотой Воробей будет продолжать в том же духе, он со временем может стать одним из величайших инвесторов в мире, – добавил Чжун Хо.
– Так вы позволяете алгоритму планировать будущее своих детей?! – теперь все слышали, с каким изумлением говорит Рей.
Дети Паков, ошарашенные происходящим, опустили ножи и вилки.
– Мы несем за детей ответственность, талант не должен пропасть, – ответил Чжун Хо. – Раньше была поговорка: никто не знает сына лучше, чем его отец. Но, может, сегодня нам следует говорить, что никто не знает сына лучше, чем его искусственный интеллект? Родители не могут разбираться в своем ребенке так, как его ИИ-компаньон. И это хорошо. Золотому Воробью шесть, а его математические знания на уровне десятилетнего. И с распознаванием образов у него лучше, чем у Си Ву, а ведь ему одиннадцать.
Си Ву, сидевший здесь же, недовольно поморщился.
– Я отлично понимаю и ценю, что у вас, художников, более романтичный взгляд на вещи, но что может быть важнее образования наших детей? – Хе Джин легонько щелкнула Золотого Воробья по носу. – Мы ведь не указываем тебе, кем ты должен стать. Мы ведь всегда говорим, что ты можешь стать тем, кем захочешь, не правда ли?
Золотой Воробей просиял:
– Я хочу быть таким же, как Чжун Хо!
Чжун Хо и Хе Джин довольно засмеялись, Андрес и Рей переглянулись. И вдруг Серебряный Воробей с силой швырнул вилку в тарелку. Все повернулись к нему – руки, лицо, волосы были в соусе, крошках и ошметках пюре.
– Я хочу уйти, – тихо произнес он.
После того дня Серебряный Воробей наотрез отказывался от любых контактов с братом.
Андрес и Рей сообщили Маме Ким, что различия между близнецами представляются им совершенно непреодолимыми, а идея о встречах и совместных играх – бесперспективной.
Они слишком хорошо понимали чувства приемного сына. Андрес и Рей разительно отличались от Паков – начиная с профессиональной деятельности и заканчивая складом личности, хотя и то и другое трудно поддавалось определению. Кто они – художники новых медиа? Интернет-знаменитости? Активисты-экологи? Ученые? Духовные гуру?
Они были вместе на работе и в жизни, именовали себя Homo technicus (человек технический) и активно продвигали так называемый технологический художественный ренессанс. Они критиковали слепое поклонение науке и технике. Homo technicus стремятся через искусство вернуть людям их человеческое достоинство и восстановить связь с природой.
Андрес знал: Рей считает, все более активное использование искусственного интеллекта в сфере образования превращает детей во что-то вроде автоматов, помешанных на конкурентоспособности. Эта система, является просто усовершенствованной версией прежней системы зубрежки и экзаменов. А настоящее образование должно быть нацелено как на приобретение ребенком необходимых знаний и навыков, так и на его личностный рост.
Андрес знал и о том, что Рей считает необходимым повышать уровень самосознания детей посредством самоисследования, развития эмпатии, общения и других «мягких навыков», способствующих формированию более глубоких связей между людьми. Одним словом, что нужно повышать уровень эмоционального интеллекта, а искусственный интеллект чаще всего эти аспекты игнорировал.
Произведения Серебряного Воробья трогали до глубины души. Мальчик не был особо продвинут в технологиях, но его неподдельное, живое любопытство, доступное только ребенку, превращало его творения в шедевры.
Андреса совершенно очаровала Солярис – ИИ-компаньонка, которая помогала Серебряному Воробью творить. Что именно побудило ее отказаться от обычных ориентированных на конкуренцию моделей и выработать собственную педагогическую логику? Неужели психологические особенности Серебряного Воробья каким-то образом нарушили традиционный цикл обратной связи с искусственным интеллектом и превратили его в инструмент для исследования его собственной внутренней сущности?
Благодаря неудачному визиту в дом Паков Андрес и Рей поняли, каким путем они точно не хотят следовать.
Решив усовершенствовать Солярис, приемные родители прежде всего спросили мнения Серебряного Воробья, а пока на всякий случай сделали резервную копию всех данных. Они отнеслись к ней не только как к памяти о первой Солярис, но и как к периферийному расширению внутренней сущности их приемного сына. Базовый алгоритм столь удачного ИИ-друга нуждался в бережном обращении и защите.
The free sample has ended.