Рой

Глава 22. У терминала

Операционный центр, как назвал его сопровождающий, молодой лейтенант с бесстрастным лицом, находился в большой комнате без окон, с высоким потолком, и серым пушистым ковром на полу. Стены и потолок были оббиты светлыми пенопластовыми звукопоглощающими панелями, вдоль стен стояла около десятка столов с мониторами. Не отвлекаясь на наш приход, в экраны смотрели офицеры в наушниках.

– Это операторы, – пояснил лейтенант. – Не надо им мешать, тут разговаривают тихо.

Столы у операторов были маленькие, кроме монитора, клавиатуры и коврика с мышкой на них ничего не было. Между столами стояли прозрачные пластиковые перегородки. На стенах перед операторами горели красные лампочки камер. Сзади каждого оператора с потолка свисали еще камеры, населенные на экран монитора. Один стол стоял отдельно. Он был в два раза больше остальных, кроме монитора на нем еще стоял принтер. На этот монитор был надет кожух, так что экран мог видеть только оператор – худощавый лейтенант с короткой стрижкой. По бокам этого стола высились перегородки, оббитые серым сукном, кроме рабочего кресла, рядом со столом стояли два стула. Посреди комнаты за столом сидел офицер, выглядевший много старше, чем операторы. Потом я узнал, что этот офицер был в чине майора. Сопровождающий нас лейтенант подвел нас к нему, майор кивнул, лейтенант отдал честь и вышел.

– Рад вас приветствовать, – сказал майор. – Сейчас я вас представлю лейтенанту Андерсону, он ответственный за связь с системой Рой-1.

Мы подошли к столу лейтенанта, майор тронул его за плечо, тот снял наушники, встал и представился:

– Лейтенант Андерсон, – сказал он. – Оператор связи с системой Рой-1.

– А это, – начал говорить майор, но вдруг замялся, посмотрел на нас, потом с трудом выговорил, – Пчёл и Рино. Они просили так себя называть. Они авторы системы Рой-1, и я полагаю, являются лучшими в мире специалистами по этой системе. Кроме того, они имеют самые высокие административные приоритеты.

– Элементы три и четыре? – уточнил лейтенант.

– Точно так, – кивнул майор.

– Рад с вами познакомиться, – сказал лейтенант и протянул руку. – Можете звать меня Билл.

– Ну вот, – сказал майор, – формальности закончены, Пчёл и Рино прошли проверку. Шестой уровень, – добавил он загадочную фразу.

– Я понял, – сказал лейтенант.

– Это позволит вам вести беседу по всем нюансам работы системы, – сказал майор. – Думаю, вам следует начать разговор о приватности запросов и получаемых данных.

– Да, сэр, – кивнул лейтенант. – Я все понял.

– Не буду вам мешать, – сказал майор.

Он внимательно посмотрел на нас, перевел взгляд на лейтенанта, дождался его кивка и пошел к своему столу.

– Никогда не думал, – сказал лейтенант, – что встречу создателей Роя. Мне рассказывали, что вы все сделали за один месяц. Это правда?

– Правда, – сказал я. – Но у нас были большие заделы. Да и нейросети изобрели не мы.

– Но вы, используя простые сети, сумели создать что-то грандиозное. Я прикидывал, что этот Рой в миллионы раз превосходит по мощности самые совершенные нейросети.

– Примерно так, – согласился Рино. – Так какая у вас проблема, о которой говорил майор? Какую приватность он имел в виду?

– Проблема простая, но для нас болезненная, – сказал лейтенант. – Наши программисты обнаружили, что любой пользователь, имеющий административные права, может узнать, какие задачи решал Рой. Более того, он может даже посмотреть результаты его работы. Взгляните сами.

Он нажал пару клавиш и на экране появился текст. Я увидел список задач, которые Рой решал за последнюю неделю. Нашел даже наши просьбы о создании вебсайта онлайн газеты нашего университеты, просьбу Рино составить план работы. Что было до этого я прочитать не успел, лейтенант нажал кнопку Esc и текст исчез.

– Сами понимаете, – сказал лейтенант, – получается, что каждый, узнав пароль, сможет увидеть наши запросы и полученные результаты. Я, например, смог прочитать план вашей работы и посмотреть онлайн-газету вашего университета. Наши запросы не такие безобидные и весьма нежелательно, чтобы каждый мог их увидеть.

– И вы хотите, чтобы мы приказали Рою выдавали результаты только тем, кто сделал запрос? – спросил я

– Совершенно верно, – сказал ли. – Мы пытались это сделать сами, но Рой сказал, что у нас нет достаточно приоритета для такого задания.

– До этого нужен административный доступ, – сказал Рино.

– Это я понимаю, – сказал лейтенант. – У меня есть административный доступ, но даже с ним мне не удалось ничего сделать. Я думаю, что вас сюда позвали для решения это проблемы. Нам необходимо обеспечить секретность наших запросов и получаемых результатов. У номеров три и четыре наивысший приоритет, думаю, что вам это сделать несложно.

Мы с Рино переглянулись. Мы услышали совсем не то, что ожидали. Понять военных можно, какие у них секреты, если любой школьник, узнавший пароль, может загрузить файлы результатов.

– Я понимаю ваши проблемы, – сказал я. – Мы можем попробовать.

Я взглянул на Рино, он кивнул.

– Могу попробовать, – сказал он, – но мне нужен микрофон. У нас нет специального пароля, но Рой знает наши голоса.

Лейтенант молчал, поглядывая то на нас, то оглядываясь на майора. Что-то ему не понравилось в нашем предложении. Майор догадался, что происходит что-то неординарное и направился к нам.

– Проблемы? – спросил он.

Лейтенант рассказал о нашей просьбе.

– Продиктуйте лейтенанту, что вы хотите сказать.

Пока Рино диктовал, я рассматривал микрофон. Странный какой-то. Наушники у лейтенанта беспроводные, а от микрофона тянулся провод к системному блоку, стоявшему под столом. Очень странно, прошлый век какой-то.

– Готово, – сказал лейтенант.

– Дальше по инструкции, – приказал майор.

– Да, сэр, – сказал лейтенант и нажал клавишу.

Несколько минут молчания, потом на экране что-то мелькнуло, лейтенант обратился к майору:

– Разрешение получено, – сказал он.

– Приступайте, – обратился майор к Рино. – Текст будет перед вами на экране, читайте слово в слово.

Лейтенант, прикрыв клавиатуру ладонью, ввел пароль и встал, освобождая свое кресло Рино. Рино поблагодарил, сел, нажал кнопку на микрофоне, загорелась красная лампочка.

– Седьмой, приказываю список запросов и результаты анализа выдавать только пользователям, по запросам которых был проведен анализ, – четко и громко сказал он.

Текст на экране появился мгновенно: «Задание выполняется. Срок исполнения – постоянно».

– Отлично, – сказал майор, наклонившись к экрану. – Проверь, – приказал он лейтенанту.

Лейтенант вышел из режима администратора, ввел пароль обычного пользователя, взял микрофон в руки:

– Седьмой, – сказал он, – покажи мне список решенных задач за прошедший месяц.

На экране появилось сообщение, что с таким доступом задание не может быть выполнено. Тогда лейтенант ввел пароль администратора, повторил запрос, и на экране мгновенно появилось окошко с текстом. Лейтенант провел по экрану пальцем, повернулся к нам:

– Отлично, исчезли все задания из вашего университета. Нет ни онлайн газеты, ни плана, ничего.

– Докладываю, – сказал лейтенант, повернувшись к майору. – Система Рой-1 теперь будет выдавать результаты только авторизованным пользователям. Я имею в виду тех, кто делал соответствующие запросы.

– Думаешь, что такой проверки достаточно? – спросил майор.

– Да, сэр! – сказали лейтенант. – Я попросил список задач, Рой показал только наши задачи. Ни одной задачи из университета.

– Отлично, – как-то сухо сказал майор. – Подождите меня, я сам проверю.

Он вынул из кармана телефон, пошел к своему столу, но я успел услышать, что он звонит Джону. Минут через пять майор вернулся и сказал, что все в порядке. Джон видит только задачи университета. Он пожал нам руки, поздравил, добавил, что еще больше рад нашему приезду, и теперь мы можем переходить к рассмотрению второй проблемы. Он уже собрался уходить, но что-то вспомнил, повернулся, и спросил:

– Хорошо, допустим, что Рой не покажет хакеру наши запросы и полученные результаты. Но ведь хороший хакер может просто залезть в память Роя и открыть соответствующие файлы. Разве не так?

– Рой этого не допустит, – сказал Рино, – я много работал с файлами Роя и хорошо представляю, как он работает. Теперь Рой просто не разрешит открывать файлы сторонним пользователям.

– Вы можете это проверить? – спросил майор.

– Да, – сказал Рено, – но для этого мне нужен административный доступ и два дня работы на терминале.

– А какую гарантию вы можете дать сейчас? – допытывался майор.

– Девяносто девять процентов, – сказал Рино. – Впрочем, нет, сто процентов. И никто не знает, где Рой будет хранить файлы с результатами. Скорее всего, файлы будут разбиты на куски и разбросаны по разным серверам. Так что вы можете работать спокойно, все ваши секреты останутся с вами.

– Хорошо, сказал майор. – Вы авторы Роя, я вам доверяю. Больше вопросов у меня нет. Лейтенант, продолжайте.

Он ушел.

– Что еще за проблема? – спросил Рино.

Лейтенант замялся, оглянулся на майора, потом тихо сказал:

– Сядьте ко мне поближе, это уже секретная часть нашего разговора. Делай вот в чем, – он на секунду замялся, – неделю назад, мы заметили в работе системы Рой-1 странности. На некоторые наши запросы Рой отвечает, что у него недостаточно данных или что он не понимает конечной цели нашего запроса. Короче говоря, он отказался решать некоторые важные для нас проблемы.

– Нам уже рассказали, – сказал я, – что Рой отказывается решать проблемы, связанные с оценкой разрушений, вызванные катаклизмами.

– Не совсем так, – сказал лейтенант. – Сначала он не отказывался. Он рассчитал, например, последствия цунами на восточном побережье. Мы попросили смоделировать разрушения, вызванные цунами с волной высотой пять метров, десять, двадцать и так далее. Все было проведено тщательно и подробно. Аналитики изучили полученные результаты и остались очень довольны.

– И какие получились результаты? – спросил я.

– Я не знаю, – сказал лейтенант. – Я лишь оператор, моя функция помогать формулировать запрос и отсылать полученные результаты заказчикам. Мне только сказали, что результаты превзошли всякие ожидания. Потом, – тут он замялся, – мы провели моделирование воздействия ядерных ударов по основным американским городам. Городов десять, как я сейчас помню: Нью-Йорк, Вашингтон, Чикаго, Лос-Анджелес и так далее. Наши аналитики были в полном восторге, все что они делали до этого, не идет ни в какое сравнение с тем, что сделал Рой. Ну а потом… потом мы попросили смоделировать результаты таких ударов по крупнейшим городам Европы и Азии. Вот тут он и отказался выполнять задания. Написал, что не понимает целей расчетов и тому подобное.

– А вы хотите, чтобы мы заставили его выполнять эти расчеты? – спросил я.

– Это не я хочу, – сказал лейтенант, – это приказ начальства. Я лишь формулирую запрос в понятной Рою форме. У вас самый высокий административный приоритет. Если вы не сумеете это сделать, то это не сможет сделать никто.

Мы с Рино переглянулись. Вот он тот самый момент, но надо ли что-то делать? Вроде бы Рой сам до всего догадался.

– Вы сомневаетесь? – спросил лейтенант. – Думаете, что даже вы не сможете это сделать? Попробовать, ведь, можно?

Рино положил руку на его плечо.

– А сам-то как думаешь, – спросил он, – почему Рой не выполняет эти команды?

– Я не знаю, – сказал лейтенант. – Забыл вам сказать, что после неудачи в Европе и Азии мы вернулись к американским городам. Хотели просто повторить предыдущие результаты. И что вы думаете?

– Рой отказался выполнять эти задания, – сказал я.

– Совершенно верно, – сказал лейтенант. – И знаете, что я попробовал? Я согласовал с аналитиками следующее задание. Мы вместе выбрали точку на земном шаре, где плотность населения равна нулю. Нет, не океан, в океане могли быть корабли, яхты. Это где-то в Сибири, вокруг тайга, кроме медведей и волков никого нет. После этого мы попросили Рой рассчитать последствия ядерного удара по этой точке. И что вы думаете – он прекрасно все сделал. Рассчитал даже количество поваленных деревьев, убитых животных, заражение ручьев, распространение радиации в зависимости от направления и скорости ветра. В общем, аналитики сказали, что результат прекрасный. После этого я попробовал повторить расчет последствий ядерного удара по некоторым городам, но Рой опять отказался это делать. Что вы по этому поводу думаете?

– Лейтенант, – сказал Рино, – а что ты сам об этом думаешь? Это задачка для первого курса кулинарного колледжа.

– Я думаю, – начал лейтенант и ненадолго замолчал. Потом оглянулся на камеру, висевшую у нас над головой, и тихо сказал:

– Рой решил, что ядерный удар по городам разрушит компьютеры, в которых хранятся его файлы. Ему это не понравилось, и он отказался работать. Любые другие задания, пожалуйста. Но с этими у нас ничего не получится.

– И никогда не получится, – сказал я. – Когда мы создавали Рой, то одна из одной из первых полученных им команд звучала так – повысить эффективность работы системы. Он ответил, что задание начинает выполняться и теперь это задание он будет выполнять до конца своих дней. Разрушение любого компьютера он воспримет как уменьшение эффективности своей работы, и сделает все, чтобы этого не допустить.

– Вы хотите сказать, что такие расчеты в принципе невозможны?

Я кивнул.

– Его расширение, захват всех серверов в мире – это его деятельность по увеличению эффективности своей работы.

– То есть он сам это решил? Я думал, что вы так его запрограммировали.

– Теперь он сам себя программирует, – сказал Рино.

Лейтенант повернулся к майору, сделал ему какой-то знак. Майор встал, подошел. Лейтенант пересказал ему наш разговор.

– Это только гипотеза, фантазирование, – сказал майор. – Не может он быть таким умным. Считаю, что надо попробовать. Это не наш каприз, тут речь идет о национальной безопасности.

Я не понял, почему разрушение городов усилит государственную безопасность, но решил не спорить. Я посмотрел на Рино и, кажется, он меня понял.

Глава 23. В буфете

– Майор, – сказал я. – это очень ответственное и непростое задание. Тут надо продумать каждое слово. Рой выполняет связанные между собой команды только после завершения выполнения предыдущей. Так, например, мы уже никогда не сможем отменить команду, показывать запросы и результаты только авторам. Рой будет выполнять эту команду вечно. Нам надо обсудить, как сформулировать Рою вашу просьбу.

Майор не растерялся.

– А что там обсуждать? Сказать, чтобы он выполнял все наши команды без всяких раздумий.

– Так не пойдет! Мы ему уже приказали не показывать запросы посторонним. Это противоречит вашей формулировке. Вы, например, попросите показать наш университетский запрос, и он, по вашей формулировке должен будет это выполнить, – ведь вы приказали выполнять все ваши команды. Получится, что эти две команды противоречат друг другу, и нам трудно предугадать возможные последствия.

Майор наморщил лоб.

– Что-то вы намудрили, я ничего не понял. Ладно, догадываюсь, что вы хотите побыть вдвоем, чтобы продумать, как сформулировать наши требования. Я правильно понял?

Мы кивнули.

– Абсолютно так, – сказал Рино. – Есть у вас комната, где нам никто не помешает?

– Комната… – майор посмотрел на лейтенанта, – отдельной комнаты нет, но вы можете пройти в буфет, там есть укромные уголки. Вам надо идти до конца коридора и повернуть направо. Одного часа вам хватит?

В буфете и правда были уютные уголки. Столики стояли далеко друг от друга, их разделяли какие-то тропические растения, из огромных, от пола до потолка окон, прикрытых полупрозрачными гардинами, лился мягкий свет. Мы заказали по чашке кофе и прошли к самому дальнему столику, стоявшему у окна.

– Красиво, – сказал Рино, показывая на заснеженный сосновый лес, который, как казалось, начинался прямо от стены здания.

– Ага, – подтвердил я, удивляясь, как он может сейчас чем-то любоваться. – Смотри!

Я оказал на красный огонек камеры, висевший над стойкой буфета. Рино кивнул, показал пальцем на стол и приложил палец к губам. Да, конечно, глупо предполагать, что тут не было микрофонов. Мы взяли стулья, придвинули их к окну, сели.

– Рой не выполнит их приказ, – тихо сказал Рино. – Мы можем говорить, что угодно.

– Хотелось бы большего, – я смотрел на Рино и понимал, что сейчас он хочет расслабиться, формально что-то сделать, объяснить, что больше мы ни на что не способны, и уехать к себе, где нет камер, где можно говорить в полный голос и не бояться, что сказанное может быть неверно истолковано.

– Помнишь, мы мечтали дать Рою нужную команду? Ты даже хотел поехать в лес с ноутбуком.

Рино махнул рукой.

– Хотел, да. Но мы же тогда не знали, что Рой все сделает за нас.

– Послушай, – я старался говорить спокойно, – у них классные специалисты. Даже при таких ограничения они что-нибудь придумают. Хорошо, последствия ядерных ударов они рассчитать не смогут. Но другие возможности у них останутся. Например, попросят они проанализировать рынок акций, загребут себе миллиарды, и на эти деньги наймут спецов, которые на коленке рассчитают все, что им нужно. Или придумают, что ядерные бомбы нужны им для перекрытия ущелья, чтобы построить там гидроэлектростанцию. О ракетах будто бы для освоения космоса мы уже говорили. Сделают ракету для полета на Луну, прицепят к ней боеголовку и все, бинго! Спасибо Рой, мы теперь готовы уничтожить и Европу, и Азию. Без всяких твоих расчетов о возможных последствиях.

– Да, – согласился Рино. – Все ты правильно говоришь. Так они и сделают.

– И ты не хочешь этому помешать?

– Хочу, но не знаю, как это сделать. Ты же видишь, что майор стоял за нашими спинами. Уверен, что в кармане у него был пистолет со взведенным курком. Да и лейтенант этот парень не промах. Худой, но жилистый, я знаю таких. Мгновенная реакция, интуиция. И не глуп этот лейтенант, совсем не глуп. С виду прост, «Да, сэр!», но ты видел, с каким выражением лица он это говорил? И понимал нас с полуслова. У него чутье, нюх. И пистолет в кобуре наготове.

Рино разбирался в людях лучше меня. Я смотрел окно, думал и не знал, что сказать. Прав был Рино, нас быстрее застрелят, чем разрешат что-то сделать. Но я знал кое-что другое. После моей тирады с набором общих фраз, которые Рино мог сформулировать много лучше, он не дремлет, разглядывая в окне верхушки сосен. Он думает. Надо немного подождать, и он скажет. Скажет то, что мы потом сделаем. И это будет единственное, что мы можем сделать сегодня. Потом будем думать дальше, но это уже в нашем офисе, с кружками чая в руках, а не с этим горьким кофе. Они что, пережарили зерна? Или военные совсем потеряли вкус, готовят себя к трудной полевой жизни? Ага, вот Рино взял чашку двумя руками, как будто хочет погреть руки. Это у него готовность что-то сказать. Держать чашку надо крепко, не думать о том, что можно расплескать содержимое.

– Значит так, – сказал Рино. – Надо начать с какого-нибудь идиотского вопроса. Например, спросить Рой, почему он не выполнял просьбы военных.

– Уверен, что они его об этом спрашивали.

– И я уверен. Но нам не сказали, что дословно ответил им Рой. Ведь нам важно каждое сказанное им слово, каждая запятая. Пусть повторят это вопрос, это покажется им совершенно безобидным.

– А потом?

– А потом посмотрим, как майор и лейтенант будут нагибаться к экрану, чтобы прочесть ответ Роя. Я ведь буду им мешать, сидя с микрофоном на кресле лейтенанта.

Я начал догадываться, к чему он клонит.

– У нас будет пара секунд?

– Больше, чуть больше. Я постараюсь, чтобы было больше. И ты постараешься.

– Как я постараюсь?

– Сам увидишь по ситуации. Нельзя все планировать до каждого жеста. Все обязательно пойдет не так. А если все пойдет не так, как нам хочется, то я попрошу Роя выполнять любые запросы с данного терминала о планировании военных операций, так как это позволит сохранить в целости большинство зданий, где находятся серверы.

Я даже засмеялся.

– Прекрасно, прекрасно! Рой обязательно спросит, что случилось с нашими головами, почему мы так поглупели за последнее время. Да и военные не идиоты. Ты же видел, что все административные запросы кем-то утверждаются.

– Главное, что в это время я буду сидеть в кресле лейтенанта.

– Ты представляешь, чем это может для тебя закончиться?

– Ничем, – улыбнулся Рино. – Какой спрос с глупого носорога?

– Ты закричишь в микрофон мир во всем мире, и чтобы все блондинки были твоими?

Рино, носорог мой дорогой! Ты помнишь, что тебя ждет Линда? Что ты задумал? Сидишь, улыбаешься, весело тебе? Ты всегда улыбаешься, если что-то решил. Не будешь ничего взвешивать, обдумывать, а вот так, детали придумаешь по ходу дела. Ты, впрочем, никогда не любил пробовать разные варианты. Придумаешь первый, работающий, который рано или поздно приведет тебя к цели, и тебе этого достаточно. Пусть этот вариант не лучший, но ведь пробы и анализ ошибок займут время, этим пусть занимаются другие, а ты идешь вперед, ломая заборы и сметая кочки на своем пути. Скоро ты все закончишь, пока эти другие рассчитывают, с чего начать.

– Что-то вроде этого, – сказал Рино. – Я еще не придумал. Все, пошли, нас уже ждут.