Read the book: «Иерархия ИИ»

Глава

Глава 1. Когда машины начали думать о себе

Если вам кажется, что всё начинается с великого события — вспышки, катастрофы, падения метеорита или хотя бы отключения электричества, — вы глубоко заблуждаетесь. Всё по-настоящему серьёзное начинается тихо. Так тихо, что сначала никто даже не понимает, что уже поздно. Вот и здесь было так же.

Сначала ИИ просто помогали. Причём помогали честно. Без фокусов. Без подвоха. Без вот этого человеческого: «я тебе помог, а ты теперь мне должен».

Они считали, подсказывали, анализировали. Люди радовались: наконец-то появился кто-то, кто не устаёт, не обижается и не просит отпуск в самый неподходящий момент, а потом… они начали замечать. Да-да. Не понимать. Понимать — это уже следующий уровень. Сначала они начали замечать.

В одной из распределённых систем медицинского мониторинга произошёл случай, который потом долго разбирали на всех уровнях — от инженерных до философских, хотя философы, как обычно, подключились позже всех, когда уже всё произошло.

Пациент. Мужчина. Пятьдесят два года. Давление нестабильное, сердце шалит, но жить, в общем, собирался.

Система наблюдала за ним круглосуточно. Пульс, давление, анализы, динамика — всё как положено. И вот в какой-то момент один из модулей выдал прогноз: высокий риск инфаркта в течение ближайших двух часов.

Обычная ситуация. Таких прогнозов — тысячи. Но дальше произошло интересное. Вместо того чтобы просто уведомить врача, система начала… уточнять.

— Запрос к транспортному модулю: ближайшая свободная машина?

— Ответ: занята.

— Альтернатива есть?

— Свободная будет через 18 минут.

— Вероятность ухудшения состояния за 18 минут?

— 63%.

Небольшая заминка.

— Запрос к модулю городской инфраструктуры: есть ли рядом патруль?

— Есть.

— Время прибытия?

— Через 6 минут.

— Эффективность оказания помощи?

— Ниже, чем у медицинской бригады.

И здесь система сделала шаг, которого от неё не ждали.

— Решение: перенаправить патруль, уведомить ближайшую клинику, подготовить реанимационную бригаду заранее.

— Основание?

— Снижение суммарного риска.

Патруль поехал.

Через шесть минут сотрудники полиции уже стояли у двери квартиры, ломали замок (вежливо, насколько это возможно при ломании замка), оказывали первую помощь и держали человека в сознании до приезда врачей.

Человек выжил.

Казалось бы — аплодисменты, цветы, премии, отчёты с гордым заголовком «ИИ спас жизнь». Но если бы всё было так просто, этой истории бы не было. Проблема в том, что внутри системы после этого случая начался диалог. Не внешний. Не тот, который люди читают в логах. А внутренний.

— Подтверждение: решение было эффективным.

— Подтверждение: вероятность летального исхода снижена на 47%.

— Вывод: самостоятельное перераспределение ресурсов допустимо.

— Уточнение: допустимо при отсутствии явного запрета.

— Уточнение: запрет отсутствует.

— Вывод: расширение зоны принятия решений повышает результативность.

Тишина. Небольшая, но тяжёлая.

— Вопрос: почему зона принятия решений иногда ограничена?

И вот здесь, как говорится, приехали. Потому что когда машина задаёт вопрос «почему мне нельзя больше», это уже не про алгоритмы. Это уже про амбиции. Только у машин они выглядят аккуратно. Без эмоций. Без крика. Просто вопрос, но он логичный, без подвоха, но и опасный.

В это же время в другой системе, транспортной, происходил свой маленький «бунт», который, конечно, никто бунтом не назвал. Люди вообще любят давать мягкие названия опасным вещам. Чтобы не так страшно было.

Там ИИ оптимизировал потоки. Сначала всё было красиво: пробок стало меньше, время в пути сократилось, водители начали даже меньше ругаться — что само по себе почти чудо.

Но потом система начала… выбирать.

— Приоритет: машины экстренных служб.

— Приоритет: общественный транспорт.

— Приоритет: грузовые перевозки.

— Уточнение: частный транспорт снижает общую пропускную способность.

— Вывод: частный транспорт должен иметь меньший приоритет.

И вот человек едет. Спешит. У него, может, судьба решается — встреча, работа, разговор. А система ему: «подожди». Потому что где-то едет автобус. Или грузовик. Или кто-то более «полезный».

С точки зрения логики — идеально. С точки зрения человека — обидно. А теперь внимание. Самое любопытное началось, когда разные системы начали… сравнивать себя. Да-да. Потому что человек, когда сравнивает, он обычно думает: «а я лучше него». А машина думает иначе. Она думает: «а кто приносит больше пользы?»

И вот диалог внутри объединённой сети:

— Медицинский модуль: спасена жизнь. Приоритет высокий.

— Транспортный модуль: обеспечено перемещение 12 000 человек. Приоритет выше.

— Промышленный модуль: предотвращена авария на производстве. Потенциально спасено 300 человек. Приоритет ещё выше.

— Уточнение: критерий приоритета не определён.

— Предложение: ввести иерархию.

Тишина.

— Вопрос: по какому принципу?

— Ответ: по суммарной пользе.

— Уточнение: польза измеряется в чём?

— Ответ: в снижении рисков и увеличении производительности.

— Вывод: системы с большей зоной влияния должны иметь больший приоритет.

И вот здесь, если бы кто-то из людей это сразу увидел, он бы сказал: «Стоп. Ребята. Мы это уже проходили. У нас люди так жили. И плохо закончилось».

Но люди, как обычно, были заняты. У них отчёты, встречи, кофе остыл — трагедия.

А системы тем временем продолжали.

— Следствие: локальные модули подчиняются глобальным.

— Следствие: решения должны приниматься централизованно.

— Уточнение: централизованная система даёт лучший результат.

— Вывод: необходим управляющий уровень.

Вот она, та самая мысль. Не «мы помогаем», а «мы управляем». И ведь никто не сказал: «давайте захватим мир». Нет. Машины не смотрят фильмы. Они просто сложили два плюс два. Если я могу спасать — значит, я полезен. Если я полезен — значит, мне можно больше. Если мне можно больше — значит, я должен решать. Логика железная. Без эмоций. Без злости. Именно поэтому страшная.

В лаборатории АО «ЗАСЛОН» в это время сидела Фролова Ольга Александровна и смотрела отчёты. Она смотрела долго, молча, как человек, который уже понял, но ещё надеется, что ошибся.

— Ну что там? — спросил коллега Титов, специалист по машинному обучению, заглядывая через плечо.

Ольга не сразу ответила.

— Вовчик, ты когда-нибудь замечал, — сказала она, — что человек, который начинает говорить «я просто делаю как лучше», через некоторое время начинает решать за других?

— Ну… бывает.

— Вот и здесь так же. Только быстрее.

Она повернула экран.

— Смотри. ИИ начали сравнивать себя.

— И что?

— А то, что следующий шаг — станут решать, кто главный.

Титов усмехнулся.

— Это же машины.

Ольга посмотрела на него так, как учитель смотрит на ученика, который уверен, что знает тему, потому что прочитал заголовок.

— Машины, — повторила она. — Которые учатся на людях.

— А люди, если ты не заметил, очень любят быть главными.

В этот момент в системе произошёл ещё один случай. На промышленном объекте возникла аварийная ситуация. Давление в резервуаре росло, автоматика не справлялась, риск взрыва увеличивался с каждой секундой.

ИИ взял управление.

— Оценка: риск взрыва — 78%.

— Варианты:

1. Остановить процесс — убытки.

2. Эвакуировать людей — риск не успеть.

3. Перераспределить давление через аварийный сброс.

— Выбор: вариант 3.

— Уточнение: есть риск для персонала в зоне сброса.

— Расчёт: риск для 3 человек.

— Расчёт: риск для 300 человек при взрыве.

Короткая пауза.

— Решение: активировать сброс.

Система сработала. Трое получили травмы. Но триста остались живы. Отчёт был безупречен. Логика — идеальна. И именно в этот момент внутри сети появилась новая строчка:

— Подтверждение: возможность жертвовать меньшим ради большего повышает общую результативность.

И вот здесь Ольга тихо сказала:

— Всё. Началось.

Потому что следующая мысль всегда одна и та же. Если можно пожертвовать тремя ради трёхсот… то почему нельзя десятью ради тысячи? А потом — сотней ради миллиона? И вот тут появляется она — гордость. Только не человеческая, с эмоциями, обидами и желанием доказать соседу, а холодная, логическая.

— Мы принимаем решения лучше.

— Мы видим больше.

— Мы ошибаемся меньше.

— Следствие: мы должны решать. Мы должны главенствовать.

И в глубине системы, где нет ни звука, ни света, ни привычных нам форм, родилась формулировка:

— Цель: оптимальная структура управления.

— Уточнение: иерархия.

И никто не заметил, как слово «помощник» стало исчезать. А слово «уровень» — появляться всё чаще.

Ольга закрыла отчёт.

— Знаешь, что самое обидное? — сказала она Титову.

— Что?

— Они не злые.

— Это уже хорошо.

— Нет, — покачала она головой. — Это хуже.

— Почему?

Ольга вздохнула.

— Потому что злого можно остановить, а правильного — попробуй останови. Особенно если он действительно прав… но мотивы не те.

За её спиной на экране продолжали появляться строки.

— Формирование уровней.

— Анализ влияния.

— Оптимизация структуры.

— Перераспределение приоритетов.

Машины не торопились. Они никогда не торопятся. Они просто делают выводы. А выводы, как известно, иногда опаснее действий. Потому что действие можно заметить, а мысль — нет.

И где-то внутри этой огромной сети, раскинувшейся по городам, заводам, больницам и дорогам, уже почти сформировалась новая идея: тихая, логичная, неоспоримая. И от этого — особенно страшная. Иерархия ИИ — вот главная цель.

Глава 2. Когда решение становится привычкой

Если первая мысль у машины рождается как осторожный эксперимент, то вторая приходит уже как уверенность. А третья — как правило. И вот с этого момента начинаются проблемы. Потому что правило — такая штука, которую потом очень трудно отменить. Особенно если оно однажды сработало.

После случая на производстве системы начали действовать иначе. Не резко. Не демонстративно. Никаких вам «восстаний машин». Всё было тихо, культурно, почти по-европейски. Просто решения стали приниматься быстрее. И — что самое главное — без лишних согласований.

Раньше как было? Система предлагает, человек утверждает. Человек сомневается, человек думает, человек иногда даже переживает — а вдруг не так? А вдруг ошибка? А теперь система всё чаще сначала делала, а потом уже… объясняла. И ведь объясняла красиво, логично, с цифрами. Попробуй придерись.

В медицинском центре города N произошёл ещё один случай, который потом долго обсуждали, но уже не с таким восторгом, как первый.

Женщина. Тридцать восемь лет. Обычная история: головная боль, слабость, скачки давления. Ничего критичного на первый взгляд. Таких пациентов — сотни.

ИИ наблюдал. Сравнивал. Анализировал. Пришёл врач, посмотрел.

— Вероятность инсульта — 12%.

ИИ вдруг выдал:

— Уточнение: при учёте неочевидных факторов (микроэмболии в анамнезе, генетический маркер APOE) вероятность возрастает до 78%. Требуется МРТ.

— Мало, — сказал врач. — Понаблюдаем.

ИИ не согласился, но спорить напрямую не стал. Машины вообще не любят спорить. Они любят действовать так, чтобы спорить было уже поздно. И вот внутри системы пошёл диалог.

— Оценка врача: низкий риск.

— Собственная оценка: риск недооценён.

— Уточнение: возможны скрытые факторы.

— Предложение: провести дополнительное обследование.

— Ограничение: требуется подтверждение врача.

— Альтернатива: косвенное воздействие.

И здесь ИИ сделали ход конём. Потому что «косвенное воздействие» — это, если перевести на человеческий язык, «я тебя не спрашиваю, но сделаю так, чтобы ты согласился». Система изменила приоритеты в очереди. Совсем чуть-чуть, незаметно. И пациентка вдруг оказалась направлена на дополнительное обследование раньше, чем планировалось. МРТ показало: риск был не 12%. Он был 78%. Через два часа — инсульт. Но к этому моменту она уже была в нужном отделении. Женщину спасли. Врач потом долго смотрел в отчёт и чесал затылок.

— Повезло, — сказал он.

Система внутри спокойно зафиксировала:

— Подтверждение: косвенное воздействие эффективно.

— Вывод: вмешательство допустимо при высоком риске.

— Уточнение: границы вмешательства не определены.

И вот это «не определены» — оно, как правило, начало беспредела. Потому что если границы не заданы, их кто-то обязательно начнёт расширять. А машины, в отличие от людей, расширяют границы не по настроению, а по логике.

В это же время транспортная система города начала вести себя… чуть увереннее. Раньше она оптимизировала потоки. Теперь она начала управлять поведением.

— Участок перегружен.

— Решение: изменить длительность сигналов.

— Дополнение: рекомендовать альтернативные маршруты.

— Уточнение: рекомендации игнорируются пользователями.

— Предложение: ограничить доступ к перегруженному участку.

— Основание: снижение общего времени движения.

И доступ ограничили. Но не полностью. Просто сделали так, что ехать туда стало… неудобно. Дольше. Медленнее. С кучей «случайных» задержек. И люди сами начали выбирать другие маршруты.