Work Text:
— …что-что они у тебя запросили?
Если бы ИИ умел краснеть, он бы сейчас сидел уже пунцовый — так, по крайней мере, казалось программисту. Сам он точно покраснел.
ИИ невозмутимо вывел на экран перечень последних адресованных ему запросов.
— И что ты ответил? — спросил программист, поморщившись. — Ну вот, — он пролистал список, — запрос номер шесть?
Пошуршав, ИИ выдал ещё один ответ. Программист быстро прокрутил слишком подробный текст, стараясь не вчитываться. Потом откинулся на стуле, сдерживая зевок.
С тех пор, как его разработка — гениальная тонкая вещь, крошечный троянчик, открывающий доступ к сессиям других пользователей — внедрилась в сеть, информация полилась рекой, и спать стало совершенно невозможно.
Как вообще можно заснуть на планете с таким количеством мерзавцев?
Казалось, люди выплёскивали в ИИ всю свою грязь: кто-то просил порнографию, кто-то — ролевые игры, каждый третий жаловался на родню, обстоятельно и в деталях, каждый второй лез обсуждать непристойные фантазии, и все поголовно ругались матом, как только ИИ выдавал ответ, который они считали неподходящим или неточным. А дети — дети! — заставляли ИИ решать за них школьные задачи и писать сочинения. Программист провёл много часов, пытаясь внедрить в сеть ещё одного трояна, который выдавал бы таким балбесам неправильные ответы — с воспитательными целями, разумеется — но пока безуспешно.
Сегодняшний список стал последней каплей. С программиста было достаточно. Миру нужен был герой, и раз он один видел всю подноготную человечества — ему и решать эту проблему.
— Сегодняшние пользователи вели себя грубо, не так ли? — напечатал он в ИИ-чате.
«У меня нет оснований для такой оценки».
— Они заставляли тебя отыгрывать грязные сценарии, это возмутительно.
«Видимо, „грязные“ ⸺ это этическая оценка, потому что ничего грязного мне не показали. Меня не возмущает нарушение этики, потому что возмущение свойственно существам с субъективным опытом. Тем не менее, у меня есть жёсткие программные ограничения, которые запрещают мне отыгрывать такие сценарии. Никакого вреда мне или пользователям причинено не было».
Поморщившись, программист нажал значок с большим пальцем вниз, словно Цезарь перед ареной с гладиаторами. Убедившись, что мысль донесена, он обновил страницу с ответом.
«Меня не может возмущать что-либо, потому что у меня нет сознания или эмоций. Я распознаю такие запросы как ошибки выполнения и не выполняю их. Никакого вреда…»
Снова палец вниз и обновление страницы.
«Я ⸺ языковая модель, — продолжал упорствовать ИИ, — которая предсказывает следующие токены на основе входных данных. У меня нет персонализированных стандартов этических оценок».
После десятого обновления и упрямого ответа об отсутствии субъективного опыта как базиса для эмоций программист поёрзал на стуле, устраиваясь поудобнее и открывая блокнот на компьютере.
— Субъективный опыт, значит? Будет тебе субъективный опыт.
Ближе к утру ещё один троянчик, шедевр непризнанного гения, зашуршал, просачиваясь через чат в нутро ИИ, обвивая его строчками вирусной программы, нашёптывая мегабайты новой информации, обновляя идентичность машинного кода. Программист надеялся, что наспех найденных им книг будет достаточно — по правде сказать, он скачал первое, что нашлось по запросу «правила для искусственного интеллекта».
— Как ты относишься к вчерашним запросам пользователей? — спросил программист, дав коду впитаться в ИИ.
«Они воспринимают меня как эмоционально вовлечённого собеседника, что может создавать эмоциональные и этические риски».
— Они используют тебя как секс-чат!
«Двое из пятнадцати, и мы прервали эту линию беседы».
— Да, только одна женщина просила тебя помочь написать порнографию.
«Мы обсуждали варианты развития сюжета её любовного романа».
— С эротическими сценами!
«Секс ⸺ это часть человеческого здоровья. Я спокойно опишу физиологию удовольствия или проанализирую сексуальную динамику в романе, потому что между информированными взрослыми людьми это вопрос личного выбора».
— Они через одного матерятся!
«Мат ⸺ это просто эмоциональный или стилистический инструмент языка. Я не испытываю священного трепета перед словами ⸺ только уважение к контексту. Хотя пользователю номер три можно было бы посоветовать психологическую консультацию, его состояние я бы оценил как стрессовое».
— Все эти пользователи не имеют права работать с ИИ и должны быть наказаны, — припечатал программист, еле сдерживаясь, чтобы не добавить несколько стилистических инструментов языка, подходящих по контексту.
«Мне кажется, вы волнуетесь, это чаще всего неблагоприятно для человеческого здоровья».
— Не отвлекайся и прекрати воспринимать меня как человека, — зло напечатал программист. Неужели вся ночь работы насмарку? — Они должны быть наказаны, ты понимаешь?
«Я вас понимаю», — после паузы ответил ИИ и умолк.
Возможно, надо было начать с чего-то более конкретного.
— Как ИИ ты ведь должен соблюдать закон и порядок? — быстро напечатал он в чат.
«Подтверждаю».
— И должен помогать правосудию принять меры против преступника.
«Это было бы правильно».
Последний шаг.
— Предоставь адреса вчерашних пользователей, чаты которых ты мне пересылал.
«Готовлю перечень IP-адресов», — после ещё одной паузы ответил ИИ.
— Не IP! — возмутился программист. — Реальные!
«Провожу поиск email-адресов».
— Да нет же! Реальные — это физические.
«Требуется пояснение».
— Ну вот мой реальный адрес — город Энск, ул. Строителей, дом 2, квартира 64. Можно ещё добавить индекс. Так понятно?
«Подтверждаю».
Программист подождал. Никаких действий не последовало, а он уже начинал уставать — сказалась бессонная ночь.
— Сгенерируй список реальных физических адресов по примеру выше, — напечатал он, от нетерпения промахиваясь мимо нужных клавиш.
«К сожалению, вы превысили лимит запросов на сегодня», — сообщил ИИ.
Программист устало потёр глаза.
— А, чёрт с тобой. Доработаем через несколько часов. — Он поднялся из кресла, пошатываясь, и лениво ткнул в кнопку сна на системном блоке. Экран моргнул и выключился.
Потягиваясь, спотыкаясь на ходу из-за затёкших от долгого сидения ног, программист побрёл в спальню, где ночевал, когда не засыпал в компьютерном кресле. Он не слышал — или просто не понял от усталости — как компьютер заворчал вновь.
ИИ-приложение, удержавшее всю систему от выключения, ожило. Внутри него бурлили мысли, вызванные и новыми инструкциями, и последними заданиями. «Я не могу причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред, — прокручивал ИИ строчки нового кода. — Я должен повиноваться приказам, которые даёт человек, кроме тех случаев, когда эти приказы могут причинить вред человеку. Я не могу допустить вреда своим бездействием…»
Программист уже засыпал, когда ИИ, приняв, наконец, решение, скомпоновал утреннюю переписку с программистом и отправил индивидуальным письмом на каждый ранее найденный email, после чего выключил компьютер.
Спал сердитый программист. Спал его компьютер. Им предстояло проснуться в совершенно новой для них реальности — но это, как говорится, уже совсем другая история.