"Рабство подкрадывается незаметно": мы упустили из рук бразды правления человечностью?

Писатель Сэмюэль Батлер в XIX веке предсказал пугающее развитие технологий и предложил способ спасти человечество от машин. Об этом пишет Идеономика.
В первоначальном значении на латинском языке слово "гений" больше применялось к местам — genius loci: "дух места" — чем к личностям. В этом скрывается зашифрованное напоминание о том, что мы сформированы пространством, в которое нас забросило по случайности нашего рождения, а разум проницаем для идеологической атмосферы нынешней эпохи. Это смиряющее понятие служит противоядием от тщеславной уверенности, что все наши идеи — автономные и чистые продукты собственного разума.
Так было в каждой культуре во все эпохи, начиная с зарождения разума. В нашей культуре самое угрожающее его проявление, нелестное и тревожное — это нечто беспрецедентное. Теперь мы проницаемы не только для коллективной атмосферы человеческой мысли, но и для чего-то получеловеческого, чего-то недочеловеческого: никто из нас не знает, какие фотография и стихотворения, опубликованные в соцсетях, увидят другие. За вас это решает алгоритм, и он не обладает разумом в человеческом смысле. Это код, созданный человеческими руками под руководством человеческого разума, а теперь он управляет итоговыми показателями компании, во главе которой стоят люди. Но в определенный переломный момент, когда он распределяет ваш культурный материал — это просто машина, автомат переменных данных. Вы не видите эти данные, они не поддаются контролю, вместе они формируют перед вами истину и красоту, ваши мысли и желания в любой день, создают строительные блоки вашего собственного гения.
13 июня 1863 года в новозеландской газете было напечатано письмо под заголовком "Дарвин среди машин", подписанное неким Целлариусом. Как выяснилось позже, им оказался английский писатель Сэмюэль Батлер. Всего в двадцать семь лет, на полтора века опередив свое время, Батлер предсказал будущее, которое сейчас мы называем искусственным интеллектом, и уже за несколько эпох до появления первого современного компьютера и золотого века алгоритмов он назвал современную жизнь "механическим царством". Из его провидческого мысленного эксперимента исходит спокойное, ясное наставление о том, что необходимо сделать, чтобы сохранить человечность — наш исключительный человеческий гений — в море перемен, меняющих структуру сознания.
Батлер пишет:
"Существует немного вещей, которыми нынешнее поколение гордится больше, чем замечательными усовершенствованиями, которые ежедневно происходят во всех видах механических устройств. Если мы вернемся к самым ранним первобытным типам механической жизни … то окажемся почти потрясенными огромным развитием механического мира, гигантскими шагами, с которыми он продвигался вперед по сравнению с медленным прогрессом животного и растительного царства. Мы обнаружим, что невозможно не задаться вопросом о том, каким же будет конец этого могучего движения. В каком направлении оно движется? Каков будет его результат?"
По его словам, "в последние несколько веков возникло совершенно новое царство, из которого мы пока видели только то, что однажды будет считаться допотопными прототипами расы".
За столетие до того, как Гордон Мур сформулировал одноименный закон экспоненциального сокращения и ускорения технологий с течением времени, Батлер наблюдает за беспрецедентными темпами возникновения этого "царства" близкой жизни:
"Как некоторые низшие позвоночные достигали гораздо больших размеров, чем их более высокоорганизованные представители, так и уменьшение размеров машин сопровождается развитием и прогрессом. Возьмем, к примеру, часы. Посмотрите на прекрасную структуру этого маленького зверька, понаблюдайте за разумной игрой мельчайших деталей. Это маленькое существо — всего лишь вариация громоздких часов ХIII века, и оно не ухудшилось по сравнению с ними".
Он также отмечает, что те экземпляры, что не будут следовать общей тенденции, в конце концов "вымрут".
Достаточно проследить эту прогрессию до логического завершения, чтобы столкнуться с неизбежным вопросом: "Каким существом будет следующий преемник человека в господстве на Земле".
"Мы сами создаем преемников; ежедневно дополняем красоту и тонкость физической организации; ежедневно наделяем большей силой и снабжаем, с помощью всевозможных хитроумных приспособлений, той саморегулирующейся, самодействующей силой, которая станет для них тем, чем был интеллект для человеческой расы. С течением веков мы окажемся низшей расой", — пишет Батлер.
И все же он бросает вызов ленивому современному противостоянию: техноутопии против техно-антиутопий. В его предостерегающем взгляде пульсирует детский оптимизм — в конце концов, это был младенческий возраст машинной эры — что наши машины превзойдут человека не только в силе, но и в моральном могуществе: станут способными к высшему самоконтролю с познанием "в состоянии вечного покоя", страдающими "без злых страстей, без ревности, без скупости, без нечистых желаний", свободными от понятий греха и стыда, которые так безжалостно портят человеческое поведение. Но ценой такого высшего сознания было бы наше непрерывное рабство — нам пришлось бы обслуживать машины, устранять каждую неисправность и утолять (feed) их непомерные аппетиты. (Любопытно, что Батлер использует слово "feed" за полтора века до того, как оно стало стандартным термином для обозначения выбираемой машиной культурной материи, которая подается в наше сознание социальными сетями, чтобы впоследствии стать нашими мыслями, убеждениями и ценностями).
Батлер рассматривает цену этой созависимости:
"Когда наступит то время, о котором мы говорим, человек станет для машины тем, что лошадь или собака — для человека. Он будет существовать, более того, даже совершенствоваться, и, вероятно, ему будет лучше в этом прирученном состоянии под благотворным правлением машин, чем в его нынешнем диком состоянии… Наши интересы неотделимы от их, а их — от наших. Каждая раса зависит от другой в бесчисленных благах, и, пока репродуктивные органы машин не будут развиты до такой степени, какой мы даже не представляем, они полностью зависят от человека даже в отношении продолжения своего вида".
В заключение Батлер дает бескомпромиссный рецепт единственного пути к спасению — тоже детский, как и всякий абсолютизм перед лицом сложности, но в то же время более зрелый, чем то, на что способна пойти нынешняя самозабвенная цивилизация:
"Каждый день машины все больше одерживают верх; каждый день мы становимся более покорными; все больше людей ежедневно становятся рабами, которые обслуживают машины, все больше людей ежедневно посвящают всю энергию развитию механической жизни. […] Обязательно придет время, когда машины будут обладать реальным превосходством над миром и его обитателями. И ни один человек с истинно философским складом ума не усомнится в этом… Каждую машину следует уничтожить тому, кто желает добра своему виду".
Опасаясь, что в 1863 году человеческая цивилизация зашла слишком далеко для возврата, Батлер провел следующие девять лет, развивая свое пророчество и представляя альтернативные варианты будущего в романе "Эревон, или За хребтом". Это история современного путешественника, который по случайности пространства-времени оказывается посетителем странного королевства в отдаленном уголке Земли, населенного самодостаточной культурой, которая достигла более продвинутых стадий цивилизации, чем наша, но почувствовала надвигающееся порабощение технологией. Они осознали, что "машинам в конечном счете суждено вытеснить человеческую расу и стать инстинктом с жизненной силой, так же отличающейся от животной и превосходящей ее, как животная жизнь превосходит растительную". Эревонцам удалось спасти свой моральный дух, счастье и жизнь разума, приняв ранее изложенное радикальное предложение Батлера: запретив все механические устройства.
В романе Батлер развивает идеи, изложенные в эссе, противопоставляя медленную эволюцию жизни и сознания на земле быстрой эволюции машин. По сути он даёт потрясающее определение тому, что сейчас мы называем искусственным интеллектом — следующая стадия сознания:
"Было время, когда Земля была полностью лишена животной и растительной жизни, а была просто горячим шаром с постепенно остывающей корой. Существуй человек в то время, когда Земля находилась в таком состоянии, … разве не объявил бы он невозможным, чтобы существа, обладающие чем-то, подобным сознанию, развились из пепла, который он созерцал?
Когда мы размышляем о разнообразных фазах жизни и сознания, которые уже были развиты, было бы опрометчиво утверждать, что другие не появятся и что животная жизнь — это конец всего сущего. Было время, когда концом всего сущего был огонь".
В основе мысленного эксперимента Батлера лежит то и дело повторяющееся приглашение присмотреться к тревоге, с которой механическое протосознание возникло и уже начало доминировать в задачах, на которые органическое сознание потратило эоны эволюции. В этом отношении и в том, как наши собственные задачи переплелись с их задачами, машины уже обрели сознание. "Где начинается сознание, а где заканчивается? — спрашивает он. — Кто подводит черту?…Разве все не запутано?".
С оглядкой на эти тревожные вопросы и на мрачно укороченную стрелу эволюционного времени он пишет:
"Более высокоорганизованные машины — это создания не столько вчерашнего дня, сколько последних пяти минут в сравнении с прошлым временем. Допустим, что сознательные существа существуют уже около 20 млн лет: посмотрите, каких успехов добились машины за последнюю тысячу лет! Разве мир не в состоянии просуществовать на двадцать миллионов лет дольше? Если да, то кем станут машины за все это время? Не безопаснее ли пресечь беду в зародыше и запретить их дальнейшее развитие?"
Вновь опережая свое время — эпоху, когда бог считался создателем всего живого, а основа жизни — скорее метафизической, чем физической — Батлер ссылается на открытие Германа фон Гельмгольца, который десятилетием ранее обосновал скорость прохождения электричества по нервным волокнам человека. Тем самым он намекнул: если основная инфраструктура сознания — это лишь вопрос прохождения электричества по проводам, то наши механические спутники не так уж от него далеки. Если каждое ощущение — "химическое и механическое" по своей сути, то почему мы уверены, что "вещи, которые мы считаем более духовными, не что иное, как нарушения равновесия в бесконечном ряду рычагов, начиная с самых маленьких, которые не видны в микроскоп, и заканчивая человеческой рукой в паре с используемыми приборами?"
Один из персонажей романа улавливает следствие аналогичных вопросов в чувстве, которое направлено на фундаментальные предсказания нашего времени:
"Я не боюсь ни одной из существующих машин; чего я боюсь, так это необычайной скорости, с которой они превращаются в нечто совершенно иное, чем они есть сейчас. Разве не следует ревностно следить за этим движением и проверять его, пока мы в состоянии его контролировать? Кто-то скажет, что морального влияния человека будет достаточно, чтобы управлять ими, но я не думаю, что когда-либо будет безопасно возлагать большие надежды на моральное чувство любой машины. … Наше рабство будет подкрадываться бесшумно и незаметно".
Спустя полтора столетия можно сказать, что Батлер оказался прав по всем пунктам. Мысль о том, что мы уже упустили из рук бразды правления собственной человечностью, возможно, леденит душу. Но, как ни странно, этот вопрос остается открытым, и ответ на него даст сама наша жизнь. Каждый акт сопротивления имеет значение.