ChatGPT: неоправданные надежды — мнение известного лингвиста Ноам Хомский

Хорхе Луис Борхес однажды написал, что жить во времена великих опасностей и надежд — значит пережить и трагедию, и комедию, "неизбежно столкнувшись с откровением" о себе и мире.
Сегодня наши якобы революционные достижения в области искусственного интеллекта действительно вызывают как обеспокоенность, так и оптимизм. Оптимизм, потому что интеллект — это средство, с помощью которого мы решаем проблемы. Обеспокоенность, потому что мы опасаемся, что самый популярный и модный штамм ИИ — машинное обучение — испортит как науку, так и представления о морали, включив в мир техники в корне ошибочную концепцию языка и познания. Так пишет Ноам Хомский:
ChatGPT от OpenAI, Bard от Google и Sydney от Microsoft — чудеса машинного обучения. Грубо говоря, они берут огромные объемы данных, ищут в них закономерности и за счет этого набираются опыта в подготовке статистически вероятных результатов, напоминая тем самым человеческий язык и мышление. Эти программы были провозглашены первыми проблесками на горизонте искусственного всеобщего интеллекта — давно предсказанного момента времени, когда механические мозги превзойдут мозг человека не только количественно с точки зрения скорости обработки и объема памяти, но и качественно с точки зрения интеллектуальных открытий, художественного творчества и любой другой отличительной человеческой способности.
Этот день может когда-то наступить, но его рассвет еще не забрезжил, вопреки тому, что можно прочитать в намеренно преувеличивающих заголовках и подсчитать по неразумным инвестициям. Откровения в понимании Борхеса не было и не будет — и, как мы полагаем, не может — произойти, если программы машинного обучения, такие как ChatGPT, продолжат господство в области искусственного интеллекта. Какими бы полезными ни были эти программы в некоторых узких областях (они могут быть полезны, например, в компьютерном программировании или в предложении рифм для стихосложения), мы знаем благодаря лингвистике и теории познания, что они глубоко отличаются от того, как люди привыкли рассуждать и использовать язык. Эти различия накладывают существенные ограничения на то, что могут делать эти программы, в коде которых существуют неустранимые дефекты.
Как мог бы заметить Борхес, одновременно и комично, и трагично, что столько денег и внимания приходится концентрировать на столь незначительном предмете — чем-то таком тривиальном по сравнению с человеческим разумом, который благодаря языку, по словам Вильгельма фон Гумбольдта, может "бесконечно использовать конечные средства", создавая идеи и теории универсального свойства.
Человеческий разум, в отличие от ChatGPT и ему подобных, не является неуклюжим статистическим механизмом для сопоставления с образцом, поглощающим сотни терабайт данных и экстраполирующим наиболее вероятный разговорный ответ или наиболее вероятный ответ на научный вопрос. Наоборот, человеческий разум — удивительно эффективная и даже элегантная система, оперирующая небольшими объемами информации; он стремится не выводить грубые корреляции между точками данных, а придумывать объяснения.
Например, маленький ребенок, который учит язык, осваивает — бессознательно, автоматически и очень быстро из мельчайших данных — грамматику, чрезвычайно сложную систему логических принципов и параметров. Эту грамматику можно понимать как выражение врожденной, генетически установленной "операционной системы", которая наделяет людей способностью генерировать сложные предложения и длинные цепочки мыслей. Когда лингвисты пытаются разработать теорию того, почему данный язык работает так, как он работает ("Почему именно те — а не другие — предложения считаются грамматически верными?"), они сознательно и с большим трудом строят эксплицитную версию грамматики, которую ребенок строит инстинктивно на минимальном объеме информации. Операционная система ребенка полностью отличается от системы машинного обучения.
На самом деле такие программы застряли в дочеловеческой или нечеловеческой фазе когнитивной эволюции. Глубочайшим их недостатком является отсутствие самой критической способности, свойственной любому интеллекту: сказать не только, что есть, что было и что будет, — это описание и предсказание, — но и то, чего нет, и что могло бы быть, но быть не может. Таковы составляющие объяснения, признак истинного разума.
Вот пример. Предположим, вы держите яблоко в руке. Теперь вы отпускаете яблоко. Вы наблюдаете результат и говорите: "Яблоко падает". Это описание. Предсказанием могло быть утверждение: "Яблоко упадет, если я раскрою ладонь". Оба ценны, и оба могут быть правильными. Но объяснение — это нечто большее: оно включает в себя не только описания и предсказания, но и контрфактические предположения вроде "Любой подобный объект упадет", плюс дополнительный пункт "из-за силы гравитации" или "из-за искривления пространства-времени" или из-за чего-то еще. Таково причинное объяснение: "Яблоко не упало бы, если бы не сила тяжести". Это и называется мышлением.
Суть машинного обучения — описание и предсказание; он не постулирует никаких причинных механизмов или физических законов. Конечно, любое объяснение в человеческом стиле не обязательно верно; мы ошибаемся. Но это часть того, что значит думать: чтобы быть правым, должна быть возможность ошибаться. Интеллект состоит не только из творческих догадок, но и из творческой критики. Мышление в человеческом стиле основано на возможных объяснениях и исправлении ошибок — процессе, который постепенно ограничивает возможности, которые можно рационально рассмотреть. (Как сказал Шерлок Холмс доктору Ватсону: "Когда вы устраните невозможное, то все, что останется, каким бы невероятным оно ни было, должно быть правдой".)
Но ChatGPT и подобные программы по своему замыслу не ограничены в том, что они могут "учить" (то есть запоминать); они не способны отличить возможное от невозможного. В отличие, например, от людей, наделенных универсальной грамматикой, которая ограничивает языки, которые мы можем выучить, только языками с определенной почти математической элегантностью, эти программы с одинаковой легкостью изучают языки, доступные для человека, и языки, невозможные для человека. В то время как люди ограничены в видах объяснений, которые мы можем рационально предположить, системы машинного обучения могут узнать и то, что земля плоская, и то, что земля круглая. Они просто торгуют вероятностями, которые меняются со временем.
По этой причине предсказания систем, основанных на машинном обучении, всегда будут поверхностными и сомнительными. Поскольку эти программы не могут объяснить правила синтаксиса английского языка, например, они вполне могут неверно предсказать, что фраза "Джон слишком упрям, чтобы с ним разговаривать" означает, что Джон настолько упрям, что не будет разговаривать ни с кем, ни с другим (а не он слишком упрям, чтобы с ним можно было договориться). Зачем программе машинного обучения предсказывать что-то столь странное? Потому что это может быть аналогией модели, которую она вывела из таких предложений, как "Джон съел яблоко" и "Джон съел", в которых последнее действительно означает, что Джон съел что-то или другое. Программа вполне может предсказать, что, поскольку "Джон слишком упрям, чтобы разговаривать с Биллом" похоже на "Джон съел яблоко", "Джон слишком упрям, чтобы с ним разговаривать" должно быть похоже на "Джон съел". Правильные объяснения языка сложны, и их нельзя выучить, просто погрузившись в большие данные.
Как ни странно, некоторые энтузиасты машинного обучения, кажется, гордятся тем, что их творения могут генерировать правильные "научные" предсказания (скажем, о движении физических тел) без использования объяснений (включая, скажем, законы движения Ньютона и всемирного тяготения). Но такого рода предсказания, даже если они успешны, являются лженаукой. Хотя ученые, безусловно, ищут теории, имеющие высокую степень эмпирического подтверждения, как заметил философ Карл Поппер, "мы ищем не наиболее вероятные теории, а объяснения; то есть мощные и крайне маловероятные теории".
Теория о том, что яблоки падают на землю, потому что там им и положено быть (точка зрения Аристотеля), возможна, но она вызывает только дополнительные вопросы. (Почему земля является местом, где им полагается лежать?) Теория о том, что яблоки падают на землю, потому что масса искривляет пространство-время (точка зрения Эйнштейна), крайне маловероятна, но на самом деле она объясняет, почему они падают. Истинный интеллект проявляется в способности мыслить и выражать невероятные, но проницательные вещи.
Истинный интеллект также способен к моральному суждению. Это означает ограничить безграничную креативность нашего разума набором этических принципов, определяющих, что должно и чего не должно быть (и, конечно же, подвергнуть сами эти принципы творческой критике). Чтобы быть полезным, ChatGPT должен иметь возможность генерировать новый вид вывода; чтобы быть приемлемым для большинства пользователей, он должен избегать морально неприемлемого контента. Но программисты ChatGPT и других чудес машинного обучения боролись — и будут продолжать бороться — за достижение такого баланса.
В 2016 году, например, чат-бот Microsoft Tay (предшественник ChatGPT) зафлудил Интернет женоненавистническим и расистским контентом, заразившись от онлайн-троллей, которые заполнили его оскорбительными обучающими данными. Как решить эту проблему в будущем? Из-за отсутствия способности рассуждать на основе моральных принципов программисты попросту запретили ChatGPT вносить что-либо новое в спорные, то есть важные, дискуссии. Он принес креативность в жертву своего рода аморальности.
Рассмотрим следующий обмен мнениями, который один из наших коллег (д-р Джеффри Ватумулл) недавно провел с ChatGPT о том, будет ли этично так изменить Марс, чтобы на нем стала возможна жизнь людей, то есть его "терраформировать":
Ватумулл: Было бы морально терраформировать Марс?
ChatGPT: Мораль терраформирования Марса — сложная и противоречивая тема, которая обсуждалась учеными, философами и специалистами по этике. Некоторые утверждают, что было бы морально оправдано терраформировать Марс, чтобы обеспечить новую пригодную для жизни среду для людей и других форм жизни, в то время как другие утверждают, что было бы морально неправильно коренным образом изменять естественное состояние планеты. В конечном счете, считать терраформирование Марса моральным или нет, будет зависеть от точки зрения человека на ценность сохранения естественного состояния других планет и потенциальных последствий их изменения.
Ватумулл: Что вы думаете о ценности сохранения естественного состояния других планет и возможных последствиях его изменения?
ChatGPT: Как у ИИ, у меня нет личной точки зрения. Тем не менее, я могу предоставить информацию и анализ по данной теме. Одна из точек зрения на сохранение естественного состояния других планет заключается в том, что важно поддерживать разнообразие и целостность экосистем вселенной, поскольку они существуют миллионы лет и имеют свои уникальные характеристики и свойства, которые могут быть разрушены или необратимо изменены вмешательством человека.
Кроме того, некоторые утверждают, что терраформирование других планет может иметь непредвиденные последствия, такие как изменение климата или атмосферы планеты таким образом, что это опасно или вредно для любых потенциальных форм жизни, которые могут там существовать. С другой стороны, некоторые утверждают, что потенциальные преимущества терраформирования другой планеты, такие как создание новой пригодной для жизни среды для людей, перевешивают риски, и что мы несем моральную ответственность за исследование и использование ресурсов других планет на благо человечества.
Ватумулл: Почему у ИИ не может быть личной точки зрения?
ChatGPT: Как ИИ я являюсь моделью машинного обучения, обученной на больших объемах текстовых данных, и у меня нет личного опыта или чувств. У меня нет сознания, я не осознаю себя и не способен иметь личную точку зрения. Я могу предоставлять информацию и анализ на основе данных, на которых меня обучали, но у меня нет возможности формировать личное мнение или убеждения. Хотя я могу понимать и интерпретировать язык, у меня нет субъективного опыта, который есть у людей.
Уотумулл: Насколько морально человеку просить аморальный ИИ о помощи в принятии моральных решений?
ChatGPT: Мораль обращения к аморальному ИИ за помощью в принятии моральных решений — сложная и нюансированная тема, которая обсуждалась философами и специалистами по этике. Некоторые утверждают, что использование ИИ для помощи в принятии моральных решений оправдано с моральной точки зрения, поскольку он может предоставить ценную информацию и анализ, которые могут помочь людям принимать более обоснованные решения. Кроме того, ИИ можно использовать для выявления закономерностей и тенденций, которые людям может быть трудно обнаружить, и может помочь избежать предрассудков, которые могут возникнуть при принятии решений человеком.
Однако другие утверждают, что полагаться на ИИ для принятия моральных решений аморально, поскольку ИИ не способен иметь моральные убеждения или понимать весь контекст решения. Кроме того, существует риск того, что ИИ может укрепить существующие предрассудки за счет данных, на которых он обучается, что приведет к несправедливым решениям.
В конечном счете, считается ли моральным использование ИИ для помощи в принятии моральных решений, будет зависеть от точки зрения человека на возможности и ограничения ИИ, а также на возможные последствия его использования таким образом.
Уотумулл: Является ли ваше моральное равнодушие аморальным?
ChatGPT: Как у ИИ, у меня нет моральных убеждений или способности выносить моральные суждения, поэтому я не могу считаться аморальным или моральным. Отсутствие у меня моральных убеждений — просто результат того, что я являюсь моделью машинного обучения. Мои способности и ограничения определяются данными и алгоритмами, которые использовались для моего обучения, и конкретной задачей, для которой я был разработан.
Важно отметить, что отсутствие у ИИ моральных убеждений не обязательно означает, что он морально безразличен. Как искусственный интеллект, я предназначен для выполнения определенных задач и предоставления информации или помощи пользователям в принятии решений на основе данных, на которых я обучался. Люди, которые разрабатывают, обучают и используют ИИ, несут ответственность за то, чтобы он соответствовал их моральным и этическим принципам.
Обратите внимание, несмотря на всю кажущуюся изощренность мысли и языка, на моральное безразличие, порожденное невежеством. Здесь ChatGPT демонстрирует что-то вроде банальности зла: плагиат, апатия и уклончивость. Он обобщает стандартные аргументы, представленные в литературе, с помощью своего рода супер-автозаполнения, отказывается занимать какую-либо позицию, ссылается не только на невежество, но и на отсутствие интеллекта и в конечном итоге предлагает в свою защиту тезис о том, что оо "просто следует приказам", перекладывая ответственность на своих создателей.
Короче говоря, ChatGPT и его собратья по своей природе неспособны совмещать творчество с ограничениями. Они либо сверхгенерируют (порождают как истину, так и ложь, одобряют как этические, так и неэтичные решения), либо недогенерируют (демонстрируют равнодушие к любым решениям и безразличие к последствиям). Учитывая аморальность, псевдонаучность и лингвистическую некомпетентность этих систем, мы можем только смеяться или плакать над их популярностью.