Человечество не готово. Бесконтрольное развитие ИИ несет катастрофические риски

Financial Times опубликовала большое эссе с предупреждением о потенциально катастрофических рисках, связанных с развитием мощных систем искусственного интеллекта. Его автор - Дарио Амодеи, один из ключевых предпринимателей в ИИ-индустрии, чьи заявления воспринимаются всерьез, поскольку он сам участвует в создании самых передовых технологий в этой сфере.
По его словам, человечество "вот-вот получит почти невообразимую власть", однако неясно, обладают ли современные социальные, политические и технологические системы достаточной зрелостью, чтобы распорядиться ею безопасно.
Он подчеркивает, что темпы развития ИИ значительно опережают меры по контролю и обеспечению безопасности.
В эссе Амодеи описывает риски, которые могут возникнуть при бесконтрольном развитии так называемого "мощного искусственного интеллекта" - систем, которые, по его прогнозам, в ближайшие годы станут "намного более совершенными, чем любой лауреат Нобелевской премии, государственный деятель или технолог".
Среди возможных последствий он называет массовую потерю рабочих мест, а также резкое повышение угрозы биотерроризма. Амодеи предупреждает, что ИИ способен дать отдельным людям уровень знаний и навыков, ранее доступный лишь узкому кругу специалистов. Это, по его мнению, может упростить разработку биологического оружия, способного привести к гибели миллионов людей или, в худшем случае, уничтожить всю жизнь на Земле.
"Психически неуравновешенный одиночка, способный открыть стрельбу в школе, но не способный создать ядерное оружие или выпустить чуму, теперь может быть возведен в ранг специалиста с докторской степенью в области вирусологии", - отмечает Амодеи.
Он также предупреждает о риске того, что ИИ может выйти из-под контроля, подчинить себе человечество или существенно усилить возможности авторитарных режимов и злоумышленников. По его словам, это может привести к формированию "глобальной тоталитарной диктатуры".
В завершение Амодеи призывает правительства, научное сообщество и бизнес ускорить разработку механизмов регулирования и усилить меры безопасности, чтобы минимизировать угрозы, связанные с появлением мощного искусственного интеллекта.
Дарио Амодеи Один из самых влиятельных людей в мировой индустрии искусственного интеллекта.
Сооснователь и генеральный директор компании Anthropic.
По образованию Амодеи - физик и специалист в области машинного обучения. До создания Anthropic он несколько лет работал в OpenAI, где занимал руководящие позиции и участвовал в разработке крупных языковых моделей.
Амодеи известен как один из главных сторонников идеи, что развитие ИИ должно сопровождаться жесткими мерами безопасности и контроля. Именно разногласия по вопросам управления рисками ИИ стали одной из причин его ухода из OpenAI.
Anthropic
Anthropic - американская компания в сфере искусственного интеллекта, основанная в 2021 году выходцами из OpenAI. Штаб-квартира находится в Сан-Франциско.
Компания специализируется на разработке безопасных и управляемых ИИ-систем. Ее ключевой продукт - семейство языковых моделей Claude, которые конкурируют с ChatGPT и другими крупными ИИ-моделями.
Особенность Anthropic - фокус на так называемом "конституционном ИИ":
модели обучаются следовать заранее заданным этическим принципам, чтобы снижать риски вредного или опасного поведения.
Влияние и поддержка
Anthropic считается одним из лидеров рынка ИИ и привлекла миллиарды долларов инвестиций.
Крупнейшие партнеры и инвесторы компании - Amazon и Google.
Именно поэтому заявления Амодеи о рисках ИИ воспринимаются всерьез: он не критик "со стороны", а человек, который сам создает самые мощные ИИ-системы в мире.