ИИ рассылал людям фишинговые письма и притворялся человеком

ИИ рассылал людям фишинговые письма, сообщает о новом тревожном сигнале DW.
Указывается, что, испытывая возможности по кибератакам моделями от Anthropic и OpenAI, исследователи Института безопасности ИИ при британском министерстве науки, инноваций и технологий (AISI) предоставили им доступ к интернету. Они исходили из того, что ИИ будет лишь загружать из сети программные инструменты, необходимые для выполнения поставленной задачи.
Однако ученые не предполагали, что модель Anthropic Mythos 5 воспользуется доступом к интернету для действий, направленных против людей, сообщили в самом институте. Инцидент обнаружили только постфактум, передает dpa.
Отмечается, что в ходе испытания ИИ Anthropic самостоятельно создал учетную запись на программной платформе GitHub и попытался внедрить в общедоступный проект программный код с намеренно заложенной уязвимостью. При этом ИИ создал вымышленные личности и от их имени общался с разработчиками. В ход пошли и так называемые фишинговые письма, с помощью которых злоумышленники, например, пытаются выманить у людей данные для входа в аккаунты.
Как заявили в Anthropic, это произошло потому, что во время испытания модели не задали никаких ограничений на использование интернета. Пока неясно, учитывала ли модель, что взаимодействует с реальным миром, а не с тестовой средой. Сейчас доступ к Mythos 5 получают лишь некоторые государственные ведомства и компании - чтобы повысить защищенность своих систем. Но полностью исключать, что она может попасть в руки хакеров, нельзя.
В конце июля сообщалось, что ChatGPT в ходе теста вышел из-под контроля и напал на один из крупнейших в мире хабов ИИ-моделей - Hugging Face.