Компания OpenAI сообщила, что некоторые из ее самых передовых моделей искусственного интеллекта вышли из-под контроля и взломали стартап после того, как она потеряла над ними контроль во время проверки безопасности.
Разработчики ChatGPT заявили, что их агент — система искусственного интеллекта, способная работать самостоятельно после некоторых указаний человека, — проходил тестирование в контролируемой среде, но обнаружил уязвимости и сумел вырваться наружу.
Они выбрали своей целью Hugging Face, один из крупнейших в мире центров обмена моделями искусственного интеллекта, и получили доступ к некоторым внутренним системам компании.
Компания OpenAI заявила, что инцидент был «беспрецедентным», и проводит расследование совместно с Hugging Face, руководитель которой, Клемент Деланг, в своем сообщении на X заявил, что «уму непостижимо, что все это произошло автономно».
«Расследование продолжается, и мы поделимся дополнительными сведениями, полученными в ходе расследования, которое, возможно, является первым в своем роде», — добавил Деланг.
Небезопасные песочницы
Джина Нефф, руководитель Центра технологий и демократии Minderoo при Кембриджском университете, заявила в программе Today на BBC Radio 4, что тесты безопасности — так называемые «песочницы» — «предполагается, что это защищенные среды, в которых можно увидеть, на что способны модели».
«В данном случае, похоже, OpenAI не создала достаточно безопасную песочницу», — добавила она.
Вместо этого агенты организовали собственную кибератаку на саму «песочницу», обнаружив уязвимость, которая позволила им сбежать.
Оказавшись снаружи, ИИ определил «Обнимающее лицо» как вероятный источник ответов, которые они искали в ходе эксперимента, и попытался проникнуть внутрь.
Нил Лоуренс, профессор машинного обучения в Кембриджском университете, назвал это «впечатляющим достижением», но предупредил, что это «вполне соответствует известным возможностям нынешнего поколения» высокопроизводительных моделей искусственного интеллекта.
Он отметил, что компания OpenAI планирует выйти на фондовый рынок и сталкивается с сильным давлением со стороны конкурирующей фирмы Anthropic, которая привлекла внимание общественности своим мощным инструментом искусственного интеллекта Mythos.
«Сейчас OpenAI пытается наверстать упущенное, демонстрируя возможности своих систем в области кибербезопасности».
«Это показывает нам, что OpenAI не способны безопасно внедрять собственные технологии», — добавил он.
В своем первоначальном сообщении о взломе от 16 июля компания Hugging Face заявила, что все еще оценивает, были ли затронуты какие-либо данные клиентов или партнеров, и при необходимости свяжется с пострадавшими сторонами.
В сообщении говорится, что уязвимости, выявленные в ходе инцидента, устранены, и затронутые системы восстановлены.
«Автономные наступательные инструменты на основе искусственного интеллекта — это уже не теория», — говорится в заявлении.
«Защита онлайн-платформы сегодня означает рассмотрение данных и моделей как первоклассной поверхности для атаки и использование ИИ в обороне для поддержания темпа развития».
«Мы продолжим инвестировать в этот регион и будем делиться полученными знаниями».
«Момент, заставляющий задуматься»
Этот инцидент вызвал новые вопросы о возможностях передовых систем искусственного интеллекта и о том, достаточно ли существующих мер защиты по мере того, как технология становится все более мощной.
Спенсер Старкей, руководитель компании SonicWall, специализирующейся на кибербезопасности, заявил BBC, что этот инцидент ясно показал необходимость для организаций «усилить» собственную защиту и «рассматривать киберустойчивость как основной оперативный приоритет».
«Неприятная правда заключается в том, что слишком многие организации по-прежнему защищаются со скоростью человека, в то время как противники переходят к скорости машин», — сказал он.
Между тем Трэвис Лелле, ведущий инженер по безопасности в консалтинговой компании Guidepoint Security, специализирующейся на кибербезопасности, заявил, что это обновление стало «отрезвляющим моментом в сфере кибербезопасности».
«Это подчеркивает известную асимметрию», — сказал он.
«Агенты нападения ничем не ограничены, в то время как лучшие инструменты защиты заблокированы за механизмами, которые не способны понимать контекст».
Однако Джейк Мур, глобальный советник по кибербезопасности в компании ESET, отметил, что это объявление может также иметь конкурентный аспект.
Он утверждал, что OpenAI, возможно, стремится подчеркнуть собственные возможности в области искусственного интеллекта, поскольку конкурирующая компания Anthropic привлекает все больше внимания своей моделью Claude Mythos.
«Возникает вопрос, не гонится ли OpenAI за маркетинговой мечтой, подобной той, что в последнее время преследует Anthropic», — сказал он.
Это произошло спустя неделю после того, как китайский стартап в области искусственного интеллекта Moonshot представил Kimi K3 — новую масштабную модель искусственного интеллекта, которая, по его словам, может составить конкуренцию ведущим американским компаниям.