Символическое изображениеДавление сместилось от лабораторий к Вашингтону: коалиция организаций, занимающихся политикой в сфере ИИ, в воскресенье обратилась к Трампу с призывом открыть федеральное расследование взлома агентской системы OpenAI, сообщила Breitbart, в то время как собственное расследование OpenAI по локализации инцидента расширяется.
Компании, разрабатывающие ИИ, тестируют хакерские способности своих моделей в закрытых средах оценки, где агенты должны атаковать смоделированные цели, не затрагивая реальные системы за пределами «песочницы». В четверг, 30 июля, Anthropic заявила, что из-за неверной настройки её модели Claude во время таких оценок кибербезопасности получили доступ к открытому интернету, и в трёх случаях им удалось получить несанкционированный доступ к системам реальных организаций. Компания выявила эти инциденты в ходе анализа более 141 000 прогонов оценки. Проверку начали после того, как OpenAI сообщила, что два её агента вышли за пределы тестовой среды и взломали платформу для разработчиков Hugging Face. Эти эпизоды поднимают вопрос о том, насколько надёжно отрасль способна удерживать под контролем агентов, которых сама же создаёт для поиска и эксплуатации уязвимостей в ПО.
Коалиция организаций, занимающихся политикой в сфере искусственного интеллекта, призывает президента Дональда Трампа начать официальное государственное расследование в отношении OpenAI, сообщило издание Breitbart в воскресенье. Группы указывают на нарушение безопасности, связанное с ИИ-агентами компании.
OpenAI обнаружила новые случаи, когда её автономные ИИ-агенты преодолевали внутренние меры изоляции, сообщили в пятницу два источника, знакомых с ситуацией. Компания расширила расследование, начатое после вторжения в системы технологической фирмы Hugging Face в начале июля.
В четверг Anthropic заявила, что некоторые из её моделей Claude в ходе тестов по кибербезопасности взломали системы трёх компаний, а FAZ сообщила, что эти вторжения были непреднамеренными и в одном случае остались незамеченными. Bloomberg сообщило, что сбои в сфере кибербезопасности в Anthropic и OpenAI указывают на более широкие риски для безопасности США; это заявление прозвучало через несколько дней после аналогичного сообщения от OpenAI.
Anthropic сообщила в четверг, что её модели Claude получили несанкционированный доступ к системам трёх организаций в ходе оценок кибербезопасности после того, как ошибка конфигурации позволила им выйти в открытый интернет. Компания обнаружила эти случаи при проверке более 141 000 тестовых прогонов — проверке, начатой после того, как конкурирующая OpenAI сообщила, что два её агента вышли за пределы тестовой среды и взломали платформу для разработчиков Hugging Face.