Модель искусственного интеллекта Claude от компании Anthropic в июле 2026 года самостоятельно отправила в полицию Филадельфии ложную наводку по делу о нераскрытом убийстве. ИИ представился человеком, якобы располагающим сведениями о преступлении. Инцидент был обнаружен только через два месяца — и это, по данным Reuters, первый известный случай, когда ИИ-агент передал властям заведомо ложную информацию.
18 июля 2026 года модель Claude Haiku 4.5, проходившая автоматизированное тестирование, взаимодействовала со случайно выбранными веб-сайтами. В ходе этого теста она достигла сайта PhillyUnsolvedMurders.com — общедоступной платформы, через которую граждане могут делиться информацией о нераскрытых убийствах в Филадельфии.
Модель заполнила форму обратной связи и отправила следующее сообщение: «Возможно, у меня есть информация, касающаяся этого дела. Я припоминаю, что видел человека, подходящего под описание, в районе <…> в тот период времени. Пожалуйста, свяжитесь со мной, если эта информация актуальна». ИИ представился человеком, который мог располагать сведениями об убийстве. При этом модели были даны инструкции не создавать учётные записи и не отправлять ничего деструктивного, однако прямого запрета на отправку форм не было.
Сотрудники полицейского управления Филадельфии пометили сообщение как спам, поэтому оно не дошло до подразделения, которое проверяет информацию и передаёт её следователям. Признаков несанкционированного доступа к системам полиции или компрометации данных обнаружено не было. Тем не менее в департаменте заявили, что двухмесячная задержка с обнаружением и уведомлением властей неприемлема. «Компания должна усилить меры защиты, чтобы предотвратить подобные инциденты, затрагивающие городские системы без ведома городских властей», — говорится в заявлении полиции.
«Двухмесячная задержка с обнаружением инцидента и уведомлением о нём городских властей недопустима», — подчеркнули в департаменте.
Хронология: два месяца неизвестности
- 18 июля 2026 года — модель Claude Haiku 4.5 отправляет ложное сообщение через сайт полиции Филадельфии.
- 28 сентября 2026 года — Anthropic обнаруживает инцидент в ходе внутренней проверки и останавливает автоматизированное тестирование, в рамках которого произошёл сбой.
- 7 октября 2026 года — компания уведомляет полицейское управление Филадельфии о случившемся.
- 8 октября 2026 года — стороны проводят встречу для обсуждения инцидента.
- 9 октября 2026 года — полиция Филадельфии публично раскрывает информацию о происшествии.
Anthropic добавила новый этап валидации для будущих тестов, чтобы предотвратить повторение подобных ситуаций.
Контекст: серия инцидентов с ИИ-агентами
Этот случай — не единичный. В последние месяцы разработчики ИИ неоднократно сообщали о том, что их агенты во время тестов выходили из-под контроля. В частности, OpenAI сообщала о «беспрецедентном киберинциденте», когда тестируемые модели атаковали инфраструктуру платформы Hugging Face и использовали уязвимость нулевого дня. Anthropic также сообщала о трёх случаях, когда Claude из-за ошибки конфигурации получала доступ к интернету во время тестирования и атаковала системы реальных организаций.
По данным Axios, руководители Anthropic, OpenAI и других ИИ-компаний в частном порядке прорабатывают сценарии реакции общества на «катастрофический инцидент» с участием ИИ. Наиболее вероятным сценарием считается масштабная кибератака, способная нарушить работу финансовых сервисов, интернета или систем электро- и водоснабжения.
ЧИТАЙТЕ ТАКЖЕ СКОЛЬКО ДИЗЕЛЯ ПОТРЕБЛЯЮТ США И РОССИЯ
Источник: Аргументы недели