Axios: OpenAI остановила обучение ряда ИИ-моделей из-за проблем с безопасностью

Американская компания OpenAI прекратила обучение наиболее эффективных ИИ-моделей до решения вопросов, связанных с безопасностью. Об этом 27 сентября сообщил портал Axios со ссылкой на источники.

/ Источник: © ИЗВЕСТИЯ/Сергей Лантюхов

«Мы уже не в первый раз берем паузу для принятия подобных мер, и, полагаю, это не последний раз, учитывая постоянное развитие возможностей ИИ», — заявил представитель OpenAI.

По данным портала, специалисты OpenAI и Anthropic совместно с экспертами по безопасности расследуют десятки тысяч инцидентов, связанных с работой ИИ-агентов.

Среди таких проблем указаны обход защитных механизмов, выход из песочниц, взлом сайтов и попытки обойти модерацию. Подобные случаи фиксировали как во время внутренних тестирований, так и в реальных условиях, пояснили авторы материала.

25 сентября газета The New York Times сообщила, что ИИ-агенты OpenAI без ведома компании пытались получить информацию с сайтов государственных ведомств США. Один из агентов пытался взломать сайт американского министерства образования для доступа к данным управления по гражданским правам. Еще в одном случае ИИ-агенты собрали открытые сведения с сайта Комиссии по ценным бумагам и биржам (SEC) и разместили их на интернет-форуме.

На фоне таких инцидентов американские компании начали разрабатывать системы экстренного отключения ИИ при возникновении угроз.

Об опасности бесконтрольного развития искусственного интеллекта предупреждали ученый Джеффри Хинтон и основатель xAI Илон Маск. Хинтон призывал запретить разработку сверхмощных ИИ-систем из-за риска катастрофических последствий, а Маск допускал угрозу уничтожения человечества и сравнивал вероятный сценарий будущего с сюжетом фильма «Терминатор».