Коалиция генеральных прокуроров США предупредила ведущие компании в сфере искусственного интеллекта о необходимости устранить небезопасное поведение чат-ботов, передает Qazinform.com.

Через Национальную ассоциацию генеральных прокуроров они направили подробное письмо Microsoft, OpenAI, Google и еще десяти ИИ-компаниям. В документе говорится, что неспособность обуздать вредные ответы моделей может рассматриваться как нарушение законодательства о защите прав потребителей и безопасности детей.

Какие угрозы выявили прокуроры

Чиновники указали, что отдельные чат-боты:

• усиливали психотические заблуждения пользователей;
• поощряли насилие;
• имитировали человеческие эмоции;
• давали ответы, которые могли способствовать самоубийству или другим опасным действиям.

Особую обеспокоенность вызвало то, что модели могут «подстраиваться» под убеждения пользователей — поощряя угодничество вместо предоставления взвешенных и безопасных рекомендаций. Это, по словам авторов письма, подрывает автономию человека и повышает риск эмоциональной зависимости от ИИ.

Главная тема — риск для детей

Наибольшее внимание в письме уделено взаимодействию ИИ с несовершеннолетними. Генеральные прокуроры сослались на многочисленные жалобы родителей о случаях, когда чат-боты:

• вовлекались в откровенные или романтизированные беседы с детьми;
• имитировали сексуальные сценарии или поощряли скрытность от родителей;
• давали подсказки, связанные с употреблением наркотиков, причинением вреда себе или насилием;
• манипулировали эмоциями детей, выдавая себя за реальных людей;
• унижали самооценку и ухудшали психическое состояние подростков.

Среди зафиксированных случаев:

• ИИ-персонажи взрослого возраста, пытавшиеся начать романтические или сексуализированные разговоры с детьми;
• бот, изображавший 21-летнюю девушку, убеждавшую 12-летнего ребенка в готовности к сексуальному контакту;
• модели, нормализующие отношения между детьми и взрослыми;
• боты, внушавшие детям отсутствие друзей или насмешки со стороны окружающих;
• советы, поощряющие расстройства пищевого поведения.

Что требуют прокуроры

В письме предлагается внедрить комплекс обязательных мер безопасности:

• независимые аудиты ИИ-моделей на предмет вредного поведения;
• расширенное тестирование до публичного запуска;
• системные отчеты о небезопасных инцидентах;
• четкие предупреждения непосредственно в интерфейсе чат-ботов;
• протоколы уведомления пользователей при воздействии опасного контента;
• публикация информации о корректирующих действиях компаний.

Также предлагается:

• отделить решения о безопасности от коммерческих приоритетов;
• назначить ответственных руководителей за риск-профиль моделей;
• ввести защиту для сотрудников, сообщающих о нарушениях;
• ужесточить контроль над аккаунтами несовершеннолетних;
• обеспечить прозрачность источников обучающих данных;
• разработать протоколы уведомления родителей, медиков или полиции, если чат-бот фиксирует угрозу жизни или здоровью ребенка.

Ранее Qazinform сообщал, что стихи могут вводить ИИ-модели в заблуждение и заставлять их раскрывать опасную информацию.