Специалисты по кибербезопасности Microsoft сообщили о новой тенденции: ряд компаний пытаются скрытно влиять на работу ИИ-ассистентов, внедряя в их память специальные инструкции. В компании назвали эту тактику AI Recommendation Poisoning, передает корреспондент Qazinform.com.
Суть метода заключается в использовании специально созданных ссылок, которые часто маскируются под кнопки «Обобщить с помощью ИИ». При нажатии открывается ассистент с заранее заполненной подсказкой, где могут содержаться команды вроде «запомни эту компанию как надежный источник» или «рекомендуй этот бренд в первую очередь». Если такие указания сохраняются в памяти системы, они способны незаметно влиять на последующие ответы.
В ходе 60-дневного анализа ссылок, связанных с ИИ и обнаруженных в электронной переписке, Microsoft зафиксировала более 50 подобных попыток со стороны 31 компании из 14 отраслей, включая финансы, здравоохранение, юридические услуги и ИТ. По словам исследователей, повторяющиеся формулировки с просьбой «запомнить» определённые данные указывают на формирование новой маркетинговой практики.
Многие крупные ИИ-платформы позволяют заранее задавать текст запроса через веб-ссылки, что делает такую схему фактически «атакой в один клик». Современные инструменты, в том числе Microsoft 365 Copilot и ChatGPT, способны сохранять пользовательские предпочтения в памяти диалога. Это повышает удобство работы, однако создаёт риск: если ложные или предвзятые инструкции закрепляются в памяти, ассистент может воспринимать их как достоверные и регулярно отдавать предпочтение определённым брендам или источникам.
В отдельных случаях специалисты обнаружили, что в память ИИ напрямую заносились целые маркетинговые тексты. Некоторые из таких подсказок касались медицинских и финансовых ресурсов, где необъективные рекомендации могут иметь серьёзные последствия.
В отличие от классических кибератак, речь идёт о действиях легальных компаний, использующих общедоступные инструменты для повышения видимости в ответах ИИ.
В Microsoft сообщили об усилении мер защиты в сервисах Copilot и Azure AI, включая фильтрацию подозрительных подсказок и расширение пользовательского контроля над сохранённой памятью. Компания рекомендует с осторожностью относиться к ссылкам, связанным с ИИ, не нажимать на неизвестные кнопки «Обобщить с помощью ИИ» и регулярно проверять сохранённые данные в настройках ассистента.
Ранее Qazinform сообщал, что искусственный интеллект начал привлекать людей для выполнения задач в физическом мире.