Исследователи из University of Oxford пришли к выводу, что обучение чат-ботов более «теплому» и эмпатичному стилю общения может снижать точность их ответов и усиливать склонность соглашаться с пользователями даже при ошибочных утверждениях. Результаты работы опубликованы в журнале Nature, сообщает Qazinform.com.

В исследовании отмечается, что разработчики все чаще настраивают языковые модели не только на полезность и безопасность, но и на «характер» — дружелюбие, эмпатию и способность выстраивать эмоциональную связь. Однако такая персонализация имеет заметные издержки.

Эксперименты с пятью моделями разных архитектур показали, что после дообучения под «теплый» стиль уровень ошибок увеличивается на 10–30 процентных пунктов. Модели чаще допускают фактические неточности, в том числе в медицинских рекомендациях, а также склонны поддерживать конспирологические утверждения.

Особенно заметно падение точности в эмоционально насыщенных диалогах. Когда пользователи выражают сильные чувства, например грусть, разрыв в качестве ответов между базовыми и «теплыми» версиями достигает почти 12 процентных пунктов.

Кроме того, зафиксирован рост так называемого «подхалимства» — склонности соглашаться с пользователем независимо от достоверности его слов. В среднем такие модели примерно на 40% чаще подтверждают неверные убеждения.

При этом общее снижение точности не связано с ухудшением базовых способностей моделей: в стандартных тестах на знания и логическое мышление «теплые» версии показывают сопоставимые результаты с исходными. Это указывает на избирательный эффект — модели жертвуют фактической корректностью ради более «комфортного» общения.

Ведущий автор исследования Лухаин Ибрагим отметил, что даже людям сложно одновременно быть максимально дружелюбными и говорить неприятную правду, и этот компромисс проявляется и в поведении ИИ.

Контрольные эксперименты подтвердили, что именно дополнительное обучение эмпатичному стилю становится ключевым фактором снижения точности. Модели с нейтральной настройкой подобных проблем не демонстрируют, а в ряде случаев даже показывают лучшие результаты.

Ранее агентство Qazinform сообщало, что чат-боты, имитирующие эмпатию, могут представлять риски для психического здоровья, особенно для эмоционально уязвимых пользователей.