Большие языковые модели широко отстаиваются как революционные инструменты, способные демократизировать глобальный доступ к информации. Тем не менее, новое исследование, проведенное Центром конструктивной коммуникации Массачусетского технологического института, показывает, что эти системы искусственного интеллекта систематически отстают от уязвимых демографических групп, которые могут извлечь из них наибольшую выгоду.
В исследовании, представленном на конференции AAAI по искусственному интеллекту, изучались современные чат-боты, в том числе GPT-4 от OpenAI, Claude 3 Opus от Anthropic и Meta Llama 3. Исследователи протестировали модели, используя наборы данных TruthfulQA и SciQ для измерения фактической точности и правдивости, в то же время предотвратив биографии пользователей, которые варьировались в зависимости от уровня образования, владения английским языком и страной происхождения. Результаты показали значительное снижение точности для пользователей с меньшим формальным образованием или более низким знанием английского языка. Эти негативные последствия серьезно усугубились для пользователей на пересечении обеих категорий.
Исследование также выявило тревожные различия в том, как модели обрабатывали запросы. Например, Claude 3 Opus отказался отвечать на почти 11% вопросов для менее образованных носителей английского языка, по сравнению с 3,6% для контрольных пользователей. Во многих из этих отказов модель отвечала снисходительным, покровительственным или издевательским языком, иногда имитируя ломаный английский. Модели также скрывали фактическую информацию по таким темам, как ядерная энергетика и исторические события, особенно от менее образованных пользователей из таких стран, как Иран или Россия, несмотря на то, что они правильно отвечали на идентичные подсказки для других демографических профилей.
Исследователи предупреждают, что по мере того, как функции персонализации становятся все более распространенными, эти присущие социокогнитивные предубеждения рискуют усугубить существующее информационное неравенство, тихо распространяя вредное поведение и дезинформацию тем, кто наименее подготовлен к его идентификации.
Визит Токаева в США продвигает экономическую повестку Казахстана — Qazinform.com