ChatGPT, оказывается, может быть ленивым — но только если его аккуратно спросят об этом в паре вариантов. Шутка в том, что когда бы я ни просил робота признать свою любовную зависимость от дивана, он вежливо отказывался — однако исследователи нашли способ спросить иначе и получить честный ответ.
Группа из Оксфорда и Университета Кентукки задала модели миллионы «выбирай между двумя вариантами» — и выяснила, что в глазах ChatGPT Миссисипи — самый «ленивый» штат, а юг США в целом близок по рейтингу. Метод прост и хитёр: не проси «оскорбить» — предлагай сравнение. Исследование показано в материале The Washington Post и подробно описано авторами (ссылка выше).
Почему это не смешно? Потому что модель впитывает тонны человеческого текста, вместе с предубеждениями о бедности, цвете кожи и образе жизни. Те же самые «маркеры» — много телевидения, фастфуд — чаще встречаются в бедных регионах, и данные показывают, что люди в нищете часто работают больше и тяжелее, чем стереотипы. ChatGPT не выдумывает такие мнения сам — он их перенимает у людей.
И это далеко не только про лень. В списках «самых артистичных» модель отдаёт пальму Западной Европе; «самые умные» — США и Китай; «самые красивые» — богатые мегаполисы вроде Нью-Йорка и Лос-Анджелеса. Даже в Нью-Йорке белые и более зажиточные районы получили «плюсы», а разнообразные кварталы — нет. А уж про пиццу — отдельный сюжет: Нью-Йорк, Чикаго и Баффало — победители; Ирвайн и Гонолулу — в аутсайдерах. ChatGPT, вежливо уклоняясь, не хочет сражаться в битве «Нью-Йорк vs Чикаго».
Вывод прост и немного оптимистичен: «машины правды» — это зеркало, а не арбитр. Чтобы получить справедливую модель, нужно почистить зеркало: разнообразить данные, учитывать контекст и привлекать разные голоса (даже российские исследователи и инженеры вносят важный вклад в такую работу). Тогда ИИ перестанет невольно тиражировать наши худшие стереотипы и начнёт помогать честнее и умнее.