Когда в ленте появляется «большинство считает», стоит проверить, кто отвечал на вопросы.
30 сентября Pew Research Center опубликовал эксперимент: исследователи попросили ИИ отвечать за реальных участников американских опросов. Модели передали сведения об этих людях и предложили вопросы из трёх исследований.
По почти 300 вопросам ответы ИИ расходились с человеческими в среднем примерно на 12 процентных пунктов. Это заметная разница для материала, который должен показывать общественное мнение.
Речь о конкретном эксперименте с американскими данными и выбранными моделями. Делать из него вывод «ИИ всегда ошибается» нельзя.
Наш вывод для читателя проще: прежде чем принимать цифры за мнение людей, посмотрите методику. Кто отвечал — люди или модель? Когда собирали ответы? Кто проводил исследование?
Красивые проценты сами по себе этих вопросов не закрывают.
