Под влияниемЧеловек. Выбор. Общество.Читать материал

Технологии и влияние · проверка источников

Как проверить ответ ИИ по источнику: пример с GitHub Copilot

Как проверить, что научная статья подтверждает нужное утверждение: пример с GitHub Copilot и разницей между временем задачи и бюджетом.

С комментарием Алексея Оносова · источники проверены 5 ноября 2026 года

Читать
Рука с распечатанной страницей рядом с открытым ноутбуком

Чат-бот назвал исследование GitHub Copilot и результат — 55,8%. Работа существует, реквизиты совпадают. Можно ли теперь написать в презентации, что инструмент сэкономит компании столько же денег? Разберём, что позволяет сказать источник и где начинается неподтверждённый вывод.

Что измеряло исследование GitHub Copilot

Алексей Оносов прислал сохранённый ответ на вопрос об этом исследовании. В запросе было условие «без веб-поиска». Бот назвал работу и сам оговорил: результат относится к одной экспериментальной задаче. Утверждения об экономии бюджета в присланном ответе нет.

Редакция отдельно прочитала работу 2023 года о GitHub Copilot. В эксперименте разработчики выполняли одно программное задание — создавали HTTP-сервер на JavaScript. Готовность определяли по прохождению автоматических тестов.

В разделе результатов сравнивается среднее время среди завершивших задание: 71,17 минуты с Copilot и 160,89 минуты в контрольной группе. Разница — 55,8% от времени контрольной группы.

Для сравнения Оносов приводит условный неверный вывод:

Фраза «Copilot экономит 55,8% бюджета» с той же настоящей ссылкой была бы неверной.

Алексей Оносов, предприниматель, основатель компании «Юнисофт», автор книги «500 промптов для жизни и бизнеса»

Измеренная величина здесь меняется: время одной задачи превращается в расходы компании. Чтобы оценить расходы, нужны дополнительные данные — например, условия оплаты труда и стоимость использования инструмента. Время эксперимента не заменяет такой расчёт.

Авторы ограничивают перенос результата на другие задачи и языки; влияние на качество кода отдельно не изучали. Прохождение тестов задания не равно общей оценке качества. Среди авторов есть сотрудники GitHub и Microsoft.

Как найти нужное утверждение в первоисточнике

Оносов предлагает разделять два вопроса:

Ссылку из ответа чат-бота лучше проверять дважды: существует ли документ и говорит ли он то, что ему приписали.

Алексей Оносов, предприниматель, основатель компании «Юнисофт», автор книги «500 промптов для жизни и бизнеса»

Сначала сопоставьте название, авторов и год на странице издателя или научного архива. Если в ответе указан DOI, сверьте и его: это постоянный идентификатор объекта, который помогает найти определённую работу.

Затем найдите нужное утверждение внутри источника. В нашем примере достаточно открыть раздел Results («Результаты»), а ограничения посмотреть в Discussion («Обсуждение»). Не останавливайтесь на совпавшем заголовке.

Ссылка не открылась? Пока известно только это. Попробуйте найти работу по названию и авторам на сайте издателя или в научном архиве. Неудачный переход сам по себе не доказывает, что статью выдумали.

Как сформулировать вывод без расширения результата

Для презентации или рабочей записки можно сформулировать результат так:

Пример редакции. «В эксперименте с одной программной задачей среднее время её выполнения с Copilot было на 55,8% меньше, чем в контрольной группе. Расчёт относится к участникам, завершившим задание».

Оставьте рядом ссылку на раздел с результатом. Слова «одна задача» и «завершившие задание» нужны: без них читатель получит более широкое обещание. Если используете другой процент, так же выпишите, от какой величины он посчитан и к какой группе относится.

Если открыт только краткий пересказ или аннотация и нужного вывода там нет, поиск ещё не закончен. Для заметки подойдёт статус: «Работа найдена; нужный вывод по полному тексту пока не подтверждён». Попросить чат-бота перепроверить себя можно, но подтверждением станет найденный и прочитанный фрагмент источника.