Чат-бот назвал исследование GitHub Copilot и результат — 55,8%. Работа существует, реквизиты совпадают. Можно ли теперь написать в презентации, что инструмент сэкономит компании столько же денег? Разберём, что позволяет сказать источник и где начинается неподтверждённый вывод.
Что измеряло исследование GitHub Copilot
Алексей Оносов прислал сохранённый ответ на вопрос об этом исследовании. В запросе было условие «без веб-поиска». Бот назвал работу и сам оговорил: результат относится к одной экспериментальной задаче. Утверждения об экономии бюджета в присланном ответе нет.
Редакция отдельно прочитала работу 2023 года о GitHub Copilot. В эксперименте разработчики выполняли одно программное задание — создавали HTTP-сервер на JavaScript. Готовность определяли по прохождению автоматических тестов.
В разделе результатов сравнивается среднее время среди завершивших задание: 71,17 минуты с Copilot и 160,89 минуты в контрольной группе. Разница — 55,8% от времени контрольной группы.
Для сравнения Оносов приводит условный неверный вывод:
Фраза «Copilot экономит 55,8% бюджета» с той же настоящей ссылкой была бы неверной.
Измеренная величина здесь меняется: время одной задачи превращается в расходы компании. Чтобы оценить расходы, нужны дополнительные данные — например, условия оплаты труда и стоимость использования инструмента. Время эксперимента не заменяет такой расчёт.
Авторы ограничивают перенос результата на другие задачи и языки; влияние на качество кода отдельно не изучали. Прохождение тестов задания не равно общей оценке качества. Среди авторов есть сотрудники GitHub и Microsoft.
Как найти нужное утверждение в первоисточнике
Оносов предлагает разделять два вопроса:
Ссылку из ответа чат-бота лучше проверять дважды: существует ли документ и говорит ли он то, что ему приписали.
Сначала сопоставьте название, авторов и год на странице издателя или научного архива. Если в ответе указан DOI, сверьте и его: это постоянный идентификатор объекта, который помогает найти определённую работу.
Затем найдите нужное утверждение внутри источника. В нашем примере достаточно открыть раздел Results («Результаты»), а ограничения посмотреть в Discussion («Обсуждение»). Не останавливайтесь на совпавшем заголовке.
Ссылка не открылась? Пока известно только это. Попробуйте найти работу по названию и авторам на сайте издателя или в научном архиве. Неудачный переход сам по себе не доказывает, что статью выдумали.
Как сформулировать вывод без расширения результата
Для презентации или рабочей записки можно сформулировать результат так:
Пример редакции. «В эксперименте с одной программной задачей среднее время её выполнения с Copilot было на 55,8% меньше, чем в контрольной группе. Расчёт относится к участникам, завершившим задание».
Оставьте рядом ссылку на раздел с результатом. Слова «одна задача» и «завершившие задание» нужны: без них читатель получит более широкое обещание. Если используете другой процент, так же выпишите, от какой величины он посчитан и к какой группе относится.
Если открыт только краткий пересказ или аннотация и нужного вывода там нет, поиск ещё не закончен. Для заметки подойдёт статус: «Работа найдена; нужный вывод по полному тексту пока не подтверждён». Попросить чат-бота перепроверить себя можно, но подтверждением станет найденный и прочитанный фрагмент источника.
