Можно ли доверять фактам, которые написал ИИ

Опасны в сгенерированной деке гладкие места, а не сложные. Модель ошибается ровно тем же тоном, каким говорит правду: выдуманный процент и проверенный стоят на слайде с одинаковой уверенностью, и рядом с выдумкой не появляется ни оговорки, ни сноски. Рабочее правило поэтому обратное привычному: проверять надо не то, что выглядит странно, а всё, что выглядит конкретно.

Конкретное — это числа, проценты, суммы, даты, фамилии, названия организаций, номера документов, строки списка литературы. В деке на двенадцать слайдов таких мест обычно десяток-полтора, и каждое открывается в первоисточнике. Определения и общие рассуждения ждут: там модель ошибается реже, а цена ошибки ниже.

Пять видов ошибок

Вникать в причины незачем, достаточно узнавать эти пять в лицо. По приметам дека размечается за минуту — «открыть источник» и «можно потом».

Выдуманное число

Примета — круглая цифра без источника рядом. «Рынок вырос на 40 процентов», «внедрение сокращает издержки втрое», «каждый второй пользователь». Модель не достаёт такое число из базы, она подбирает правдоподобное — то, которое чаще прочих стояло в похожих фразах. Отсюда тяга к круглому: 20, 30, 40, 50 процентов, «в два раза», «вдвое больше». Дробное 23,7% выглядит убедительнее, но гарантией не служит: придумать модель умеет и такое. Проверка тут короткая — если числа нет в вашем файле и назвать его происхождение вы не можете, на слайде ему не место.

Источник, которого нет

Узнаётся по безупречной строке списка литературы: фамилия с инициалами, правдоподобное название, журнал, год, номера страниц — всё на месте, кроме самой статьи. Собирается такая ссылка из частотных кусков — типовое название по теме, реальная фамилия автора, который в этой области действительно пишет, подходящий год. Искать надо по автору и году. Название модель могла переврать, но живая работа всё равно найдётся по фамилии; если ни фамилия, ни год не дают ничего, то и статьи нет.

Данные, которые были верны три года назад

Срок годности есть у цены, тарифа, ставки, курса, состава закона, названия ведомства. Модель без доступа к поиску отвечает по состоянию на момент обучения и о возрасте своих данных не предупреждает — на слайде это выглядит спокойной констатацией «ставка составляет столько-то». Приписка «по данным на позапрошлый год» не спасает: залу нужно сегодняшнее значение, и берётся оно на сайте первоисточника.

Правдоподобная деталь не на своём месте

Здесь подставлено соседнее значение: директор оказывается заместителем, компания основана на два года раньше, поправка принята не в том месяце. С главной мыслью слайда деталь не связана, поэтому доживает до выступления целой. Замечает её не автор, а тот в зале, кто в теме, — и замечает вслух.

Две сущности, слипшиеся в одну

Смешиваются похоже названные документы, однофамильцы, одноимённые организации. Самый частый пример в учебных деках: «список литературы оформлен по ГОСТ 7.32-2017». ГОСТ 7.32-2017 — стандарт на отчёт о научно-исследовательской работе, а библиографическую запись описывает ГОСТ Р 7.0.100-2018; методичка отсылает к обоим, и в пересказе они склеиваются в один номер. Тот же механизм сводит двух исследователей с одинаковой фамилией в одного человека с общей биографией.

Где риск выше

Риск виден по типу утверждения ещё до того, как открыт первый источник.

По темам перекос такой же: чем быстрее меняется область, тем хуже данные. Всё, что успевает поменяться за квартал, — цена, редакция закона, фамилия в должности — стареет в деке незаметно для автора. Устройство процессов и события десятилетней давности держатся лучше: их успели пересказать тысячу раз, пока модель училась.

Нормативка стоит особняком. Единого ГОСТа на презентации не существует; есть стандарты на смежные вещи, к которым отсылают методички: ГОСТ 7.32-2017 на отчёт о НИР, ГОСТ Р 7.0.100-2018 на библиографическую запись, ГОСТ 2.105-2019 на текстовые конструкторские документы, ГОСТ Р 7.0.97-2016 на организационно-распорядительные. Номер стандарта, появившийся на слайде сам собой, открывают и читают глазами — существует ли такой документ и о том ли он, о чём слайд. Фраза «оформлено по ГОСТу» без номера не проверяема вовсе, и на защите её лучше не произносить.

Порядок проверки перед защитой или встречей

Сверять деку подряд, от титула к финалу, — способ потратить час и пропустить главное. Порядок задаётся не номером слайда, а вероятностью вопроса.

1. Цифры в заголовках слайдов. Заголовок-утверждение прочитает вся аудитория, и запомнится он один. Если число в нём чужое, разговор после доклада пойдёт именно об этом числе.
2. Проценты, суммы и доли в тексте слайдов. Каждая такая величина либо имеет источник, который вы можете назвать вслух, либо уходит со слайда.
3. Номера нормативных документов и статьи закона. Открываются по номеру; заодно видно, действует ли документ в редакции, на которую вы ссылаетесь.
4. Источники под графиками и строки списка литературы. Подпись к диаграмме — её часть, и читают её вместе с осями; график без указания, откуда взяты данные, вызывает вопрос сам по себе.
5. Все даты и годы. Год события, год публикации, период, за который взяты данные. Проверяются быстрее прочего, а сдвиг ровно на год попадается в них чаще всего.
6. Имена, должности, названия организаций. В первую очередь те, что относятся к вашей отрасли: их в зале знают наизусть.
7. Превосходные степени. «Крупнейший», «первый в России», «единственный на рынке» требуют доказательства, а находится оно редко. Снять формулировку обычно дешевле, чем отстоять её.
8. Всё остальное — фон. Вводный слайд и пересказ чужих подходов ждут последними и первыми выпадают, когда время кончилось.

За список берутся, когда дека устоялась: в той самой часовой доводке сверка фактов идёт последним проходом, иначе вы проверяете цифры на слайдах, которые сами же потом выбросите. Перед защитой приоритет ещё жёстче — вопросы приходят к слайдам с результатами, на которые комиссия и смотрит, и числа там должны быть железными.

Если источник не находится

Десять минут поиска — разумный предел. Не нашлось — считайте, что источника нет: дальше вы ищете подтверждение уже из упрямства, а времени до выступления меньше, чем кажется.

Дальше выбирают из двух зол. Либо переформулировать утверждение так, чтобы ссылка ему не требовалась: «рынок вырос на 40% за год» превращается в «рынок растёт несколько лет подряд», если это вы знаете и без чужой статистики. Либо снять утверждение со слайда целиком. Слайд от этого почти никогда не разваливается, потому что вывод в нём держится на вашей работе, а не на чужом проценте.

Третий вариант, оставить как есть и надеяться, плох тем, что вопрос приходит ровно туда. «Откуда цифра» звучит и на защите, и на встрече с клиентом, и ответ «так написала нейросеть» обходится дороже, чем отсутствующий слайд. Подменять ненайденное число другим правдоподобным тем более бессмысленно: так вы повторяете ошибку модели вручную, только уже осознанно.

На выступлении проверенное число ведёт себя иначе, чем непроверенное: вопрос «откуда» закрывается одной фразой, и разговор идёт дальше. Поэтому сверка окупается уже после доклада — в те пять минут, когда спрашивают.

Slidix собирает деку по теме или по вашему тексту: план, слайды, оформление, фотографии, выгрузка в PPTX и PDF. Оплачивают российской картой, приём платежей идёт через ЮKassa. Сверка фактов остаётся за автором — сервис отвечает за сборку, и это одинаково верно для любого генератора: чем быстрее собирается дека, тем больше в ней мест, которых никто не открывал руками. В сутки без оплаты собирается одна дека — со знаком Slidix и с закрытой выгрузкой; открывает её STANDARD, 199 ₽ в месяц.

Вопросы

Часто ли нейросеть выдумывает факты

Зависит от темы и от того, был ли у модели ваш текст. По загруженному документу она почти не сочиняет — содержание пересказывается. По одной голой теме выдуманные числа и ссылки появляются регулярно, поэтому конкретные величины проверяют подряд, а не выборочно.

Как проверить источник, который указала нейросеть

По фамилии автора и году публикации: названия модель переиначивает чаще всего, а живая работа всплывает по автору. Если ни фамилия, ни год ничего не дают, строку из списка литературы убирают — на защите её проверят тем же поиском за полминуты.

Видно ли по формулировке, что модель не уверена

Нет. Выдуманное пишется тем же ровным тоном, что и проверенное, а оговорки вроде «по некоторым данным» расставляются по стилю жанра и о достоверности не говорят ничего. Опираться можно на одно — конкретность: чем точнее цифра, тем обязательнее проверка.

Можно ли попросить нейросеть проверить саму себя

Повторный запрос «проверь факты» обращается к той же модели с теми же данными: она либо согласится с собой, либо уверенно исправит верное на неверное. Смысл имеет только внешний источник — сайт ведомства или ваш собственный отчёт.

Какие данные устаревают быстрее всего

Всё, что меняется чьим-то решением: цена, тариф, ставка, редакция закона, состав руководства. Такие величины берут из сегодняшнего поиска, а из деки оставляют только формулировку, в которую подставляют свежее значение.