Я готовила материал со статистикой и попросила нейронку собрать цифры по рынку. Она собрала: проценты, динамика, всё аккуратно, с названиями исследований и годами. Красиво настолько, что хотелось сразу закинуть в презентацию.
Пошла проверять. Открываю первый источник: исследование существует, а такой цифры в нём нет. Вообще нет. Второй: отчёт есть, но за другой год и про другую страну. Третий просто не открылся, страницы по такому адресу никогда не было.
Из шести красивых фактов проверку прошли два. Причём нейронка в тот момент даже не выглядела неуверенной. Она честно считала, что говорит правду.
С тех пор у меня жёсткое правило: каждую цифру проверять у первоисточника. Не в пересказе, не в статье, которая на него ссылается, а прям в оригинале, своими глазами.
Почему она это делает
Тут важно не демонизировать. В человеческом смысле нейронка не врёт, обмануть она не собиралась. Просто устроена так, что всегда выдаёт правдоподобный ответ. Не правильный, а именно правдоподобный: такой, какой статистически чаще всего встречается в похожих текстах.
В интернете полно фраз вида «согласно исследованию Х, 67% компаний...», и производить такие фразы модель умеет отлично. Название исследования выглядит настоящим. Процент выглядит настоящим. Только связи между ними может не быть вообще никакой.
Называется это галлюцинациями, и главная их особенность в том, что на глаз они неотличимы от правды. Никакого «нейронка замялась» или «ответила менее уверенно» не будет. Уверенность всегда одинаковая.
Правило, которое стоит забрать себе навсегда. Чем важнее решение, которое вы примете на основе факта, тем строже проверка. Отчёт руководству: каждый ключевой факт по двум независимым источникам, открытым глазами. Черновик мозгового штурма: можно вообще не проверять, цена ошибки нулевая. Проверять всё подряд одинаково строго невозможно, да и незачем.
Как выглядит вранье: шесть типов
1. Выдуманная статистика
Самое частое и самое опасное для маркетолога. Проценты, объёмы рынка, темпы роста, всё то, что мы так любим вставлять в презентации. Цифра выглядит правдоподобно (не 3%, не 97%, а какие-нибудь солидные 68%), звучит убедительно, а проверять лень.
Особенно осторожно с размером рынка. Тут нейронка врёт почти всегда, потому что честной публичной цифры обычно просто нет, а ответить она обязана. Поэтому в курсе мы размер рынка нейронкой вообще не считаем. Вместо него смотрим ценовой коридор конкурентов по их живым сайтам.
2. Несуществующие исследования
«Исследование Стэнфорда показало...», «по данным отчёта McKinsey за 2025 год...». Организация настоящая, тема правдоподобная, отчёта нет. Или отчёт есть, но совсем про другое.
Вариант помягче: исследование существует, цифра из него настоящая, но вырвана из контекста. Выборка была по одной стране, а подана как общемировая. Или данные пятилетней давности идут как свежие.
3. «Исследование показало» без исследования
Отдельный жанр, фраза-затычка вообще без ссылки. «Исследования показывают, что пользователи принимают решение за 8 секунд». Какие исследования? Чьи? Когда?
Правило простое: «исследования показывают» без конкретного названия и года — это не факт, а красивая пустота. В отчёт такое не идёт.
4. Слопсквоттинг: выдуманные библиотеки и инструменты
Слово страшное, суть простая. Нейронка предлагает подключить к проекту какую-нибудь библиотеку или инструмент с логичным названием, а такого не существует. Она просто сгенерировала правдоподобное имя по образцу настоящих.
Маркетолога это в основном просто бесит: не ставится, время потрачено. Но есть и неприятная сторона. Злоумышленники научились регистрировать ровно те несуществующие имена, которые нейронки выдумывают чаще всего, и класть туда вредный код. Отсюда правило из модуля про безопасность: перед установкой чего угодно просить показать, что именно ставится и откуда.
5. Устаревшие цены и цифры
Тихий убийца. Нейронка уверенно называет цену подписки, тариф конкурента или лимит сервиса, и год назад это было верно. Сигнала, что данные протухли, вы не получите никакого.
В анализе конкурентов особенно больно: собрали табличку цен, принесли на планёрку, а половина цифр давно изменилась. Лекарство одно: открывать сайт конкурента и смотреть. Не открывается цена на его странице, значит она не подтверждена, точка.
6. Приписанные бренду позиции
Нейронка охотно расскажет, что «компания X позиционируется как премиальный сервис для молодой аудитории». Основанием тут служит общее впечатление, а не их собственные заявления. Звучит как вывод из анализа, а по факту догадка.
Проверяется тем же способом: открыть их сайт и посмотреть, что они сами про себя пишут на первом экране. Расхождения обычно находятся быстро.
Рабочая процедура проверки
В курсе фактчеку отведён отдельный шаг третьего модуля, и главным уроком он называется не случайно. Вот как это устроено на практике, в порядке возрастания усилий.
Уровень 1: попросить нейросеть проверить саму себя
Звучит странно, как она найдёт свои же ошибки. А работает лучше, чем кажется. Ключ в том, чтобы сменить ей роль: не автор, который защищает свою работу, а строгий редактор, который автору не верит.
Проверь свой отчёт как строгий редактор, который не верит автору на слово.
1) Выпиши ВСЕ факты и цифры из текста — по одной строке на факт,
с указанием, где он в тексте.
2) Каждый проверь по-настоящему, а не по памяти: открой браузером
ссылку-источник и посмотри — страница существует? цифра там
действительно есть? какой она давности? Ссылки нет — попробуй
найти источник поиском. Не подтвердилось — так и напиши,
не переписывай факт «поаккуратнее».
3) Особо строго проверь числа про размер рынка и цены конкурентов.
4) По каждому факту поставь статус: подтверждён (со ссылкой и датой) /
не подтверждён / противоречит источнику. Неподтверждённое пометь
прямо в тексте как [не проверено].
5) В конце дай цифру: проверено фактов N, подтвердилось X,
не подтвердилось Y, противоречит Z. И одной фразой — можно ли
этот отчёт нести руководителю.
Не смягчай выводы, чтобы отчёт выглядел лучше.Последняя строчка важнее, чем кажется. Без неё нейронка защищает свою работу: находит одну мелкую неточность, объявляет остальное подтверждённым и идёт дальше вполне довольная собой.
Уровень 2: кросс-проверка другой нейросетью
Приём, который ловит больше всего глюков. Разные модели ошибаются по-разному, и то, что выдумала одна, вторая обычно не подтверждает.
Скопируйте текст в другую нейронку (Perplexity или ChatGPT, бесплатных тарифов хватает) и спросите: «проверь факты и цифры в этом тексте, что не подтверждается или выглядит сомнительно?». Perplexity тут особенно удобна, она по устройству ходит в интернет и приносит ссылки.
Расхождения между двумя моделями и есть ваш список того, что надо смотреть глазами.
Есть и побочная польза. Свежая нейронка смотрит на текст чистым взглядом, без груза вашего многочасового разговора. Иногда ловит не только выдумку, но и просто потерянную логику. Откуда берётся эта потеря, я писала в статье «Почему нейросеть тупеет к вечеру».
Уровень 3: руками, у первоисточника
Ничем не заменяется, но и не нужен для всего подряд. Возьмите два-три самых важных факта, те, на которых держится вывод, и откройте источники сами.
Что смотреть:
- Страница вообще существует? Ссылка запросто ведёт в никуда. Это первый и самый быстрый фильтр.
- Цифра на ней есть? Именно эта, а не похожая. Поиском по странице.
- Это первоисточник или пересказ? Статья, которая ссылается на исследование, сама источником не считается. При пересказе цифры искажаются, я это ловила не раз.
- Какого года данные? И отдельно смотрим, какая была выборка. «31 000 работников в 31 стране» и «опрос 200 руководителей» весят по-разному.
- Формулировка совпадает? Классика: в источнике «выросло на 42% быстрее», в пересказе просто «выросло на 42%». Совсем разные утверждения.
Мой личный фильтр. Не могу открыть источник и увидеть цифру своими глазами, значит цифра в текст не идёт. Никаких «ну вроде звучит правдоподобно» и «нейронка обычно не врёт». Я скорее напишу материал вообще без цифры, чем с выдуманной. Одна пойманная кем-то выдумка обнуляет доверие ко всему остальному, что я написала.
Как формулировать запрос, чтобы вранья было меньше
Профилактика дешевле лечения. Формулировки, которые заметно снижают количество выдумок:
| Что писать | Что это меняет |
|---|---|
| «Поищи в интернете, не отвечай по памяти» | Нейронка идёт проверять вместо того, чтобы генерировать по образцу. Разница огромная |
| «У каждого факта — ссылка на источник и год» | Часть выдумок отваливается сама: без ссылки их нечем прикрыть |
| «Если не знаешь или не нашёл — так и напиши, не выдумывай» | Даёт ей разрешение сказать «не знаю». Без разрешения она обязана ответить, вот и сочиняет |
| «Собирай по шагам: сначала найди источники, покажи мне список, потом делай выводы» | Ловит проблему в начале, а не в готовом отчёте, где всё уже красиво переплетено |
Последний приём сильно недооценён. Просишь всё одним запросом, получаешь готовый связный текст, где выдумки уже вплетены в правду и разделить их трудно. Идёшь по шагам, и видно, откуда что взялось.
Ещё можно спросить про уверенность прямо: «по каждому пункту напиши, насколько ты уверен и на чём эта уверенность основана». Гарантии никакой, модель бывает уверенно неправа, но самые шаткие места обычно всплывают.
Где это не поможет
- Против правдоподобного пересказа. Если нейронка слегка исказила смысл настоящего исследования, автоматом этого не поймает ни одна проверка. Только чтение оригинала.
- Против закрытых данных. Многие рыночные цифры платные или непубличные. Нейронка их не знает и именно здесь выдумывает чаще всего. Честное «данных нет» лучше красивого числа.
- Против ваших собственных ожиданий. Мы охотнее верим цифрам, которые подтверждают то, что мы и так думали. Самые опасные выдумки как раз удобные.
- Кросс-проверка не абсолютна. Если ошибка растёт из распространённого мифа, обе нейронки повторят его хором. Совпадение двух моделей это не доказательство.
Частые вопросы
Почему нейросеть придумывает статистику, а не говорит «не знаю»?
Она устроена как генератор правдоподобного продолжения текста, а не как справочник. На вопрос «какая доля рынка у X» самый вероятный ответ в интернете это число, а не фраза «неизвестно». Помогает прямо разрешить ей не знать: «если данных нет, так и напиши».
Можно ли доверять ссылкам, которые она даёт?
Только после того, как вы их открыли. Ссылки это отдельный жанр галлюцинаций: адрес выглядит настоящим, домен реальный, а страницы по нему никогда не было. Проверка занимает секунды и отсеивает заметную часть выдумок.
Помогает ли, если нейросеть ходит в интернет?
Сильно помогает, но не решает всё. Она может найти реальную страницу и всё равно исказить цифру в пересказе. Или сослаться на чей-то чужой пересказ вместо первоисточника. Поиск снижает частоту выдумок, но проверку не отменяет.
Сколько времени занимает нормальный фактчек?
На материал в десяток фактов уходит минут пятнадцать-двадцать: самопроверка, кросс-проверка второй нейронкой и два-три ключевых источника руками. Ощутимо меньше, чем потом разбираться с последствиями, когда выдуманную цифру заметит кто-нибудь на планёрке.
Учат ли этому на курсе?
Да, это отдельный шаг третьего модуля и один из главных навыков всего курса. Вы прогоняете свой собственный отчёт по анализу рынка через все три уровня проверки и своими глазами видите, сколько фактов не подтвердилось. Один раз пережить это ощущение полезнее любой теории.