Проверка сводится к одному действию, повторённому по всему тексту: каждое утверждение либо получает источник, либо удаляется. Смягчение формулировкой — «по некоторым данным», «как правило» — проверкой не является и маскирует ту же выдумку.
Дальше — что подготовить, шесть шагов сплошного прохода, сколько это занимает, что делать с утверждениями, источник которых не находится, и ошибки, из-за которых проверка превращается в чтение. Общий порядок работы с черновиком описан отдельно, здесь — только сама процедура.
Что нужно перед началом#
Сначала — зачем это делается именно так. Модель порождает правдоподобное продолжение текста, а не проверенное. Она не различает утверждение, которое видела в источниках, и утверждение, которое хорошо ложится в фразу: оба выглядят одинаково уверенно. Поэтому проверять приходится не подозрительные места, а все — подозрительность здесь не работает как фильтр.
Второе, что стоит понимать заранее: проверка стоит времени, сопоставимого с написанием текста руками. Это и есть настоящая цена машинного черновика, и она не сокращается ни опытом, ни инструментами.
| Что нужно | Где взять | Зачем |
|---|---|---|
| Список источников, которые вы считаете достаточными | договориться внутри редакции | иначе проверка сведётся к поиску похожего текста |
| Доступ к первоисточникам по теме | официальные сайты, документы, свои замеры | пересказ в чужой статье источником не является |
| Свои данные по теме | учёт, журналы, замеры | часть утверждений проверяется только ими |
| Место для журнала проверки | таблица рядом с текстом | без него неясно, что уже проверено |
| Правило удаления | написать одной строкой | снимает спор в момент, когда жалко вычёркивать |
Правило удаления пишется до начала работы: утверждение, которое не удалось привязать к источнику или к собственным данным, удаляется целиком. Написанное заранее, оно экономит много времени — без него каждое спорное место превращается в обсуждение.
Общий порядок работы, в который эта процедура встраивается четвёртым этапом, разобран в гайде как писать тексты с нейросетью, не теряя доверия.
Как проверять: пошагово#
Шаги идут по возрастанию стоимости проверки: сначала разметка, потом дешёвые типы утверждений, потом дорогие. Так вы раньше поймёте, стоит ли вообще спасать этот черновик.
Шаг 1. Разметьте утверждения, а не абзацы#
Первое действие механическое: пройти текст и подчеркнуть каждое место, где что-то утверждается о мире. Числа, доли, сроки, названия, должности, ссылки на нормы, цитаты, любые «обычно», «в среднем», «большинство».
Разметка делается до чтения на смысл, иначе включается доверие к гладкому тексту и половина утверждений проскакивает как само собой разумеющееся. Именно на гладкости и держится основная ошибка проверки.
Готово, когда неразмеченных утверждений не осталось и вы можете назвать их число.
Шаг 2. Отделите проверяемое от непроверяемого#
Размеченное делится на три группы, и это деление определяет всю остальную работу.
Проверяемое внешне — то, у чего есть первоисточник: нормы, официальные данные, характеристики, названия организаций и должности, даты событий.
Проверяемое только вами — то, что относится к вашей практике: сроки, которые вы выдерживаете, цены, с которыми работаете, наблюдения по своим клиентам. Внешнего источника у этого нет и быть не может.
Непроверяемое — обобщения без субъекта: «многие компании», «в среднем по рынку», «эксперты отмечают». Эту группу не проверяют, а удаляют или заменяют конкретным наблюдением с указанием, чьё оно.
Готово, когда каждое размеченное утверждение попало ровно в одну группу.
Шаг 3. Проверьте числа#
Числа проверяются двумя разными операциями: сначала вы находите первоисточник, потом проверяете, что цифра согласуется с соседними числами в тексте.
Второе важнее, чем кажется. Машинный черновик часто внутренне несогласован: доли не складываются, итог не равен сумме строк, срок в таблице расходится со сроком в абзаце. Это ловится арифметикой без всякого поиска источников и отсеивает заметную часть проблем за минуты.
Отдельно про диапазоны: вилка «от и до» выглядит осторожной и проходит проверку легче, чем точная цифра, хотя основания у неё те же. Диапазон без источника удаляется так же, как точное число.
Готово, когда у каждого числа есть источник или пометка о собственных данных, а все итоги в тексте сходятся.
Шаг 4. Проверьте нормы, даты и названия#
Здесь модель ошибается особенно уверенно, потому что структура ссылки на норму хорошо предсказуема: номер, статья, формулировка. Правдоподобная ссылка собирается из типовых элементов и выглядит безупречно.
Проверяются три вещи по отдельности: что документ с таким номером существует, что в нём есть указанная статья и что редакция действующая. Третья важнее всех: ссылка на отменённую редакцию хуже отсутствия ссылки, потому что вводит читателя в заблуждение с видом надёжности. Названия организаций и должности проверяются по официальным страницам, а не по упоминаниям в других текстах.
Готово, когда каждая ссылка на норму открыта в первоисточнике, а каждое название подтверждено официальной страницей.
Шаг 5. Проверьте цитаты и ссылки на исследования#
Самый дорогой шаг и самый часто пропускаемый. Цитата проверяется целиком: не только слова, но и кто это сказал, когда и в каком контексте. Слова, вырванные из другого разговора, формально верны и по сути искажают позицию человека.
По ссылкам на исследования проверяется не факт существования публикации, а то, что в ней есть именно это утверждение и именно с этой цифрой: пересказ пересказа бесполезен, искажение накапливается на каждом шаге цепочки. Неподтверждённая цитата удаляется без вариантов — приписанные человеку слова это не стилистическая ошибка, а повод для претензии.
Готово, когда каждая цитата открыта в исходной публикации, а каждая ссылка на исследование подтверждена в самой публикации, а не в её изложении.
Шаг 6. Решите судьбу неподтверждённого#
К этому моменту у вас три стопки: подтверждённое, ваше собственное и то, что не подтвердилось. С последней поступают одинаково — удаляют.
Соблазн другой: смягчить. «По разным оценкам», «принято считать», «в среднем это занимает» превращают выдумку в выдумку с оговоркой. Читатель, который проверит одно такое место, перестанет доверять всему тексту, включая верные части.
Работающая замена — своё наблюдение с границами: не «в среднем по рынку столько-то», а «у нас на трёх последних проектах получалось столько-то». Слабее по звучанию, сильнее по доверию.
Готово, когда в тексте не осталось утверждений без источника, собственных данных или явной пометки, что это ваше наблюдение.
Сколько времени это занимает#
Время считается по типам утверждений, а не по объёму текста: черновик на одну страницу с двумя десятками чисел проверяется дольше, чем три страницы рассуждения.
| Что проверяем | Как | Сколько занимает |
|---|---|---|
| Разметка утверждений | сплошной проход по тексту | {{ПРОВЕРИТЬ: свой замер}} |
| Согласованность чисел | арифметика по таблицам и абзацам | {{ПРОВЕРИТЬ: свой замер}} |
| Числа с внешним источником | поиск первоисточника | {{ПРОВЕРИТЬ: свой замер на число}} |
| Ссылки на нормы | документ, статья, редакция | {{ПРОВЕРИТЬ: свой замер на ссылку}} |
| Названия и должности | официальная страница организации | {{ПРОВЕРИТЬ: свой замер}} |
| Цитаты | исходная публикация целиком | {{ПРОВЕРИТЬ: свой замер}} |
Замерить эти строки на трёх материалах стоит один раз: после этого видно, какие типы утверждений дешевле не запрашивать у модели вовсе. Обычно первыми из запроса уходят цитаты и ссылки на исследования — они дороже всего в проверке и реже всего подтверждаются.
Если источник не находится#
Ситуация штатная и повторяется по нескольким сценариям.
| Что видите | Почему | Что делать |
|---|---|---|
| Цифра есть в десятке статей, первоисточника нет | все переписали друг у друга | удалить или заменить своими данными |
| Ссылка на норму есть, статьи в ней нет | номер собран правдоподобно | удалить, при необходимости найти норму заново |
| Норма есть, но редакция старая | обучение на устаревших текстах | взять действующую редакцию и переписать утверждение |
| Цитата есть, автор другой | приписывание известного имени | удалить целиком, не «уточнять» |
| Исследование есть, цифры в нём другие | пересказ пересказа | взять цифру из публикации или удалить |
| Утверждение общее, субъекта нет | обобщение без основания | заменить своим наблюдением с границами |
Общее правило по всем строкам: замена одной непроверенной формулировки на другую непроверенную решением не является. Работает только удаление или собственные данные.
Типичные ошибки#
Проверять выборочно. Половина проверенного текста создаёт ощущение надёжности, которого нет ни у одного места. Правильно: сплошной проход или отказ от публикации.
Проверять по другим статьям. Совпадение цифры в нескольких текстах ничего не доказывает: они могут восходить друг к другу. Правильно: первоисточник или свои данные.
Спрашивать источник у самой модели. Ссылка, выданная в ответ на такой вопрос, порождается по тем же правилам, что и исходное утверждение. Правильно: искать источник самостоятельно.
Смягчать вместо удаления. «По некоторым данным» не добавляет достоверности, а снимает ответственность с автора, и читатель это считывает. Правильно: удалять.
Читать вместо разметки. Гладкий текст читается как проверенный, глаз скользит по утверждениям не останавливаясь. Правильно: сначала механическая разметка, потом смысл.
Не фиксировать проверенное. Через неделю непонятно, что уже подтверждено, и работа делается заново или не делается вовсе. Правильно: журнал рядом с текстом, с датой обращения к источнику.
Единственный показатель, по которому судят снаружи, — правки фактических ошибок после публикации. Одна такая правка стоит дороже, чем весь выигрыш во времени от машинного черновика за месяц, и именно поэтому процедура не сокращается.
Что делать дальше#
Если вы только выстраиваете порядок работы с черновиками — начните с гайда как писать тексты с нейросетью, не теряя доверия.
Если проверять приходится не статьи, а предложения и письма клиентам — там другая цена ошибки: нейросети для коммерческих предложений и писем.
Если вы ещё решаете, где такие инструменты вообще окупаются, — посмотрите обзор нейросетей для малого бизнеса.
Вопросы и ответы#
Можно ли поручить проверку другой нейросети?
Нет. Вторая модель порождает такой же правдоподобный ответ, как и первая, и совпадение двух ответов подтверждением не является. Инструменты полезны на механических операциях — найти все числа, собрать список ссылок, — но решение принимает человек, открывший первоисточник.
Что считать достаточным источником?
Тот, дальше которого идти некуда: текст нормы, официальная страница организации, публикация исследования, ваш собственный учёт или замер. Статья, пересказывающая эти данные, источником не считается, даже если выглядит авторитетно. Договориться об этом списке стоит один раз и письменно.
Сколько утверждений нормально терять при проверке?
Столько, сколько не подтвердилось: допустимой доли здесь нет. Если удаляется большая часть, это сигнал не о строгости проверки, а о том, что на вход модели дали слишком мало своей фактуры. {{ПРОВЕРИТЬ: доля удалённых утверждений на трёх последних материалах — считать по журналу проверки}}
Нужно ли проверять текст, который не публикуется?
Внутренние документы проверяются по тому же правилу, но короче: достаточно чисел и обязательств. Опасность здесь другая — непроверенная цифра из внутренней записки через месяц попадает в предложение клиенту, и там уже никто не помнит, откуда она взялась.