Caseproof

Нейросети в работе Инструкция

Как проверить текст, написанный нейросетью

Нейросеть пишет гладко, и ошибки в её тексте не цепляют глаз. Порядок проверки по 4 слоям — факты, логика, конкретика, риски — и что делать с сомнительным фрагментом.

Редакционный профиль раздела «Искусственный интеллект»

Проверяют не подряд, а по 4 слоям: факты и цифры, логика и структура, конкретика, юридические и репутационные риски. Порядок именно такой, потому что правка в раннем слое отменяет работу в позднем — незачем шлифовать фразу в абзаце, который уйдёт целиком вместе с выдуманной цифрой.

Обычная вычитка тут бесполезна. Нейросеть не путает падежи, не бросает предложение на середине и не пишет косноязычно — она ровно излагает неправду и так же ровно излагает пустоту. Глаз ищет шероховатости, не находит их и признаёт текст готовым. Нужен не режим «прочитать внимательно», а формальный проход по списку, где у каждого пункта есть критерий: проверено или удалено.

Порядок проверки: 4 слоя вместо сплошной вычитки#

Чтение сверху вниз даёт худший результат при самых больших затратах: внимание держится страницу, дальше глаз просто скользит по ровным абзацам. Поэтому текст проходят слоями, и на каждом проходе ищут что-то одно. Слоёв 4, и порядок обратный цене правки: сначала то, из-за чего абзац удаляют, в конце то, из-за чего его переписывают.

Первый слой — фактура. Из текста выписывают в отдельный список все числа, даты, имена, названия компаний, номера документов, ссылки и цитаты. Второй слой — логика: читают только скелет, то есть заголовки и первые фразы абзацев. Ходит ли текст кругами и следует ли вывод из сказанного, видно за пару минут.

Третий слой — конкретика. Здесь ловят пустоту: обещания без цифр, советы без порядка действий, рассуждения, которые подошли бы любой компании в любой отрасли. Четвёртый слой — риски: обещания результата, сравнения с конкурентами, ссылки на нормы, персональные данные и чужие материалы. Проход по нему занимает минуты, но это единственное место, где ошибка стоит денег, а не только репутации.

Сверка фактов: числа, имена, нормы и ссылки#

Сверяют по выписанному списку, а не по ходу чтения, иначе половина пунктов теряется. Критерий у каждого пункта один: страница первоисточника открыта, и нужная фраза на ней найдена. Правдоподобный домен, складное название документа и уверенный тон в ответе модели не доказывают ничего.

Строже всего проверяют числа. Модель охотно подставляет правдоподобное значение вместо настоящего: округляет срок, сдвигает год, дорисовывает процент. Свои цены, сроки и объёмы сверяют по внутренним документам, а не по памяти. Почему модель уверенно пишет несуществующее, разобрано в материале про галлюцинации нейросети.

Отдельная строка — нормы, реквизиты и цитаты. Номер статьи, название ведомства, дата вступления поправки в силу выглядят настоящими по форме и расходятся по содержанию. Если первоисточник не нашёлся за 2–3 минуты, фрагмент удаляют вместе с выводом, который на нём держался: защищать его дороже, чем переписать абзац заново.

Как поймать пустоту: 3 быстрых теста#

Первый тест — на подстановку. В спорный абзац мысленно подставляют название конкурента или соседней отрасли. Если фраза остаётся верной, она не про вас и читателю ничего не даёт. Такой абзац либо убирают, либо дописывают своей фактурой: цена, срок, ограничение, случай из работы.

Второй тест — на вычёркивание. Абзац закрывают ладонью и читают текст без него. Смысл не изменился, вывод не пострадал — абзац был декоративным. Так же проверяют служебные связки вроде «важно отметить» и «стоит учитывать»: после вычёркивания фраза почти всегда становится короче и понятнее.

Третий тест — на цену ошибки. Практик знает, чем заканчивается неверный вариант: срыв срока, переделка за свой счёт, спор с клиентом. Машинный текст описывает, как надо, и молчит о последствиях. Места, где должна стоять цена ошибки, отмечают и дописывают руками: придумать их модель не может, потому что в открытых источниках такого обычно не пишут.

Детекторы, уникальность и правила приёмки#

Детекторы машинного текста ошибаются в обе стороны: ровно написанный человеческий материал помечают как сгенерированный, а слегка отредактированный машинный пропускают. Держать процент «человечности» критерием приёмки — способ переписывать нормальные тексты ради цифры на чужом сайте.

Уникальность проверять стоит, но по другой причине. Модель иногда воспроизводит близко к тексту чужую формулировку: описание из коммерческого предложения, кусок инструкции, абзац документации. Ищут обычным поиском по кавычкам, взяв 2–3 характерные фразы из разных частей материала.

Отношение поисковых систем к таким материалам — отдельный сюжет: страницу понижают не за способ написания, а за бесполезность, и подробности собраны в разборе про ИИ-тексты и поиск. Для проверки отсюда следует простая вещь: гнаться надо не за «человечностью» формулировок, а за ответом, которого у соседей нет.

Правило приёмки формулируют заранее, до первого текста: один ответственный человек, список фактов на сверку, срок и право отказа. Если после правки в материале не осталось ни одного факта из вашей практики, его не публикуют, а переписывают с другим заданием и другими вводными.

Вывод: короткий чек-лист перед публикацией#

Проверка машинного текста экономит время, только когда она формальная. Список вместо внимательности: выписал факты, сверил с первоисточниками, прошёл по слоям, принял решение. Внимательность садится через страницу, а список работает одинаково и на первом абзаце, и на последнем.

Проверяют всегда одно и то же: числа, даты, имена, названия, ссылки, цитаты, отсылки к нормам и любые обещания клиенту. Цена ошибки не зависит от того, кто набрал текст. Она зависит от того, что ошибку прочитает клиент, подрядчик или проверяющий, а объясняться придётся вам.

Пропустить можно стилистические придирки к тому, что не выйдет за пределы команды: черновики, внутренние заметки, рабочие письма. Итоговый критерий один: в тексте должно остаться то, чего нейросеть знать не могла, — ваши цены, сроки, ограничения, отказы клиентам, случаи из работы. Уберите эти места, и если ничего не изменится, перед вами не материал, а заготовка.

Темы проверка ии-текста

Читать ещё

  1. Нейросети в работе

    Как составить регламент работы с ИИ в компании

  2. Нейросети в работе

    Расшифровка звонков нейросетью: что это даёт продажам

  3. Нейросети в работе

    Как посчитать окупаемость нейросети в своём бизнесе

  4. Нейросети в работе

    Ограничения ИИ: какие задачи нельзя отдавать нейросети