Методы повышения качества результатов ИИ

01

Качество ответа можно проверить

Определите критерии до получения ответа. Один критерий не заменяет другой.

В первой части мы составляли задания для ИИ. Теперь проверим, можно ли использовать полученный ответ. Красивое оформление, краткость и уверенный тон сами по себе не подтверждают качество.

Соответствие задаче

Получили нужное действие: список действий, а не рассуждение о важности планирования.

Точность

Факты, числа, единицы измерения, условия и статус решений сохранены.

Полнота

Все существенные для задачи сведения включены; пробелы обозначены.

Понятность

Читатель понимает формулировки и последовательность действий.

Формат

Соблюдены структура, объём и требования к представлению.

Удобство работы

Результат можно использовать по назначению и проверить по исходнику.

Учебное правило

Плановую заявку направляют не позднее чем за три рабочих дня. Срочную заявку можно направить позже по согласованию с координатором.

Исключение потеряно

Короче, но смысл изменился

«Все заявки подают не позднее чем за три рабочих дня».

Слово «все» расширяет требование и отменяет предусмотренное исключение.

Условия сохранены

Можно сверить с источником

«Плановые заявки подают не позднее чем за три рабочих дня; для срочных возможен более поздний срок по согласованию с координатором».

02

У каждого документа своя роль

Сначала соберите достаточный и понятный комплект материалов. Длина запроса не заменяет качество контекста.

Текущая редакция — объект проверки, предыдущая — для сравнения изменений, документы-основания — применимые требования. Пробелы и противоречия нужно показывать. — У каждого документа своя рольНажмите, чтобы увеличить

Контекст — сведения, доступные модели для конкретной задачи: запрос, документы, примеры, ограничения и предыдущие сообщения. Его подготовка похожа на сбор рабочей папки: важно не только количество листов, но и назначение каждого.

Управление контекстом, или context engineering, — отбор и организация этих сведений. Промпт задаёт поручение, контекст даёт материал для его выполнения.

Модель не определяет автоматически, какая версия документа утверждена в организации. Разные редакции и противоречивые требования могут смешаться в убедительный, но ошибочный ответ.

Относятся к задаче

Передайте нужные материалы. Лишние сведения могут отвлечь от основного документа.

Достаточны

Включите данные, без которых сравнение или проверка невозможны. Пропуски нужно обозначить.

Имеют статус

Укажите название, редакцию и назначение каждого источника; задайте приоритет.

Организованы

Отделите факты от комментариев, обязательные условия от желательных.

Имеют правило для пробелов

При нехватке сведений — запросить данные; при противоречии — показать оба фрагмента и источники.

Шаблон запроса · проверка технического задания

Проверь актуальную редакцию технического задания на внутренние противоречия, неоднозначные формулировки и отсутствие необходимых условий.

Основной документ – техническое задание в редакции от [дата]. Предыдущую редакцию используй только для выявления изменённых и исключённых требований. Нормативные документы используй как источник обязательных требований.

Для каждого замечания укажи:

– тип проблемы;

– раздел и фрагмент технического задания;

– документ или положение, с которым обнаружено расхождение;

– возможное последствие;

– что необходимо уточнить или исправить.

Не добавляй сведения, которых нет в предоставленных материалах. Если данных для вывода недостаточно, используй формулировку “недостаточно данных” и перечисли, какие сведения необходимо получить. Не исправляй документ самостоятельно до подтверждения замечаний специалистом».

Пять вопросов к комплекту материалов

Какие сведения действительно необходимы для выполнения задачи?
Какие документы являются основными, а какие – вспомогательными?
Все ли материалы относятся к актуальным редакциям?
Есть ли между источниками противоречия и как нейросеть должна с ними работать?
Что модель должна сделать, если необходимая информация отсутствует?

03

Образец передаёт форму, а не чужие факты

Сохраняйте структуру образца, а факты берите из новых материалов.

Без образца · zero-shot

Требования к результату задаются словами.

Один образец · one-shot

Пример показывает форму и правила оформления.

Несколько образцов · few-shot

Разные случаи помогают показать границы: что считать решением, а что оставить вопросом.

В образце протокола постоянными могут быть колонки и способ записи решений. Тема, имена и даты меняются. Если этого не разделить, в новый документ могут попасть факты чужого совещания.

Протокол: решения и открытые вопросы

Как превратить удачный запрос в шаблон

Сохраните постоянные правила и заменяемый блок заметок. Вместе с запросом запишите назначение, требования к данным и признаки ошибки.

Проверьте шаблон на полных заметках, на случае без ответственного и на непринятом предложении. Один удобный пример ещё не показывает устойчивость.

Если правила оформления меняются, обновите шаблон и снова проверьте типовые случаи. Содержание каждого нового протокола всё равно нужно сверять.

04

Большая задача требует промежуточной проверки

Передавайте дальше проверенную версию. Явно указывайте, на каком результате нужно остановиться.

Пять этапов: факты, структура, черновик, сверка, редактура. После фактов — проверка; после структуры — согласование. — Большая задача: остановки между этапамиНажмите, чтобы увеличить

Нужно подготовить пятиминутное выступление о готовности семинара для руководителя и организаторов: тезисы и план пяти слайдов. Сначала проверим фактическую основу, затем согласуем структуру.

Ошибку проще исправить в одной таблице фактов, чем одновременно в докладе, презентации и письме.

Учебный отчёт Р1–Р5 · из части 1

Р1. В учебном проекте запланирован семинар для 40 сотрудников. Подтверждено участие 32 человек, от восьми ответ пока не получен.

Р2. Подготовлены шесть из восьми учебных материалов. Два материала проходят согласование. Задержка согласования связана с отсутствием замечаний одного из рецензентов.

Р3. Предельный бюджет семинара составляет 80 тысяч рублей. Уже оплачено 52 тысячи рублей. Из них 12 тысяч – аванс по услугам, которые ещё не оказаны. Обязательство оплатить ещё 18 тысяч рублей согласовано; эта сумма пока не оплачена.

Р4. Помещение подтверждено. Проверка демонстрационного оборудования ещё не проведена. Ответственный за проверку и срок её проведения в отчёте не указаны.

Р5. Дата семинара в данном фрагменте не указана. Решения о переносе мероприятия нет.

Этап 1

Проверьте фактическую основу

Извлеките показатели вместе с основанием. Сохраните различие между планом, подтверждением, оплатой и обязательством. Пока не делайте выводов.

Запрос · этап 1

По отчёту Р1–Р5 составь таблицу фактов: показатель или обстоятельство, значение, основание в тексте. Сохрани различие между запланированным, подтверждённым, оплаченным и согласованным к оплате. Отдельно перечисли отсутствующие сведения. Пока не предлагай решения и не составляй доклад.

Этап 2

Согласуйте структуру

Укажите основной тезис и подтверждающий факт для каждого из пяти блоков. Возможный порядок: участники, материалы, финансовые обязательства, организационная готовность, вопросы для решения.

Запрос · этап 2

Используй проверенную таблицу фактов. Предложи структуру пятиминутного доклада для руководителя и организаторов. Цель – показать готовность семинара и вопросы, требующие решения. Ограничься пятью смысловыми блоками. Для каждого укажи основной тезис и факт, который его подтверждает. После структуры остановись и дождись согласования.

Этап 3

Подготовьте тезисы и план слайдов

Используйте согласованную структуру. Для каждого слайда — заголовок, до трёх тезисов и форма представления данных.

Запрос · этап 3

По согласованной структуре подготовь тезисы доклада и план пяти слайдов. Для каждого слайда укажи заголовок, до трёх тезисов и предлагаемую форму представления данных. Не создавай новые показатели. Предложения по дальнейшим действиям помечай как предложения, а не как утверждённые поручения.

Этап 4

Сверьте черновик с источником

Найдите основание каждого числа и существенного утверждения. Сначала покажите замечания, не исправляйте молча.

Запрос · этап 4

Сопоставь тезисы и план слайдов с Р1–Р5. Для каждого числа и утверждения укажи основание. Отметь неподтверждённые обобщения, потерянные условия и предложения, которые ошибочно представлены как решения. Не исправляй молча: сначала покажи замечания.

Этап 5

Внесите выбранные исправления

Сохраните структуру и проверенные данные. Перечислите изменения и вопросы, которые остались открытыми.

Запрос · этап 5

Исправь обозначенные замечания. Сохрани согласованную структуру и все проверенные числовые данные. В конце перечисли изменения и вопросы, которые остаются открытыми. Не добавляй новые решения.

6 из 8 → 75%

Это доля готовых учебных материалов, а не общая готовность семинара.

32 из 40 → 80%

Это доля подтверждений от планового числа участников, а не гарантия явки и не доля всех сотрудников организации.

Как применить этапы к инструкции

Сначала уточните адресата, начальное состояние и ожидаемый результат. Затем соберите действия, условия и исключения; согласуйте структуру и только после этого пишите черновик.

Для бронирования переговорной нужны правила: где подать заявку, какие сведения указать, кто подтверждает, как узнать результат и изменить время. Если правила не даны, результат первого шага — вопросы, а не выдуманная процедура.

Для руководства по эксплуатации исходными служат утверждённые сведения об изделии. Режимы, допуски, меры безопасности и порядок операций нельзя придумывать в ходе стилистической правки; содержательные изменения проверяет профильный специалист.

05

Сначала обязательные условия, затем выбор

ИИ помогает собрать обоснование. Приоритеты и окончательное решение задаёт человек.

Три поставщика по-разному оформляют цену: где-то отдельно оплачиваются доставка и монтаж. Запрос «выбери лучшего» не задаёт сопоставимую стоимость и правило выбора.

Разделим задачу: извлечь сведения, посчитать итог, проверить обязательные условия, задать приоритет и подготовить рекомендацию.

Условия учебной задачи

Обязательные требования: общая стоимость не более 500 тысяч рублей; поставка не более 15 рабочих дней; гарантия не менее 24 месяцев; монтаж включён в расчёт; условия оплаты указаны явно.

Учебные коммерческие предложения
Показатель	Поставщик А	Поставщик Б	Поставщик В
Оборудование	462 000 ₽	438 000 ₽	496 000 ₽
Доставка	Включена	12 000 ₽	Включена
Монтаж	18 000 ₽	25 000 ₽	Включён
Поставка	12 рабочих дней	20 рабочих дней	9 рабочих дней
Гарантия	24 месяца	36 месяцев	36 месяцев
Оплата	Аванс 30%	Аванс 100%	После поставки

Как правило выбора меняет рекомендацию

01 · Извлечь сведения

Запрос · подзадача 1

Извлеки сведения из трёх коммерческих предложений и представь их в единой таблице. Используй показатели: стоимость оборудования, доставка, монтаж, общая стоимость, срок поставки, гарантия и условия оплаты. Не оценивай предложения и не выбирай поставщика. Если какое-либо значение отсутствует или сформулировано неоднозначно, отметь это отдельно.

02 · Рассчитать полную стоимость

Запрос · подзадача 2

Рассчитай общую стоимость каждого предложения с учётом оборудования, доставки и монтажа. Покажи формулу расчёта. Используй только указанные суммы. Если невозможно определить итоговую стоимость, не делай предположений и укажи, каких данных не хватает.

03 · Проверить обязательные условия

Запрос · подзадача 3

Сопоставь каждое предложение с обязательными требованиями. Для каждого требования используй один из статусов: «соответствует», «не соответствует», «недостаточно данных». Не компенсируй несоответствие одному обязательному требованию преимуществом по другому показателю.

04 · Определить правило выбора

Запрос · подзадача 4

По результатам проверки выдели предложения, соответствующие всем обязательным требованиям. Перечисли показатели, по которым они различаются. Не выбирай победителя, пока не определено, какой из показателей имеет приоритет.

Пример правила из лекции

Приоритетным критерием является общая стоимость. Если разница в стоимости не превышает 5%, предпочтение отдаётся предложению с более продолжительной гарантией.

05 · Подготовить рекомендацию

Запрос · подзадача 5

Подготовь краткую сравнительную справку. Укажи предложения, соответствующие обязательным требованиям, их основные различия и результат применения установленного правила выбора. Отдельно перечисли сведения, которые необходимо проверить до принятия решения. Не представляй рекомендацию как утверждённое решение организации.

06

Исправляйте смысл до окончательной редакции

Сначала выявите расхождения и выберите правки. Затем получите новую редакцию и повторно сверьте существенные сведения.

Текст читается легко, но удобная форма не делает выводы правильными. Отдельно проверьте фактическую основу, а затем редактируйте формулировки.

Вернуться к отчёту Р1–Р5 ↑

Сначала замечания

Сопоставь учебный черновик сообщения с отчётом Р1–Р5. Найди фактические и смысловые расхождения. Представь таблицу: фрагмент черновика, основание в отчёте, проблема, предлагаемая правка. Отдели ошибку от утверждения, которое невозможно проверить по предоставленным данным. Пока не переписывай сообщение.

Открыть разбор пяти расхождений

Фрагмент	Основание	Проблема и правка
«Завершена на 80 процентов»	Р1: 32 подтверждения при плане 40	Неподтверждённое обобщение. 80% относится к подтверждениям участников.
«Все материалы готовы»	Р2: готовы шесть из восьми	Противоречит источнику. Два материала ещё согласуются.
«Израсходовано 52 тысячи, оставшиеся 28 можно использовать»	Р3: 12 из 52 — аванс; ещё 18 согласованы к оплате	Сохранить слово «оплачено», отдельно показать аванс и обязательство. Свободный остаток не подтверждён.
«Проверка состоится завтра»	Р4: проверка не выполнена; срок не указан	Не подтверждено. Уточнить срок и ответственного, а не объявлять дату ложной.
«В ранее назначенный срок»	Р5: дата не указана; решения о переносе нет	Нельзя подтвердить соблюдение неизвестной даты. Запросить сведения.

После согласования замечаний

Исправь выявленные расхождения с Р1–Р5. Подготовь информационное сообщение до 130 слов. Сохрани только подтверждённые сведения. Недостающие сроки и решения вынеси в отдельный список вопросов. Не добавляй обещаний и поручений.

Проверенный учебный образец редакции

Участие в учебном семинаре подтвердили 32 из 40 запланированных сотрудников. Готовы шесть из восьми материалов; два проходят согласование. При предельном бюджете 80 тысяч рублей оплачено 52 тысячи, включая аванс 12 тысяч за ещё не оказанные услуги. Дополнительно согласована оплата 18 тысяч рублей. Помещение подтверждено. Необходимо завершить согласование материалов и организовать проверку оборудования. В предоставленном отчёте не указаны дата семинара, срок проверки и ответственный за неё.

Проверка проекта распоряжения

Разделите ясность текста, внутреннюю согласованность и сверку с документом-основанием. Это разные виды проверки.

Шаблон запроса · проект распоряжения

Проверь учебный проект распоряжения на согласованность сроков, полноту поручений и наличие ссылок на приложения. Укажи, какие пункты содержат действие, исполнителя и срок, а где сведений не хватает. Предложи вопросы автору. Не назначай исполнителей и не меняй объём их полномочий. Пока не составляй новую редакцию.

Сам проект не приложен к лекции: перед использованием запроса добавьте разрешённый документ. Ответ ИИ не утверждает распоряжение, не назначает исполнителей и не расширяет их полномочия.

07

Утверждение должно иметь основание

Различайте подтверждение, противоречие и недостаток данных. Ссылка должна вести к основанию конкретного утверждения.

Три результата проверки: подтверждается, противоречит, не подтверждено предоставленными материалами. 32 из 40 — 80% подтверждений; дата семинара не указана. — Утверждение и основание в источникеНажмите, чтобы увеличить

Ответ может содержать неверную цитату, несуществующую ссылку или смешение разных редакций. Просьба показать основание помогает обнаружить пробелы, но не гарантирует отсутствие ошибок.

Проверяйте всю цепочку: источник существует → применим к задаче → нужная редакция → подтверждающий фрагмент → сохранённые условия и исключения.

Два условных материала · не имеют нормативной силы

Источник У1. Учебное положение о подаче заявок, редакция 2. Пункт 1: плановые заявки направляются не позднее чем за три рабочих дня до мероприятия. Пункт 2: срочная заявка может быть направлена позже по согласованию с координатором. Пункт 3: заявка направляется по электронной почте. Пункт 4: участие подтверждает координатор.

Источник У2. Учебная справка о подготовке семинара. Плановое число участников – 40, подтвердили участие 32. Дата мероприятия в справке не указана.

01 · Плановые заявки направляют не позднее чем за три рабочих дня

Подтверждается

У1, пункт 1: «плановые заявки направляются не позднее чем за три рабочих дня до мероприятия».

02 · Все заявки без исключений подают за три рабочих дня

Противоречит

У1, пункт 2 допускает более позднюю срочную заявку по согласованию с координатором.

03 · Заявку нужно направить на бумаге

Противоречит

У1, пункт 3: «заявка направляется по электронной почте».

04 · Участие подтвердили 80 процентов планового числа участников

Подтверждается

У2: план — 40, подтвердили — 32. Расчёт: 32 / 40 × 100 = 80%.

05 · Семинар состоится 20 октября

Не подтверждено предоставленными материалами

Дата мероприятия в У2 не указана; У1 её также не содержит. Это не доказательство невозможности такой даты.

06 · Срок хранения заявок установлен стандартом СТ УЧ 9999

Не подтверждено предоставленными материалами

Документ не предоставлен. В этом упражнении «СТ УЧ 9999» — намеренно вымышленное обозначение, а не реальный стандарт для поиска.

Сопоставить утверждения с материалами

Сопоставь каждое утверждение с источниками У1 и У2. Для результата используй статусы: «подтверждается», «противоречит», «не подтверждено предоставленными материалами». Укажи источник и короткий фрагмент основания; для расчёта покажи формулу. Если назван отдельный источник, которого нет в комплекте, отметь необходимость его получения и проверки. Не придумывай цитаты, номера пунктов, ссылки и содержание отсутствующих документов.

Если нужен поиск актуальных сведений

Когда доступ разрешён и технически возможен, запросите реквизиты, ссылку и подтверждающий фрагмент. Затем сами откройте источник и проверьте соответствие.

Если доступа нет, модель сопоставляет предоставленные материалы и перечисляет дальнейшие проверки. Просьба «проверь актуальность» сама по себе не даёт доступа к документам.

Даже правильная арифметика может сопровождаться неверным обобщением: проверяйте, что означает знаменатель и какую группу описывает процент.

08

От удачного запроса к скиллу

Начинайте с повторяющейся задачи, которую вы хорошо понимаете и можете проверить.

Проверенная задача превращается в скилл: инструкция, шаблоны, примеры и критерии проверки применяются к новым данным. Проверяет человек. — Сохраняем проверенный порядок работыНажмите, чтобы увеличить

Для повторяющейся задачи полезно сохранить всю последовательность: какие сведения извлечь, где остановиться, как обозначить пробелы и что проверить.

Скилл — сохранённая инструкция для определённого типа задач, к которой могут прилагаться шаблоны, примеры и памятки. Это рабочий регламент: он задаёт порядок действий. Использовать такую упаковку можно, если система поддерживает скиллы.

При новом поручении модель применяет инструкцию к новым материалам. Это не переобучение модели. Достоверность данных, правильность выводов и решения по-прежнему проверяет ответственный сотрудник.

Сначала опробуйте

Выполните знакомую задачу несколько раз. Сохраните удачные запросы, проверенные результаты и типичные ошибки.

Затем опишите порядок

Зафиксируйте входные данные, действия, точки проверки, ограничения и формат результата.

Проверьте на разных случаях

Используйте полный отчёт, отчёт с пропусками и противоречиями. Убедитесь, что инструкция обозначает проблему, а не прячет её.

Что включить в инструкцию

Назначение и условия применения
Требования к исходным материалам
Последовательность действий
Промежуточные точки проверки
Ограничения и запреты
Правила для недостающих и противоречивых данных
Формат итогового результата
Критерии качества
Примеры правильного выполнения
Перечень критических ошибок

Примените к своей задаче

Четыре позиции перед первым запросом

Выберите одну повторяющуюся рабочую задачу и запишите для неё эти четыре позиции.

Исходные материалы

Например, разрешённый к использованию отчёт.

Ожидаемый результат

Краткое резюме для руководителя.

Подходящий приём

Структурированный запрос с ограничением по объёму.

Способ проверки

Сверка каждого числа и вывода с отчётом.

Сформулируйте один запрос. Если задача большая, начните с первого этапа: извлечения данных, выявления пропусков или предложения структуры.

Сравните время выполнения, включая проверку и исправления. Отметьте обнаруженные ошибки и объём доработки: это поможет оценить пользу подхода именно для вашей задачи.

Перед использованием ответа

Семь вопросов к результату

Отметки сохраняются в этом браузере. Каждый пункт относится к вашему результату и его проверке.

Выполнено ли именно то действие, которое требовалось?
Сохранены ли числа, единицы измерения, сроки, условия и исключения?
Можно ли найти основание каждого существенного утверждения?
Не появились ли выдуманные характеристики, источники, ответственные или решения?
Проверены ли расчёты и ограничения подходящим способом?
Понятно ли, какие сведения ещё нужно уточнить?
Выполнены ли необходимые для этого результата проверка и согласование?

Проверка понимания

Пять вопросов по лекции

После каждого ответа появится объяснение. Можно пройти квиз повторно.

Главное из лекции

Качество создаётся
на каждом этапе

Начните с критериев. Определите, как проверить соответствие задаче, точность, полноту и формат.
Подготовьте контекст. Укажите роли и версии документов; отделите форму образца от его фактов.
Работайте поэтапно. Сверьте основу и согласуйте структуру до создания итогового материала.
Проверяйте утверждения. Сначала найдите расхождения и пробелы, затем внесите выбранные правки.
Сохраняйте проверенную практику. Шаблон или скилл должен включать условия применения, ограничения и критерии проверки.

Каркас запроса для повторного использования

Замените поля в квадратных скобках и удалите ненужные элементы.

Шаблон · рабочий запрос

Задача: [что необходимо сделать].

Цель и адресат: [для чего и для кого нужен результат].

Исходные материалы: [вставить разрешённый текст или указать доступные приложенные документы].

Роль или ракурс: [если помогает уточнить вид работы].

Обязательные условия: [что сохранить и какие ограничения соблюдать].

Результат: [формат, объём, структура].

Критерии проверки: [какие признаки покажут, что задача выполнена].

Если данных недостаточно: перечисли недостающие сведения и задай вопросы. Не дополняй факты предположениями. Если предлагаешь варианты, отдели их от сведений исходника.

Запросы и учебные данные Исходный текст лекции К оглавлению ↑

Учебные данные и примеры основаны на предоставленной лекции; отчёт Р1–Р5 перенесён из первой части. Разборы в демо подготовлены для объяснения и не являются ответами работающей нейросети.