Саша Комбаров / Блог /
Галлюцинации нейросетей: что стало сложнее проверять после появления ИИ
Галлюцинацией нейросети называют ответ, который выглядит правдоподобно, но не соответствует действительности: выдуманный факт, неверный расчёт, пропущенное условие. Про это обычно пишут с технической стороны. Я расскажу со стороны руководителя: что изменилось в проверке чужой работы.
Раньше плохую работу было видно
Сырую работу обычно было видно сразу. Плохой текст выглядел плохим. Непродуманная структура рассыпалась при первом просмотре. Слабая декомпозиция была похожа на список мыслей, записанных на ходу.
Сейчас результат может выглядеть аккуратно и убедительно, даже когда внутри ерунда. Есть структура, правильные формулировки, заголовки, таблицы и уверенный тон. Поэтому всё чаще приходится проверять не качество оформления, а есть ли там вообще смысл.
Случай первый: сайт для пресейла
Я видел пресейл, на котором команда решила показать проактивность и собрала нейросетью сайт для потенциального клиента. Первый блок получился по теме: понятный оффер, подходящие формулировки, визуально аккуратно. А дальше шёл набор случайных блоков, почти не связанных с бизнесом клиента.
Сайт сделали быстро. Но никто не прошёл его целиком перед показом.
Случай второй: оценка проекта
Нейросеть за минуту раскладывает проект на этапы, подзадачи и часы. Только в одном случае она раздует обычную функцию до отдельного продукта, а в другом не заметит интеграции, пограничные сценарии и несколько недель разработки.
Если взять такую оценку без проверки, можно очень неприятно встрять уже на проекте.
Случай третий: моя кухня
Чтобы не казалось, что это проблема только чужих команд. Я проектировал кухню для дачи в ChatGPT — хотел показать жене. И убедил нейросеть, что 50 + 60 + 60 + 50 = 240. Она не спорила. Меня заклинило, расчёт я не перепроверил, и столешница теперь чуть свисает с краю.
Второе: я был уверен, что глубина кухонных шкафов всегда 60 сантиметров. Оказалось, что нет. Теперь там козырёк.
Тут важная деталь: нейросеть ничего не выдумала. Она согласилась с моей ошибкой.
Что проверять в первую очередь
- Целиком, а не начало. Первый экран, первый абзац и первая таблица почти всегда хороши. Проблемы начинаются дальше.
- Числа и расчёты. Суммы, часы, сроки, размеры — всё, что можно пересчитать, нужно пересчитать.
- То, чего нет. Нейросеть редко говорит «я не учла». Спросите себя, что в этой задаче обычно забывают: интеграции, исключения, согласования.
- Свои вводные. Если вы дали неверное условие, вы получите уверенный ответ на неверный вопрос.
- Связь с задачей. Хороший вопрос к любому результату: это про нашего клиента и нашу ситуацию — или про «клиента вообще»?
Самый простой приём — отдать результат на проверку другой нейросети. Всегда проверяйте за нейронками. Хотя бы нейронкой.
Вывод
ИИ хорошо научился создавать ощущение законченной работы. А человеку теперь приходится внимательнее смотреть, не законченный ли перед ним вид вместо законченного результата.
По теме: что такое вайбкодинг и где он упирается и как я расшифровываю созвоны.