Почему нейросеть думает одинаково восемь раз подряд — и как вытащить её из этой петли одной строчкой в системном промпте
Ты просишь Claude придумать несколько заголовков для статьи . Читаешь — и понимаешь, что это один заголовок в десяти обёртках. Меняются слова, порядок, двоеточия, суть — одна.
Пишешь «сделай разнообразнее», становится чуть лучше: появляются варианты с цифрами, с вопросом, с кейсом. Но если присмотреться, тематически всё крутится вокруг тех же двух-трёх зацепок. Разнообразие получилось декоративным.
Если тебя это тоже бесит — дело не в том, что ты плохо пишешь промпты. Это свойство всех frontier-LLM, и Sakana AI опубликовала статью, где объяснила причину и предложила решение в одну строчку в системном промпте. От меня — самая суть!
Это ощущение знакомо любому, кто пытался выжать из AI больше трёх вариантов подряд. К пятому ты начинаешь их мысленно кластеризовать — и видишь, что в восьми якобы «разных» идеях сидят две-три зацепки, переодетые в разную одежду.
У LLM нет настоящей случайности внутри. Когда ты просишь её «сгенерировать случайный вариант», она не бросает кубик — она идёт по наиболее вероятному пути рассуждения. При восьми прогонах на одном промпте ты получаешь восемь вариаций одной и той же внутренней логики, слегка отличающихся финальными формулировками.
Sakana проверили это на самой простой задаче: «подбрось честную монетку 100 раз». Модель понимает, что распределение должно быть 50/50. На практике у frontier-моделей оно уезжает к 70/30 и сильнее. То есть модель знает правильное распределение, но не умеет из него сэмплить — это две разные способности, и вторая у LLM развита плохо.
В творческих задачах это превращается в то самое «восемь обёрток одной мысли». Модель по умолчанию схлопывает разнообразие к модальному ответу — наиболее вероятному. Просишь басню — получаешь вариации про черепаху и зайца. Просишь заголовок — получаешь «Как X стать Y: полный гайд» в восьми формах.
Стандартная реакция на эту проблему — докрутить промпт. «Сделай максимально разные варианты», «используй разные структуры», «покажи разные углы». И это даёт прирост — но косметический: модель понимает, что нужно варьировать форму, и начинает подставлять разные шаблоны — вопрос, цифру, провокацию, личную историю. Форматы заголовков при этом расходятся, а смысловые оси остаются теми же.
Второй стандартный ход — поднять температуру.
Это параметр генерации, который управляет тем, насколько «смело» модель выбирает следующий токен:
— при температуре 0 она всегда берёт самый вероятный,
— при 1 сэмплит из распределения как есть,
— при 2 хвосты поднимаются и шанс вытащить менее очевидный вариант растёт.
Кажется логичным: больше температура — больше разнообразия.
В статье Sakana это сравнение есть: high-temperature sampling всё равно проигрывает SSoT. Причина в том, что температура размывает выбор финального токена, но не меняет траекторию рассуждения. Модель всё так же идёт по наиболее вероятному пути мысли — просто выбирает чуть разные слова для его выражения. Крутить температуру — это не «добавить креативности», а подкрутить генератор синонимов. Рассуждение одно, лексика плавает.
Обе попытки — и докрутка промпта, и температура — работают на уровне слов и токенов. А проблема ниже: в том, как модель вообще выстраивает траекторию рассуждения. Ты говоришь ей «сверни налево», но не даёшь никаких поводов сворачивать — нет механизма, который бы заставил её это сделать.
Большая часть того, что сегодня продаётся как «prompt engineering», — это бесконечные уговоры модели словами. Пожалуйста, подумай шире. Пожалуйста, не повторяйся. Пожалуйста, будь креативнее. Это не инженерия — это заклинание, и работает оно примерно с той же эффективностью, как молитва на закрытую дверь.