Tree of Thoughts

Решение: Думай как шахматист

Tree of Thoughts (ToT) позволяет ИИ исследовать несколько веток рассуждений, оценивать каждую и отсекать тупики. Вместо того чтобы следовать одному пути, он рассматривает несколько вариантов на каждом шаге, как шахматист, думающий на несколько ходов вперёд. Метод расширяет Chain-of-Thought в древовидную структуру, и если Self-Consistency выбирает лучший финальный ответ из нескольких независимых попыток, то ToT оценивает промежуточный прогресс на каждом шаге и может бросить ветку, не тратя на неё рассуждения дальше.

Как это работает

ToT запускает небольшой поиск по «мыслям» (thoughts) — связным промежуточным шагам к решению. В каждом узле модель делает три вещи. Сначала она генерирует несколько кандидатов на следующий шаг (например, три разных способа продолжить). Затем шаг оценки (value step) ранжирует, насколько перспективен каждый кандидат — модель либо ставит оценку («точно / возможно / невозможно»), либо сравнивает кандидатов попарно. И, наконец, стратегия поиска — обычно поиск в ширину (оставляем лучшие k веток на каждом уровне) или в глубину (углубляемся в сильнейшую ветку, откатываемся при неудаче) — решает, какие узлы разворачивать дальше. Поскольку каждая ветка — это обычный промпт, ToT не требует дообучения (fine-tuning): это слой оркестрации, который вызывает модель много раз и сохраняет ценные пути.

Когда применять — и компромиссы

Бери ToT там, где одиночная «жадная» цепочка часто ошибается: задачи с большим пространством поиска, ранним выбором, который ведёт к провалу позже, или с понятным способом проверить промежуточный прогресс (головоломки, удовлетворение ограничений, многошаговое планирование, код, который должен пройти тесты). Расплата за это — цена: перебор множества веток и оценка каждой умножают расход токенов и задержку, иногда в 10 раз и больше по сравнению с обычным Chain-of-Thought. К тому же ToT помогает только когда модель способна разумно оценивать частичное решение; если она не отличает хорошую ветку от плохой, поиск просто впустую жжёт вызовы. Для простых вопросов одна цепочка рассуждений дешевле и не хуже. Разбор на примере — игра 24: даны числа 4, 9, 10, 13, нужно получить 24, использовав каждое один раз. ToT предлагает первые ходы вроде 10 − 4 = 6, 13 − 9 = 4 и 4 × 9 = 36, оценивает каждый по тому, могут ли оставшиеся числа ещё дать 24, отсекает тупики и разворачивает выжившие ветки — находя (13 − 9) × (10 − 4) = 24. В оригинальной статье это подняло успешность с примерно 4% при обычном промптинге до 74%.

Где это используется?

• Головоломки: Судоку, игра 24, логические задачи
• Творческое письмо: Исследование разных направлений сюжета
• Планирование: Поиск оптимальных путей через сложные решения
• Архитектура кода: Оценка разных подходов к дизайну

Попробуйте сами!

Используй интерактивный пример ниже, чтобы увидеть, как Tree of Thoughts исследует несколько веток и находит лучший путь решения.