feat: добавить Think Anywhere в главу 9, собрать все форматы
- Интеграция Think Anywhere (Jiang et al., 2026) в §9.1 - Добавлен источник в Источники главы 9 - Пересборка PDF (A4, ebook, phone) + EPUB, MOBI, FB2
This commit is contained in:
BIN
BlackboxBook.epub
Normal file
BIN
BlackboxBook.epub
Normal file
Binary file not shown.
13693
BlackboxBook.fb2
Normal file
13693
BlackboxBook.fb2
Normal file
File diff suppressed because it is too large
Load Diff
BIN
BlackboxBook.mobi
Normal file
BIN
BlackboxBook.mobi
Normal file
Binary file not shown.
BIN
BlackboxBook.pdf
BIN
BlackboxBook.pdf
Binary file not shown.
Binary file not shown.
Binary file not shown.
@@ -94,6 +94,16 @@ CoT предполагает, что модель «думает» тем же
|
||||
|
||||
Для инженера тут два вывода. Первый: reasoning не обязан быть текстовым, поэтому «попросить модель расписать мысли» — не всегда лучший proxy её внутреннего вычисления. Второй: в production по-прежнему выигрывает внешняя декомпозиция, потому что latent reasoning плохо аудитируется, не оставляет удобного журнала промежуточных решений и пока остаётся research frontier.
|
||||
|
||||
### Think Anywhere: рассуждение там, где оно нужно
|
||||
|
||||
Ещё один вызов модели «рассуждать до, потом писать код» — статичность. Общий план перед реализацией полезен, но настоящая сложность часто всплывает именно во время написания кода: краевое условие, которое не видно из условия задачи; конфликт типов; выбор между двумя алгоритмами, каждый из которых выглядит рабочим на бумаге.
|
||||
|
||||
**Think Anywhere** (Jiang et al., 2026, arXiv:2603.29957) позволяет модели вставлять блоки рассуждения `<thinkanywhere>...</thinkanywhere>` в любую точку генерации кода, прямо между строками. После удаления этих блоков код остаётся валидным и исполняемым — thinking-блоки не ломают синтаксис. В отличие от upfront thinking (все рассуждения в начале) и наивного interleaved thinking (рассуждение на каждом шагу), Think Anywhere даёт модели **самой решать, когда и где думать** — адаптивно, в высокоэнтропийных позициях.
|
||||
|
||||
Метод: cold-start SFT с LoRA на ~5000 примерах, где сильная reasoning-модель демонстрирует паттерн вставки thinking-блоков, затем outcome-based RL (аналог GRPO), где модель учится выбирать оптимальные позиции для рассуждения. Результаты: SOTA на LeetCode, LiveCodeBench, HumanEval и MBPP; кросс-доменная генерализация на математические бенчмарки (AIME, HMMT), несмотря на обучение только на коде. Примечательно, что модель адаптивно вызывает thinking в позициях с высокой энтропией — там, где следующее решение наименее очевидно.
|
||||
|
||||
Инженерный вывод: CoT «думай шаг за шагом» не обязан означать «думай всё в начале». Для кодовых задач продуктивнее дать модели право вставлять микро-рассуждения по мере возникновения трудностей. Это особенно ценно в агентных контурах ([глава 10](10_agent_not_chat.md)), где агент пишет код итеративно и должен адаптироваться к промежуточным результатам.
|
||||
|
||||
### Что делает Long CoT эффективным: структура важнее длины
|
||||
|
||||
**Molecular Structure of Thought** (2601.06002) — работа, формализующая разницу между «длинным CoT, который работает» и «длинным CoT, который просто тратит токены». Авторы выделяют три необходимых компонента эффективной reasoning-траектории: **Deep-Reasoning** (последовательное углубление — каждый шаг опирается на вывод предыдущего, как ковалентная связь), **Self-Reflection** (проверка промежуточных выводов — модель сама себя корректирует, как водородная связь), **Self-Exploration** (исследование альтернативных путей на развилках — ван-дер-ваальсовы взаимодействия).
|
||||
@@ -455,6 +465,7 @@ analyze ── success ──→ plan ── success ──→ implement ──
|
||||
- Anthropic (2025). "Building effective agents." https://docs.anthropic.com/en/docs/build-with-claude/agents
|
||||
- OpenAI (2025). "A practical guide to building agents." https://platform.openai.com/docs/guides/agents
|
||||
- Song, Y., et al. (2026). "The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning." arXiv:2601.06002.
|
||||
- Jiang, X., et al. (2026). "Think Anywhere in Code Generation." arXiv:2603.29957.
|
||||
|
||||
---
|
||||
|
||||
|
||||
Reference in New Issue
Block a user