gennady 0.6.0 → 0.7.0

package/ai/docs/ai-icl.md

@@ -0,0 +1,538 @@
+<Module_ID id="ICL_RESEARCH_PLAN_2026" />
+
+# In-Context Learning (ICL)
+
+## Модуль 1. Природа ICL: От Few-Shot к Many-Shot
+
+- **Суть:** Как модель адаптирует поведение по примерам в контексте без изменения весов. Разница между few-shot и many-shot режимом.
+- **Ресерч:** [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165), [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018), [Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers](https://aclanthology.org/2023.findings-acl.247), [Transformers learn to implement preconditioned gradient descent for in-context learning](https://arxiv.org/abs/2306.00297).
+
+## Модуль 2. Архитектура примера (Example Design)
+
+- **Суть:** Что делает пример сильным: релевантность, формат, полнота входа, репрезентативность и наличие промежуточных шагов там, где они действительно нужны.
+- **Ресерч:** [What Makes Good In-Context Examples for GPT-3?](https://aclanthology.org/2022.deelio-1.10), [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759), [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171).
+
+## Модуль 3. Проблема порядка и смещения (Ordering & Bias)
+
+- **Суть:** Почему один и тот же набор примеров может работать по-разному при разном порядке, и как длинный контекст меняет использование информации.
+- **Ресерч:** [Fantastically Ordered Prompts and Where to Find Them](https://aclanthology.org/2022.acl-long.556), [What Makes a Good Order of Examples in In-Context Learning](https://aclanthology.org/2024.findings-acl.884), [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://proceedings.mlr.press/v139/zhao21c.html), [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172).
+
+## Модуль 4. Синтетический ICL (Self-Generated Examples)
+
+- **Суть:** Как использовать самогенерацию подзадач, тест-кейсов, аналогий и промежуточных reasoning traces перед финальным ответом.
+- **Ресерч:** [STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465), [Self-Instruct: Aligning Language Models with Self-Generated Instructions](https://aclanthology.org/2023.acl-long.754), [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601).
+
+## Модуль 5. Отрицательный ICL (Negative Counter-Examples)
+
+- **Суть:** Использование плохих и хороших примеров для задания границ качества, безопасности и допустимого формата ответа.
+- **Ресерч:** Прямая литература по plain-text negative exemplars уже, чем по CoT и ordering; для практики полезны смежные работы: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073), [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651).
+
+## Модуль 6. Интеграция в AI-Protocol: XML-библиотеки шотов и retrieval
+
+- **Суть:** Как хранить, индексировать, выбирать и переиспользовать примеры через библиотеки артефактов, retrieval и протоколы подачи контекста.
+- **Ресерч:** [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191), [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79), [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401).
+
+---
+
+### Общая картина
+
+In-Context Learning — это режим работы LLM, в котором поведение модели смещается за счет содержимого текущего запроса: инструкций, примеров, контекста и формата. Базовая точка отсчета здесь — GPT-3, где few-shot prompting был показан как общий механизм адаптации без fine-tuning: [Brown et al., 2020](https://arxiv.org/abs/2005.14165).
+
+Позднее many-shot режим получил отдельное сильное эмпирическое подтверждение: на ряде задач качество продолжает расти и после десятков примеров, а не только в диапазоне 1-8 шотов: [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018).
+
+При этом ICL не следует трактовать как полную замену fine-tuning. Это один из способов адаптации модели, особенно полезный там, где важны скорость итерации, прозрачность и возможность быстро менять поведение без переобучения.
+
+---
+
+<Module_ID id="MOD_ICL_01_NATURE_2026" />
+
+# Модуль 1. Природа ICL: От Few-Shot к Many-Shot
+
+### Суть метода
+
+Few-shot ICL подает модели несколько демонстраций формата или поведения. Many-shot ICL расширяет этот режим до десятков, сотен и более примеров. В таком режиме модель сильнее подстраивается под локальную статистику текущего контекста, а не только под общий prior, сформированный предобучением.
+
+### 1. Сферы применения и примеры
+
+#### Сфера: Классификация по внутренним корпоративным правилам
+
+- **Задача:** Разметка тикетов, писем или заявок по внутренней таксономии компании.
+- **ICL-прайминг:** Подача размеченных примеров по каждой категории.
+- **Эффект:** Модель лучше схватывает локальные критерии, которые трудно описать одной инструкцией.
+
+#### Сфера: Трансформация текста в заданный формат
+
+- **Задача:** Привести вход к корпоративному шаблону отчета, карточки кейса или JSON-структуры.
+- **ICL-прайминг:** Подача набора входов и целевых выходов в одном формате.
+- **Эффект:** Модель подстраивается под тип ответа, глубину и структуру.
+
+#### Сфера: Узкодоменная редактура
+
+- **Задача:** Переписывать текст в жанре legal review, risk memo, incident report.
+- **ICL-прайминг:** Подача репрезентативных образцов именно этого жанра.
+- **Эффект:** Модель сильнее ориентируется на локальный паттерн задачи, чем на усредненный интернет-стиль.
+
+---
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- LLM действительно могут адаптироваться по демонстрациям прямо в промпте: [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165).
+- На длинном контексте полезность демонстраций сохраняется и в many-shot режиме: [Many-Shot In-Context Learning](https://arxiv.org/abs/2404.11018).
+
+#### Косвенно подтверждается:
+
+- ICL можно интерпретировать как форму внутренней оптимизации или мета-обучения: [Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers](https://aclanthology.org/2023.findings-acl.247), [Transformers learn to implement preconditioned gradient descent for in-context learning](https://arxiv.org/abs/2306.00297).
+
+#### Не подтверждено / требует аккуратности:
+
+- Что many-shot ICL в общем случае заменяет fine-tuning.
+- Что ICL уже окончательно объяснен как один конкретный внутренний алгоритм для всех моделей и всех задач.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+С точки зрения поведения LLM few-shot действует как локальная калибровка: модель получает несколько опорных точек и подстраивает вероятности продолжения в сторону увиденного формата. Many-shot усиливает этот эффект: локальный контекст начинает сильнее конкурировать с более общими паттернами, усвоенными при предобучении.
+
+Именно поэтому many-shot часто полезен для задач со сложными локальными правилами, но одновременно становится хрупким к шуму и противоречивым примерам.
+
+---
+
+### 4. Практическая ценность
+
+- Few-shot полезен, когда нужно быстро задать формат и базовое поведение.
+- Many-shot полезен, когда задача сильно зависит от локальных примеров и не укладывается в короткую инструкцию.
+- Рост числа примеров полезен только до тех пор, пока сами примеры релевантны, непротиворечивы и не перегружают контекст.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Мгновенная адаптация:** Не требуется отдельное дообучение.
+- **Прозрачность:** Видно, на каких примерах строится текущее поведение.
+- **Гибкость:** Поведение можно менять на уровне запроса.
+
+#### Минусы:
+
+- **Стоимость токенов:** Большие библиотеки примеров дороги.
+- **Латентность:** Длинный префикс замедляет обработку.
+- **Хрупкость к шуму:** Противоречивые шоты быстро портят результат.
+
+#### Опасности:
+
+- **Label Noise:** Ошибочные примеры закрепляют неверное правило.
+- **Overfitting to Context:** Модель может слишком сильно подстроиться под локальный стиль в ущерб задаче.
+- **Context Budget Collapse:** Полезность many-shot исчезает, если контекст заполнен слабым или дублирующим материалом.
+
+---
+
+<Module_ID id="MOD_ICL_02_EXAMPLE_DESIGN_2026" />
+
+## Модуль 2. Архитектура примера (Example Design)
+
+### Суть метода
+
+Качество ICL зависит не только от числа примеров, но и от того, как именно они устроены. Сильный пример должен быть репрезентативным, достаточно полным и совпадать с реальным распределением входов и выходов.
+
+### 1. Сферы применения и техники дизайна
+
+#### Техника 1: Input -> Output
+
+- **Дизайн:** Короткий вход и целевой ответ без промежуточных шагов.
+- **Сфера:** Извлечение полей, нормализация, форматирование, простая классификация.
+- **Эффект:** Минимальный шум и минимальный расход токенов.
+
+#### Техника 2: Input -> Reasoning -> Answer
+
+- **Дизайн:** Вход, затем краткий ход решения, затем финальный ответ.
+- **Сфера:** Математика, логика, отладка, аналитические задачи.
+- **Эффект:** На сложных задачах модель чаще воспроизводит не только ответ, но и способ получения ответа.
+
+#### Техника 3: Хороший/плохой формат
+
+- **Дизайн:** Валидный и невалидный образец с пояснением различия.
+- **Сфера:** JSON, code review, style guide, безопасный код.
+- **Эффект:** Пример задает границу допустимого поведения, а не только целевую точку.
+
+---
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- Качество демонстраций существенно влияет на качество ICL: [What Makes Good In-Context Examples for GPT-3?](https://aclanthology.org/2022.deelio-1.10).
+- Свойства примеров важны не меньше, чем простая пара вход-выход: [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://aclanthology.org/2022.emnlp-main.759).
+- Для reasoning-задач полезны примеры с промежуточными шагами: [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903), [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171).
+
+#### Косвенно подтверждается:
+
+- Хороший пример задает не только ответ, но и локальную процедуру решения. Это следует из reasoning-литературы, но не сводится к одному универсальному механизму.
+
+#### Не подтверждено / требует аккуратности:
+
+- Что CoT является лучшим дизайном примера для любой задачи.
+- Что любой подробный reasoning-образец автоматически улучшает результат.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+Хороший пример задает LLM локальную геометрию задачи: что считать входом, что считать существенным сигналом, какой тип ответа является допустимым. Если пример содержит reasoning, модель часто начинает продолжать не только результат, но и траекторию вывода. Если reasoning слабый или нерелевантный, модель так же послушно унаследует и эту слабость.
+
+---
+
+### 4. Практическая ценность
+
+- Для простой задачи лучше короткий и чистый пример без лишнего reasoning.
+- Для сложной задачи имеет смысл тестировать CoT-демонстрации.
+- Примеры должны быть репрезентативными, а не декоративными.
+- Один качественный пример часто полезнее трех красивых, но нерелевантных.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Точность формата:** Пример быстрее задает нужный шаблон ответа.
+- **Снижение неоднозначности:** Меньше пространства для свободной трактовки.
+- **Перенос процедуры:** В reasoning-задачах пример может переносить не только ответ, но и метод.
+
+#### Минусы:
+
+- **Хрупкость к плохим примерам:** Ошибка в демонстрации масштабируется.
+- **Token Overhead:** Подробные примеры быстро съедают контекст.
+
+#### Опасности:
+
+- **Template Copying:** Модель копирует форму даже там, где она уже мешает.
+- **Reasoning Drift:** Слабое reasoning в примере задает слабую траекторию решения.
+- **Distribution Mismatch:** Примеры слишком далеки от реальных входов.
+
+---
+
+<Module_ID id="MOD_ICL_03_ORDER_BIAS_2026" />
+
+## Модуль 3. Проблема порядка и смещения (Ordering & Bias)
+
+### Суть метода
+
+ICL чувствителен не только к составу набора примеров, но и к их порядку. При длинном контексте дополнительно появляются позиционные эффекты: начало и конец окна часто обрабатываются лучше, чем середина.
+
+### 1. Сферы применения и стратегии борьбы
+
+#### Сфера: Классификация и label-heavy задачи
+
+- **Проблема:** Несбалансированный хвост примеров смещает модель к одной категории.
+- **Стратегия:** Балансировать категории ближе к финальным позициям и тестировать несколько порядков.
+
+#### Сфера: Длинные retrieval-контексты
+
+- **Проблема:** Критичная информация оказывается в середине большого блока и используется хуже.
+- **Стратегия:** Повторять ключевые условия ближе к месту применения и избегать перегруженной середины.
+
+#### Сфера: Многошаговое reasoning
+
+- **Проблема:** Последний reasoning-пример задает неподходящую траекторию для следующей задачи.
+- **Стратегия:** Упорядочивать примеры от простого к сложному или по типу подзадачи.
+
+---
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- Few-shot ICL чувствителен к порядку примеров: [Fantastically Ordered Prompts and Where to Find Them](https://aclanthology.org/2022.acl-long.556).
+- Свойства удачного порядка можно исследовать отдельно: [What Makes a Good Order of Examples in In-Context Learning](https://aclanthology.org/2024.findings-acl.884).
+- Label bias и калибровка few-shot режима подтверждены: [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://proceedings.mlr.press/v139/zhao21c.html).
+- Позиционные эффекты в длинном контексте подтверждены: [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172).
+
+#### Косвенно подтверждается:
+
+- Практики вроде curriculum ordering и balanced shuffling логично следуют из литературы по order sensitivity, хотя конкретные схемы зависят от задачи и модели.
+
+#### Не подтверждено / требует аккуратности:
+
+- Что последний пример всегда важнее всех остальных.
+- Что существует универсальный оптимальный порядок примеров.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+LLM не читает длинный контекст как одинаково ровное поле. Последние и первые участки часто оказываются более "активными" для генерации, а середина длинного блока — менее заметной. Поэтому порядок примеров выглядит не как вопрос косметики, а как вопрос распределения внимания внутри окна.
+
+---
+
+### 4. Практическая ценность
+
+- Один и тот же набор шотов нужно тестировать в нескольких порядках.
+- В длинных пайплайнах важны не только релевантность документов, но и их позиция в окне.
+- Порядок примеров — это параметр оптимизации, а не декоративная деталь.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Бесплатная оптимизация:** Иногда перестановка примеров улучшает результат без новых данных.
+- **Локальное управление поведением:** Порядком можно менять акцент модели.
+
+#### Минусы:
+
+- **Нестабильность:** Один порядок может быть удачным для одной модели и слабым для другой.
+- **Трудоемкость:** Оптимальный порядок часто приходится искать экспериментально.
+
+#### Опасности:
+
+- **Recency Bias:** Последние примеры перевешивают более важные ранние правила.
+- **Majority Label Bias:** Дисбаланс примеров смещает ответ.
+- **Middle Neglect:** Ключевые условия в середине используются хуже.
+
+---
+
+<Module_ID id="MOD_ICL_04_SYNTHETIC_SELF_GEN_2026" />
+
+## Модуль 4. Синтетический ICL (Self-Generated Examples)
+
+### Суть метода
+
+Синтетический ICL использует промежуточную самогенерацию: модель сначала строит подзадачи, аналогии, тест-кейсы или черновые шаги решения, а затем использует этот материал как дополнительный локальный контекст.
+
+### 1. Сферы применения и примеры
+
+#### Сфера: Математика и логика
+
+- **Задача:** Решить сложную задачу, требующую нескольких переходов.
+- **Синтетический цикл:** Сначала выписать более простые подзадачи или промежуточные шаги.
+- **Эффект:** Модель снижает вероятность одного крупного ошибочного прыжка.
+
+#### Сфера: Код и edge cases
+
+- **Задача:** Сгенерировать функцию с учетом граничных случаев.
+- **Синтетический цикл:** Сначала выписать тест-кейсы и ожидаемое поведение.
+- **Эффект:** Финальный код чаще учитывает границы задачи.
+
+#### Сфера: Аналитика и планирование
+
+- **Задача:** Подготовить структурированный разбор решения.
+- **Синтетический цикл:** Сначала план, затем критерии, затем финальный вывод.
+- **Эффект:** Ответ становится более управляемым и проверяемым.
+
+---
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- Bootstrap-механика самогенерируемых reasoning traces: [STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning](https://arxiv.org/abs/2203.14465).
+- Самогенерация инструкций и задач как полезный способ улучшения instruction-following: [Self-Instruct: Aligning Language Models with Self-Generated Instructions](https://aclanthology.org/2023.acl-long.754).
+- Полезность промежуточных веток рассуждения на inference time: [Tree of Thoughts: Deliberate Problem Solving with Large Language Models](https://arxiv.org/abs/2305.10601).
+
+#### Косвенно подтверждается:
+
+- Самогенерация аналогий и тест-кейсов для инженерных задач логично следует из общей scaffold-логики этих работ.
+
+#### Не подтверждено / требует аккуратности:
+
+- Что самогенерируемые примеры универсально надежнее внешних примеров.
+- Что любая аналогия или self-generated scaffold обязательно улучшает ответ.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+Когда модель сначала генерирует промежуточные опоры, она создает сама для себя локальный набор ориентиров внутри контекста. После этого финальный ответ уже строится не на пустом месте, а на ранее сформированной внутренней траектории. Поэтому синтетический ICL часто помогает, но только если промежуточный материал сам по себе качественный.
+
+---
+
+### 4. Практическая ценность
+
+- Техника особенно полезна там, где задача плохо решается одним прямым ответом.
+- Самогенерация должна быть короткой, контролируемой и привязанной к цели задачи.
+- Синтетический контекст полезен только тогда, когда его потом можно проверить или использовать как опору.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Глубже прорабатывает задачу:** Модель строит опоры до финального ответа.
+- **Помогает увидеть edge cases:** Особенно в коде и аналитике.
+- **Повышает проверяемость:** У ответа появляются промежуточные артефакты.
+
+#### Минусы:
+
+- **Высокая стоимость:** Растут токены и время.
+- **Не всегда нужен:** Для простых задач только мешает.
+
+#### Опасности:
+
+- **Self-Reinforced Error:** Ошибка в промежуточном шаге переходит в финал.
+- **Echo Chamber:** Модель зацикливается на собственном промежуточном допущении.
+
+---
+
+<Module_ID id="MOD_ICL_05_NEGATIVE_CONTRASTIVE_2026" />
+
+## Модуль 5. Отрицательный ICL (Negative Counter-Examples)
+
+### Суть метода
+
+Отрицательный ICL показывает не только целевой образец, но и нарушение правила: плохой пример, причину ошибки и корректный вариант. Это задает границы допустимого поведения заметно лучше, чем один только позитивный образец.
+
+### 1. Сферы применения и примеры
+
+#### Сфера: Безопасный код
+
+- **Задача:** Снизить вероятность небезопасных SQL и shell-patterns.
+- **Контрастный шот:** Уязвимый пример, краткая критика, безопасный вариант.
+- **Эффект:** Модель лучше различает паттерны, которые нужно избегать.
+
+#### Сфера: Строгий формат вывода
+
+- **Задача:** Выдавать только валидный JSON или schema-constrained output.
+- **Контрастный шот:** Сломанный пример и валидный пример.
+- **Эффект:** Повышается чувствительность к границам допустимого формата.
+
+#### Сфера: Стиль и редактура
+
+- **Задача:** Избегать штампов, канцелярита или AI-клише.
+- **Контрастный шот:** Штампованный абзац и улучшенный вариант с пояснением различия.
+- **Эффект:** Граница между слабым и сильным стилем становится явной.
+
+---
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- Критика и последующая правка ответа работают как управляемый механизм выравнивания: [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073), [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651).
+
+#### Косвенно подтверждается:
+
+- Контрастная подача плохого и хорошего образца логично опирается на critique/refinement литературу и практику schema/style enforcement.
+
+#### Не подтверждено / требует аккуратности:
+
+- Для plain-text negative exemplars нет такой же широкой и устойчивой экспериментальной базы, как для CoT или ordering.
+- Нельзя утверждать, что negative examples универсально лучший способ обучить модель границам поведения.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+Отрицательные примеры работают как явные маркеры нежелательной траектории. Если плохой пример размечен четко, а рядом дан хороший вариант, модель получает не только целевой шаблон, но и локальную границу: что считается ошибкой и почему. Если разметка слабая, эффект легко становится обратным, и модель начинает копировать именно ошибку.
+
+---
+
+### 4. Практическая ценность
+
+- Контрастные пары полезнее всего там, где ошибка легко локализуется и формализуется.
+- Плохой пример должен быть однозначно помечен как плохой.
+- Нельзя перегружать контекст множеством негативных образцов: это смещает модель в сторону чрезмерной осторожности.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Четкая граница допустимого:** Особенно полезно для качества и безопасности.
+- **Обучение на ошибках:** Подходит для повторяющихся сбоев поведения.
+
+#### Минусы:
+
+- **Token Overhead:** Нужны минимум два образца вместо одного.
+- **Риск путаницы:** Плохой пример должен быть размечен без двусмысленности.
+
+#### Опасности:
+
+- **Over-Correction:** Модель начинает избегать и допустимых вариантов.
+- **Negative Dominance:** Слишком много плохих образцов ухудшают уверенность модели.
+
+---
+
+<Module_ID id="MOD_ICL_06_PROTOCOL_INTEGRATION_2026" />
+
+## Модуль 6. Интеграция в AI-Protocol: XML-библиотеки шотов и retrieval
+
+### Суть метода
+
+В production-системах примеры обычно живут не внутри одного длинного монолитного промпта, а в виде библиотеки артефактов: индекс, теги, retrieval, правила отбора и ограниченный набор наиболее релевантных демонстраций на конкретный запрос.
+
+### 1. Архитектура библиотеки артефактов (Artifact Library)
+
+1. **Индекс артефактов:** Список примеров, их тегов и условий применения.
+2. **Тело артефактов:** Сами демонстрации, разбитые по типам задач.
+3. **Логика отбора:** Механизм, который решает, какие примеры подставлять в текущий контекст.
+
+### 2. Научное подтверждение и Fact-Checking
+
+#### Прямо подтверждается:
+
+- Retrieval релевантных демонстраций полезен как отдельный механизм: [Learning to Retrieve Prompts for In-Context Learning](https://aclanthology.org/2022.naacl-main.191).
+- Выбор и ordering примеров можно оптимизировать автоматически: [Self-Adaptive In-Context Learning](https://aclanthology.org/2023.acl-long.79).
+- Retrieval-контекст является центральным элементом knowledge-intensive пайплайнов: [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401).
+
+#### Косвенно подтверждается:
+
+- Идея библиотек шотов и их индексирования хорошо соответствует литературе по retrieval, example selection и long-context optimization.
+
+#### Не подтверждено / требует аккуратности:
+
+- Что XML является универсальным научным стандартом для ICL.
+- Что один конкретный формат упаковки библиотеки лучше для всех моделей и всех задач.
+
+---
+
+### 3. Эвристическая интерпретация LLM
+
+Это не научное доказательство, а рабочая модель интерпретации.
+
+Библиотека шотов полезна не сама по себе, а как способ подать в окно только те примеры, которые действительно нужны текущей задаче. Для модели разница между хаотичной кучей примеров и компактным отобранным набором часто эквивалентна разнице между слабым и сильным локальным контекстом.
+
+---
+
+### 4. Практическая ценность
+
+- Лучше подавать меньше, но более релевантных примеров.
+- Библиотеку шотов нужно индексировать по типу задачи, а не хранить как один длинный набор.
+- Retrieval и ICL работают лучше вместе, чем по отдельности в сложных production-сценариях.
+
+---
+
+### 5. Плюсы, Минусы и Опасности
+
+#### Плюсы:
+
+- **Масштабируемость:** Примеры можно переиспользовать между задачами.
+- **Управляемость:** Отбор шотов становится контролируемым.
+- **Экономия контекста:** В окно попадает только нужное.
+
+#### Минусы:
+
+- **Сложность инфраструктуры:** Нужны индекс, retrieval и правила отбора.
+- **Новая зона ошибок:** Плохой retrieval портит хороший ICL.
+
+#### Опасности:
+
+- **Wrong Retrieval:** В окно попадают нерелевантные или конфликтующие примеры.
+- **Stale Library:** Библиотека артефактов устаревает быстрее, чем кажется.
+- **Format Over-Engineering:** Избыточная разметка увеличивает стоимость без прироста качества.