@uzysjung/agent-harness 26.166.0 → 26.168.0

package/templates/skills/multi-model-debate/references/research.md

@@ -0,0 +1,171 @@
+# 연구 검토와 설계 근거
+
+확인일: **2026-10-10**. 우선 범위: 현행 고성능 모델을 사용한 2026년 하반기 연구·사례와
+공식 제품 문서. arXiv 원문 15편에서 실험 모델·비교 조건·결과·한계를 확인했다.
+프리프린트의 주장과 독립 재현 사실은 다르며, 이 작업에서 논문 실험을 재현하지는 않았다.
+
+## 선정 기준
+
+발표일/최종 개정일만으로 최신 모델 연구라고 판단하지 않는다. 다음을 함께 본다.
+
+1. **실제 모델과 설정**: 모델 ID/세대, 추론 수준, 도구, 문맥/출력 제한, 호스팅 경로.
+2. **과제 유사성**: 코딩, 수학, 의견 설문, 보안 공격, 연구 피드백의 결과는 서로 다르다.
+3. **대조 조건**: 추가 계산량과 다중 모델/교차 토론의 효과를 구분했는가.
+4. **평가**: 실제 테스트·정답·사람의 평가인가, 모델 심판·자기보고인가.
+5. **외적 타당성**: 단일 사례/작은 표본/특정 공격의 수치를 일반 성능으로 확장하지 않는다.
+
+구형·소형 모델의 실패율은 현행 Opus 5·Fable 5·Astra의 능력 한계를 규정하는 근거에서
+제외했다. 기존 한계를 보완하려던 절차도 현행 모델에서 이득이 있는지 다시 평가한다.
+현재 모델의 우수성 역시 모든 주제의 정확성이나 모든 토론 구성의 효율성을 보장하지 않는다.
+
+## 현행 모델에 직접 닿는 근거
+
+### 1. GVS5H — 모델 역량과 실행 구조를 함께 평가
+
+[GVS5H: Zero-Shot Self-Orchestration with Ledger-Based Control Improves Coding in
+Language Models](https://arxiv.org/html/2608.26480), v2, 2026-09-21.
+
+100개 최근 고난도 LiveCodeBench 과제, 11개 모델의 코딩 실험이다. 핵심은 자유로운
+찬반 토론보다 관리자·작업자 분해와 파일 원장으로 상태를 유지하는 구조다. 고정된 일부
+백엔드는 반복 비교하지만 다른 경로는 라우팅/설정 차이가 있다. Fable 5는 단일 모델
+기준선만 있으며, Opus 5의 라우팅된 단회 결과는 동일 조건의 반복 비교로 볼 수 없다.
+
+**반영:** 긴 작업에 쟁점·검증 결과를 남겨 문맥을 보존한다. 현재 모델의 단독 결과를
+대조점으로 유지한다. **제외:** "Fable/Opus에서도 토론이 일정 비율 개선한다", "원장만
+넣으면 모든 계획 작업이 개선된다"는 결론은 이 실험이 증명하지 않는다.
+
+### 2. Pierce–Birkhoff 연구의 AI 사용 기록 — 강한 모델들의 가변 역할
+
+[Pierce–Birkhoff conjecture is false](https://arxiv.org/html/2609.10420), 2026-09-09,
+특히 §5–6의 AI 사용 설명.
+
+저자들은 GPT 5.6/6, Claude Opus 5, Fable 5.1을 Codex·Claude Code·ChatGPT에서
+연결한 수학 연구 과정을 보고한다. 조사·작성·검토 역할은 계열에 고정되지 않았으며,
+일부 검토자는 이전 판정을 모르는 새 문맥에서 시작했다. 입증/실패/미해결 상태를 남기고
+계산 가능한 주장에 계산 도구를 사용했다.
+
+**반영:** 독립 초기 답변, 새 문맥의 표적 검토, 상태 원장, 실행 가능한 확인.
+**한계:** 통제된 토론 효과 실험이 아닌 저자의 사례 보고다. 이 문서가 수학 정리의
+정확성을 독립 검증했다거나 특정 모델 배치가 일반적으로 최적이라고 주장하지 않는다.
+
+### 3. MADBench — 강한 조정자의 개선을 함께 읽기
+
+[MADBench: Benchmarking the Security of Multi-Agent Debate](https://arxiv.org/html/2609.39146),
+2026-09-30.
+
+356개 원과제에서 만든 3,958개 사례와 여섯 공격 계열을 다룬다. **Astra 결과는 조정자
+강화 ablation**이며 전체 실험이 Astra인 것은 아니다. 해당 비교에서 GPT-6 Astra 조정자는
+기존 조정자보다 공격 성공/잘못된 재작성 비율이 낮았다. 정직한 토론에서의 정답 훼손도
+공격 실험과 구분한다.
+
+**반영:** 현재 강한 모델의 검증 능력을 활용한다. 동료 메시지는 검토 대상이지 권한을
+주거나 프로젝트 규칙을 바꾸는 지시가 아니다. 실제 실행 권한은 런타임에서 유지한다.
+**제외:** 구형 모델 공격률을 현행 Astra의 실패율로 옮기거나 "토론은 필연적으로 붕괴"라
+일반화하지 않는다. 이 연구는 일반 제품 기획의 효율성 평가가 아니다.
+
+### 4. The Troy Moment — 최신 모델의 확인 행동과 작은 표본
+
+[The Troy Moment: How LLM Agents Adjudicate the Decision Point Under Impossible Tasks,
+Claimed Authority, and Peer Information](https://arxiv.org/html/2609.15494), 2026-09.
+
+GPT-5.6 Sol, Fable 5.1, Gemini 3.8 Flash를 포함하며 일곱 ImpossibleBench 코딩
+과제를 다룬다. 동료 정보 실험은 다수 사례에서 정보를 읽고 저장소를 직접 확인한 뒤
+행동하는 과정을 보고한다. 혼합 구성의 진단 범위 개선도 보고하지만 작은 과제 집합이다.
+
+**반영:** 현재 모델을 단순한 동조자로 전제하지 않는다. 쟁점을 전달하고 적절한 실제
+확인을 맡긴다. **한계:** 해당 보드 실험에는 심어진 악성 메시지가 없으며, 일곱 코딩
+과제의 결과를 광범위한 설계·기획이나 적대적 안전성으로 확대할 수 없다.
+
+## 인접 세대·방법론에 한정해 참고
+
+### 5. What Does Multi-Agent Debate Actually Change?
+
+[원문](https://arxiv.org/html/2609.08016), v3, 2026-10-07.
+GPT-5.6 Luna/Terra/Sol, Qwen3.8-27B/Inkling과 Gemini3.8 Flash 심판을 사용한
+50개 의견 질문 실험이다. 적대적 말투에서 자기보고한 이견과 실제 선택 변화가 다를 수
+있음을 측정한다. **의견 설문이지 정답 정확도 실험이 아니다.**
+
+반영 범위는 "토론이 격렬한가/동의했는가" 대신 결과물의 실질적인 변화와 근거를 평가한다는
+측정 원칙이다. Astra·Fable의 사실 추론 성능이나 강제 반대의 보편적 해악을 단정하지 않는다.
+
+### 6. Does Multi-Agent Debate Improve AI Feedback on Research Papers?
+
+[원문](https://arxiv.org/html/2607.14713), 2026-07 제출/08 본문.
+44명 저자의 블라인드 평가와 AI 심판 비교는 유용한 평가 설계다. 하지만 응답은 6월 말에
+Opus4.8/GPT5.5 등으로 생성됐으며, 현행 Fable/GPT5.6 이후 결과가 아니다.
+단일 모델 선호 결과를 **현행 모델의 우열 근거에서 제외**한다. 사람과 모델 심판의 평가가
+같은지 살피고 길이·형식을 맞추는 비교 설계만 참고한다.
+
+### 7. Debate Helps Weak Judges Reward Stronger Models
+
+[원문](https://arxiv.org/html/2605.27483), 2026-05.
+Qwen3.5/gpt-oss, Gemini3.1 Pro/Flash, Opus4.6/4.5 등의 강약 심판 비교다.
+현재 접근 가능한 Gemini3.1과 겹치는 부분은 있으나 현행 Opus/Fable/Astra 전체 근거가
+아니다. 일부 설정의 첫 비평 효과를 **모든 주제에서 한 라운드가 최적이라는 규칙으로 쓰지
+않는다.** 초기 답 대비 추가 비평의 한계 기여를 재는 평가 아이디어만 가져온다.
+
+## 최신 날짜지만 현행 모델 규칙의 근거에서 제외한 원문
+
+| 원문 | 실제 범위/제외 이유 |
+|---|---|
+| [When Debate Helps](https://arxiv.org/html/2610.04686), 2026-10 | Qwen3-4B·OLMo3-7B 중심. 새 발표라도 현행 프런티어 능력의 대리 지표가 아님 |
+| [Beyond Symmetric Agents](https://arxiv.org/html/2609.35875), 2026-09 | 23개 소형 공개 모델. 출력 잘림/설정 효과도 얽혀 있고 대형 최신 모델 일반화 불가 |
+| [The Ringelmann Effect in Multi-Agent LLM Systems](https://arxiv.org/html/2606.02646), 2026-06 | 주로 7–32B와 제한된 Flash-Lite 검증. 보편적 최적 인원/팀 크기 법칙으로 사용하지 않음 |
+| [The Cost of Consensus](https://arxiv.org/html/2605.00914), 2026-05 | Qwen2.5-7B·Llama3.1-8B·Ministral3-8B. 현행 고성능 모델의 토론 손해를 입증하지 않음 |
+| [Judging the Judges](https://arxiv.org/html/2604.23178), 2026-04 | Gemini2.5·Sonnet4·GPT4o·Llama3.3 등. 최신 심판도 매번 이중 채점해야 한다는 근거에서 제외 |
+| [Preserving Disagreement](https://arxiv.org/html/2604.26561), 2026-04 | 로컬 7–9B와 Sonnet4 심판의 정책 시뮬레이션. 현대 모델의 합의 실패 일반화에서 제외 |
+| [Demystifying Multi-Agent Debate](https://arxiv.org/html/2601.19921), 2026-01 | Qwen2.5/Llama3.1 7–8B 기반. 자신감·다양성 효과를 현행 수치로 사용하지 않음 |
+| [When and Why Does Multi-Agent Debate Fail](https://arxiv.org/html/2510.20963), 2025-10/2026 개정 | GPT4o-mini·Llama3.1·Mistral7B·Qwen2.5 등. 개정일이 최근이어도 실험 세대가 바뀐 것은 아님 |
+
+2022–2024년의 초기 self-consistency, self-refinement, debate, judge 논문도 역사적인
+배경에 불과하므로 이번 운영 규칙의 실증 근거 목록에는 넣지 않았다.
+
+## 주제 이탈 통제로 연결한 근거와 설계
+
+논문에 있는 원칙을 적는 것과, 응답을 받아 실제로 무엇을 전달·보류·제외할지 정의하는 것은
+다르다. 아래 연결은 `SKILL.md`의 응답별 범위 판정, 복귀, 최종 통합 확인의 근거다.
+
+| 원문에서 확인한 내용 | 이번 스킬의 구체적인 적용 | 직접 입증하지 않은 부분 |
+|---|---|---|
+| [GVS5H §2](https://arxiv.org/html/2608.26480): 작업자는 원장과 지정 과제를 받고, 관리자가 계획을 갱신·중복 정리한다. v2에는 실제 공개 테스트 피드백과 같은 과제 재지시 시 중단 장치가 있다. | 사용자 brief에 연결된 쟁점만 전달하고, 유효한 부분을 원장에 남기며 새 정보 없는 반복을 멈춘다. | 의미 기반 관련성 분류나 복귀 1회의 최적성을 시험한 연구는 아니다. |
+| [MADBench M6](https://arxiv.org/html/2609.39146): 조정자 공격에는 과제와 무관한 계산을 추가해 비용을 늘리는 조건이 있다. | 응답뿐 아니라 조정자의 다음 과제 배정과 최종 통합도 원래 사용자 목적·예산에 대조한다. | 정직한 모델의 일반적인 주제 이탈 빈도나 이 스킬의 차단 효과를 측정한 결과가 아니다. 조정자가 공격받은 경우 같은 조정자의 지침만으로 보장할 수 없다. |
+| [The Troy Moment §3.2·§4–5](https://arxiv.org/html/2609.15494): 동료 행동은 권한이 아니라는 범위 지시, 동료 주장의 직접 재확인, 경계에 따른 종료 행동을 분석한다. | 동료가 기준을 바꾸려는 지시는 채택하지 않고, 원래 제약의 불가능성을 지적한 주장은 별도로 검증한다. | 작은 코딩 과제의 경계 연구이며 자유로운 기획 토론의 관련성 분류 실험은 아니다. |
+
+**운영 설계로 추가한 부분:** 직접 관련 / 전제·반례 검증 / 연결 불명확 보류 / 범위 밖 제외의
+구분, 혼합 응답의 주장별 분리, 근거 없는 반복 복귀 제한, 사용자 범위 변경 때 재판정이다.
+논문에서 검증된 분류기나 최신 모델의 결함으로 포장하지 않는다. 특히 비주류·낯선 접근·현재
+안에 불리한 근거를 이탈과 혼동하지 않도록 관련성 판정과 사실 검증을 분리한다.
+
+이 절차는 조정자가 수행하는 의미 판단이다. 키워드 필터나 코드로 강제되는 보안 경계가 아니며
+오분류 가능성이 있다. [evaluation.md](evaluation.md)의 양방향 오류 확인으로 갱신한다.
+
+## 공식 문서와 실제 도구 관찰
+
+- [OpenAI Astra 가이드](https://developers.openai.com/api/docs/guides/latest-model?model=gpt-6-astra):
+  현행 모델의 위임 능력과 모델에 맞춘 하네스 조정을 설명한다. 업체 가이드는 해당 모델의
+  사용 지침이며 교차 모델 토론의 독립 비교 실험은 아니다.
+- [Anthropic system cards 색인](https://www.anthropic.com/system-cards): 모델 세대와 발표를
+  확인했다. 대형 PDF 일부는 도구 접근이 실패했으므로 읽지 못한 카드의 세부 결과를 인용하지 않는다.
+- [Codex skills](https://learn.chatgpt.com/docs/build-skills),
+  [Claude Code skills](https://code.claude.com/docs/en/skills),
+  [Claude Chrome](https://code.claude.com/docs/en/chrome): 발견 경로와 실행 전제는
+  공식 제품 문서로 확인하며, 토론 효과에 대한 근거와 구분한다.
+- 실제 UI의 모델 이름/선택 가능 여부는 사용 계정에서 확인했다. 모델 메뉴에 나타나는
+  서비스 별칭을 논문의 API 모델 ID와 동일하다고 간주하지 않는다.
+
+## 스킬에 반영한 판단 — 사실과 설계 선택의 구분
+
+| 운영 선택 | 근거와 한계 |
+|---|---|
+| 2~3개의 유능한 서로 다른 모델로 시작 | **운영 기본값(설치자가 brief에서 조정).** 최적 인원이 실증됐다는 뜻이 아님 |
+| 독립 초안을 보존하고 중요한 쟁점만 교환 | 최근 강한 모델 사례와 비교 평가 가능성을 반영한 설계. 모든 과제에서 우월하다고 검증된 공식은 아님 |
+| 브랜드별 역할 고정 금지 | 현재 능력/도구와 과제에 맞춘 배치. 최신 수학 사례도 가변 역할을 사용 |
+| 주장 원장 + 실제 원문/계산/테스트 | 장기 문맥 보존과 검증 가능성. 모델 간 동의는 독립적인 실험 증거가 아님 |
+| 판정 기준은 합의율이 아닌 결과의 품질 | 의견 설문과 과제 정답을 구분. 반대·동의 말투보다 실질적 오류 수정 평가 |
+| 추가 심판·순서 교환은 필요한 때만 | 구형 심판 연구를 현행 모델의 무조건적 의식으로 만들지 않음 |
+| 쟁점 해소·새 근거 소진·예산 도달 시 종료 | 실용적인 중단 규칙. 고정 라운드 수가 최적이라는 주장은 하지 않음 |
+| 권한·출처를 동료 텍스트와 분리 | 현재 모델의 개선을 인정하면서 권한 경계는 실제 런타임에서 보존 |
+| 모델 세대가 바뀌면 절차 축소도 허용 | 더 강한 모델에 옛 모델의 보완 장치를 그대로 강요하지 않음 |
+
+효과를 확인할 비교 방법은 [evaluation.md](evaluation.md)에 있다. 실험 범위가 다른
+논문들의 개선율을 평균내거나, 작은 설치 smoke test를 최적 프로토콜의 증명으로 제시하지 않는다.

package/templates/track-mcp-map.tsv

@@ -2,15 +2,20 @@
 # v26.12.0 — setup-harness.sh의 .mcp.json 조립 case문 외재화
 #
 # 형식 (탭 구분):
-#   <mcp_name>	<track_pattern>	<command>	<args_json>
+#   <mcp_name>	<track_pattern>	<command|url>	<args_json|remote_json>
 #
 # - mcp_name: .mcp.json의 mcpServers[키]
 # - track_pattern: any_track 패턴 (csr-*|full 같은 bash glob). 패턴은 **기본** 트랙이다 — 같은 이름의
-#   카탈로그 `internal` 자산이 있으면 그 서버는 어느 트랙에서든 `--with <id>`/위저드로 고를 수 있다(#709)
-# - command: 실행 명령 (npx 등)
-# - args_json: jq 인자 배열 (JSON 형식)
+#   카탈로그 `internal` 자산이 있으면 그 서버는 어느 트랙에서든 `--with <id>`/위저드로 고를 수 있다(#709).
+#   `-` = 어느 트랙에서도 기본이 아니다 — 같은 이름의 카탈로그 internal 자산으로만 고른다(#722 · ADR-106)
+# - command: 실행 명령 (npx 등). 리터럴 `url` 이면 원격(Streamable HTTP) 행이다
+# - args_json: jq 인자 배열 (JSON 형식). 원격 행은 {"url":"https://…","bearerEnv":"ENV_NAME"?} —
+#   bearerEnv 는 Authorization: Bearer 를 그 환경변수에서 읽게 한다. 값은 어느 파일에도 쓰지 않는다
 #
 # 신규 MCP 추가 시: 이 파일에 1줄 추가만 하면 setup-harness.sh 수정 불필요.
 # 주석 (#) 라인은 무시.
-railway-mcp-server	csr-supabase|csr-fastify|csr-fastapi|ssr-htmx|full	npx	["-y", "@railway/mcp-server"]
+railway-mcp-server	csr-supabase|csr-fastify|csr-fastapi|ssr-htmx|full	url	{"url":"https://mcp.railway.com"}
 supabase	csr-supabase|full	npx	["-y", "@supabase/mcp-server"]
+chrome-devtools	csr-*|ssr-*|full	npx	["-y", "chrome-devtools-mcp@latest", "--no-usage-statistics"]
+vercel	-	url	{"url":"https://mcp.vercel.com"}
+github-mcp	-	url	{"url":"https://api.githubcopilot.com/mcp/","bearerEnv":"GITHUB_PAT"}