structverify 0.3.0__py3-none-any.whl

structverify/detection/prompts_loader.py

@@ -0,0 +1,167 @@
+"""detection/prompts_loader.py — domain-pack YAML 로드·few-shot 헬퍼.
+
+domain_classifier.py의 _load_domain_pack()에서 분리 (로직 move-only).
+
+[김예슬 - 2026-04-22] domain-packs/{domain}/prompts.yaml
+TODO [김예슬]: claim_detector/candidate_scorer few-shot 주입은 #13 이후 연결
+"""
+from __future__ import annotations
+
+import os
+from typing import Any
+
+import yaml
+
+from structverify.detection._config import domain_packs_dir as _domain_packs_dir
+from structverify.utils.logger import get_logger
+
+logger = get_logger(__name__)
+
+
+def domain_packs_dir(config: dict | None) -> str:
+    """config에서 domain-packs 루트 경로 (detection._config 위임)."""
+    return _domain_packs_dir(config)
+
+
+def prompts_yaml_path(domain: str, config: dict | None) -> str:
+    """domain-packs/{domain}/prompts.yaml 절대/상대 경로."""
+    return os.path.join(domain_packs_dir(config), domain, "prompts.yaml")
+
+
+def load_domain_pack(domain: str, config: dict | None = None) -> dict[str, Any] | None:
+    """
+    domain-packs/{domain}/prompts.yaml 로드.
+    없으면 None 반환 (에러 아님).
+    """
+    yaml_path = prompts_yaml_path(domain, config)
+
+    if not os.path.exists(yaml_path):
+        logger.debug(f"Domain Pack 없음: {yaml_path}")
+        return None
+
+    try:
+        with open(yaml_path, encoding="utf-8") as f:
+            pack = yaml.safe_load(f)
+        logger.info(f"Domain Pack 로드: {yaml_path}")
+        if isinstance(pack, dict):
+            return pack
+        return None
+    except Exception as e:
+        logger.warning(f"Domain Pack 로드 실패: {yaml_path} — {e}")
+        return None
+
+
+def load_domain_prompts(domain: str, config: dict | None = None) -> dict[str, Any] | None:
+    """load_domain_pack 별칭 — claim_detector TODO 명칭과 동일."""
+    return load_domain_pack(domain, config)
+
+
+def few_shot_examples_from_pack(
+    pack: dict[str, Any] | None,
+    *,
+    section: str = "few_shot_examples",
+) -> list[Any]:
+    """
+    pack dict에서 few-shot 예시 리스트 추출.
+
+    section 키가 없으면 빈 리스트 (동작 변경 없이 주입 전 단계용).
+    """
+    if not pack:
+        return []
+    raw = pack.get(section)
+    if isinstance(raw, list):
+        return raw
+    return []
+
+
+def format_few_shot_block(examples: list[Any]) -> str:
+    """
+    few-shot 예시를 프롬프트에 붙일 블록 문자열로 변환.
+
+    examples 원소: str 또는 {"input": ..., "output": ...} dict.
+    """
+    if not examples:
+        return ""
+    lines: list[str] = ["", "[도메인 few-shot 예시]"]
+    for i, ex in enumerate(examples, 1):
+        if isinstance(ex, str):
+            lines.append(f"  {i}. {ex}")
+        elif isinstance(ex, dict):
+            inp = ex.get("input") or ex.get("sentence") or ""
+            out = ex.get("output") or ex.get("label") or ""
+            lines.append(f"  {i}. input={inp!r} → {out!r}")
+        else:
+            lines.append(f"  {i}. {ex!r}")
+    return "\n".join(lines)
+
+
+def inject_few_shot(
+    base_prompt: str,
+    pack: dict[str, Any] | None,
+    *,
+    section: str = "few_shot_examples",
+) -> str:
+    """base_prompt 뒤에 pack의 few-shot 블록을 붙인다. pack 없으면 원문 그대로."""
+    block = format_few_shot_block(few_shot_examples_from_pack(pack, section=section))
+    if not block:
+        return base_prompt
+    return base_prompt.rstrip() + block + "\n"
+
+
+def resolve_prompt_for_step(
+    base_prompt: str,
+    domain: str | None,
+    config: dict | None,
+    *,
+    step: str,
+) -> str:
+    """
+    domain-pack에서 step별 few-shot을 찾아 base_prompt에 붙인다.
+
+    키 우선순위: {step}_few_shot → {step}_examples → {step} → few_shot_examples
+    pack/예시 없으면 base_prompt 그대로 (기존 동작 유지).
+    """
+    if not domain:
+        return base_prompt
+    pack = load_domain_pack(domain, config)
+    if not pack:
+        return base_prompt
+    for section in (f"{step}_few_shot", f"{step}_examples", step, "few_shot_examples"):
+        if few_shot_examples_from_pack(pack, section=section):
+            return inject_few_shot(base_prompt, pack, section=section)
+    return base_prompt
+
+
+def resolve_step_prompt(
+    default_template: str,
+    fmt_kwargs: dict[str, Any],
+    domain: str | None,
+    config: dict | None,
+    *,
+    step: str,
+) -> str:
+    """step별 프롬프트 해석 — 도메인팩이 `{step}_prompt`로 *기본 정의 자체를 교체* 가능.
+
+    few-shot append(resolve_prompt_for_step)로는 base 프롬프트의 강한 기준을 못 이기는
+    경우(예: 컴플라이언스 check-worthiness)를 위해, 도메인팩이 base 프롬프트를 통째로
+    바꿀 수 있게 한다. 교체 없으면 default_template. 이후 few-shot 예시를 append.
+
+    default_template / 교체 template 은 fmt_kwargs로 .format() 된다 (예: {sentence}).
+    """
+    tmpl = default_template
+    # 1) config.advanced.prompt_overrides.{step} — 배포 전역(도메인 무관). 컴플라이언스 배포용.
+    _ov = ((config or {}).get("advanced", {}) or {}).get("prompt_overrides", {}) or {}
+    if _ov.get("enabled") and isinstance(_ov.get(step), str) and _ov[step].strip():
+        tmpl = _ov[step]
+        logger.info(f"[prompts] step={step} config override 프롬프트 적용")
+    # 2) 도메인팩 {step}_prompt — 도메인별. config override 없을 때만.
+    pack = load_domain_pack(domain, config) if domain else None
+    if tmpl is default_template and pack and isinstance(pack.get(f"{step}_prompt"), str):
+        tmpl = pack[f"{step}_prompt"]
+        logger.info(f"[prompts] step={step} 도메인({domain}) 프롬프트 교체 적용")
+    base = tmpl.format(**fmt_kwargs)
+    if pack:
+        for section in (f"{step}_few_shot", f"{step}_examples", step, "few_shot_examples"):
+            if few_shot_examples_from_pack(pack, section=section):
+                return inject_few_shot(base, pack, section=section)
+    return base

structverify/detection/schema/__init__.py

@@ -0,0 +1 @@
+"""detection/schema — Step 5 schema induction 로직 (LLM·검증·후처리)."""

structverify/detection/schema/expand.py

@@ -0,0 +1,83 @@
+"""detection/schema/expand.py — induce_schemas 후처리 (dedup + claim 복제).
+
+schema_inductor.py에서 분리 (로직 move-only, 동작 변경 없음).
+
+[v6.13] 한 claim → 여러 ClaimSchema 시 claim 복제
+[v6.17] value=null 중복 schema 제거
+[2026-05-21] seen_keys dedup — agent loop 회귀 차단
+"""
+from __future__ import annotations
+
+from uuid import uuid4
+
+from structverify.core.schemas import Claim, ClaimSchema
+from structverify.utils.logger import get_logger
+
+logger = get_logger(__name__)
+
+
+def _dedup_null_schemas(schemas: list[ClaimSchema]) -> list[ClaimSchema]:
+    # [v6.17] value=null 중복 schema 제거
+    #   LLM이 value를 못 채우고 indicator만 같은 빈 schema를 N개 만드는
+    #   경우만 정리. 단, population까지 같아야 진짜 중복으로 간주.
+    #   ★ "동작구 10.6%, 성동구 8.9%"처럼 지역만 다른 정상 다중 수치는
+    #     population이 다르므로 합쳐지지 않음 (이전엔 다 뭉개지던 버그).
+    # [2026-05-21] seen_keys로 통합 — 같은 (indicator, time, population) 키에
+    #   *value 있는* schema가 이미 존재하면 *value=null* 후속 schema는 폐기.
+    #   효과: LLM이 base claim에 "합계출산율 0.79명" 정상 schema +
+    #   "합계출산율 null" 빈 schema를 *함께* 출력하던 케이스에서, 빈 schema가
+    #   별도 sub-claim으로 살아남아 agent loop이 4 iter 돌다가
+    #   "주장값=None명 vs KOSIS 0.8명" 으로 끝나던 회귀를 차단.
+    deduped: list[ClaimSchema] = []
+    seen_keys: set[tuple] = set()
+    for sch in schemas:
+        key = (
+            sch.indicator or "",
+            sch.time_period or "",
+            sch.population or "",   # ★ population 추가 — 지역별 구분
+        )
+        if sch.value is None and key in seen_keys:
+            logger.info(
+                f"  [중복 제거] value=null schema 폐기 — 같은 키의 "
+                f"value 있는 schema가 이미 존재 "
+                f"(indicator={sch.indicator}, time={sch.time_period}, "
+                f"population={sch.population})"
+            )
+            continue
+        seen_keys.add(key)
+        deduped.append(sch)
+    return deduped
+
+
+def _expand_claims_from_schemas(
+    claim: Claim,
+    schemas: list[ClaimSchema],
+) -> list[Claim]:
+    """첫 schema는 원래 claim에 부착, 나머지는 claim 복제 후 부착."""
+    if not schemas:
+        return []
+
+    # 첫 schema는 원래 claim에 부착
+    claim.schema = schemas[0]
+    expanded: list[Claim] = [claim]
+    logger.info(
+        f"스키마 유도: {claim.sent_id} [1/{len(schemas)}] "
+        f"indicator={schemas[0].indicator}, value={schemas[0].value}, "
+        f"unit={schemas[0].unit}, time_period={schemas[0].time_period}, "
+        f"parent_path={schemas[0].parent_path}"
+    )
+
+    # 추가 schema들은 claim 복제 후 부착 (claim_id 새로 발급)
+    for i, sch in enumerate(schemas[1:], start=2):
+        cloned = claim.model_copy(update={
+            "claim_id": uuid4(),
+            "schema": sch,
+        })
+        expanded.append(cloned)
+        logger.info(
+            f"스키마 유도: {claim.sent_id} [{i}/{len(schemas)}] (복제) "
+            f"indicator={sch.indicator}, value={sch.value}, "
+            f"unit={sch.unit}, time_period={sch.time_period}, "
+            f"parent_path={sch.parent_path}"
+        )
+    return expanded