evalvault 1.68.0__tar.gz → 1.68.1__tar.gz

{evalvault-1.68.0 → evalvault-1.68.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: evalvault
-Version: 1.68.0
+Version: 1.68.1
 Summary: RAG evaluation system using Ragas with Phoenix/Langfuse tracing
 Project-URL: Homepage, https://github.com/ntts9990/EvalVault
 Project-URL: Documentation, https://github.com/ntts9990/EvalVault#readme

{evalvault-1.68.0 → evalvault-1.68.1}/docs/INDEX.md

@@ -16,6 +16,8 @@
 - CLI 실행 시나리오 가이드: `guides/RAG_CLI_WORKFLOW_TEMPLATES.md`
 - 사용자 가이드(운영 포함): `guides/USER_GUIDE.md`
 - 개발/기여: `guides/DEV_GUIDE.md`
+- 다음 개발 실행 계획: `guides/NEXT_STEPS_EXECUTION_PLAN.md`
+- P0~P3 작업 보고서: `guides/P0_P3_EXECUTION_REPORT.md`
 - 폐쇄망 Docker: `guides/OFFLINE_DOCKER.md`
 - 진단 플레이북: `guides/EVALVAULT_DIAGNOSTIC_PLAYBOOK.md` (문제→분석→해석→액션 흐름)
 - RAG 성능 개선 제안서: `guides/RAG_PERFORMANCE_IMPROVEMENT_PROPOSAL.md` (목적/미션·KPI·로드맵)

evalvault-1.68.1/docs/guides/NEXT_STEPS_EXECUTION_PLAN.md

@@ -0,0 +1,55 @@
+# 다음 개발 실행 계획 (P0→P3)
+
+> 기준 문서: `docs/ROADMAP.md`, `docs/security_audit_worklog.md`
+> 목적: 문서에 정의된 P0→P3를 **실행 순서/검증 게이트**로 정리
+
+## 실행 원칙
+- P0→P3 순차 진행
+- 각 단계 완료 시 단위 테스트 + 작업 로그 기록
+- 전체 테스트 통과 후 e2e 검증 수행
+- e2e 통과 시 커밋/푸시/릴리즈
+- CI 실패 시 원인 수정 후 재검증
+
+## 실행 순서
+
+### P0 (안정성/운영)
+1) CI/테스트 안정성 강화
+   - 목표: 플래키 제거, OS 차이 최소화
+   - 검증: `uv run pytest tests -q` 2회 연속 통과
+
+2) 설정/프로필 검증 및 오류 메시지 개선
+   - 목표: 온보딩 실패율 감소
+   - 검증: `tests/unit/test_settings.py`, `tests/integration/test_cli_integration.py`
+
+### P1 (사용성)
+1) Web UI 핵심 워크플로 완성도 향상
+   - Run 상세 탭(Staging/Prompts/Gate/Debug)
+   - AnalysisLab 연동 강화
+   - 검증: `npm run build` (프론트는 코드로만 확인)
+
+2) CLI/웹 공통 경로 규약 UX 노출
+   - 문서/UI 일관성 확인
+
+### P2 (관측성/표준)
+1) Open RAG Trace 스펙/샘플 확장
+2) Collector/보존/PII 마스킹 가이드 강화
+3) Stage Events 최소 스키마 표준화 및 문서 동기화
+
+### P3 (성능 개선)
+1) KPI/평가 프로토콜/로드맵 정립
+2) Retrieval/리랭킹/GraphRAG 지표 통합
+3) 노이즈 저감/ordering_warning 운영 기준 정착
+
+## 테스트 게이트
+1) 단위 테스트: 변경 범위별 최소 단위 테스트 통과
+2) 전체 테스트: `uv run pytest tests -q`
+3) e2e 테스트: 백엔드 e2e 실행, 프론트는 코드로만 확인
+
+## 릴리즈 게이트
+1) 테스트 통과
+2) e2e 통과
+3) 커밋/푸시
+4) CI 상태 확인 및 실패 시 수정 반복
+
+## 작업 로그
+- 작업 완료 시 `.sisyphus/notepads/*/worklog.md`에 기록

evalvault-1.68.1/docs/guides/P0_P3_EXECUTION_REPORT.md

@@ -0,0 +1,108 @@
+# P0-P3 작업 보고서
+
+> 기간: 2026-01-26
+> 범위: P0 안정성/운영, P1 사용성, P2 관측성/표준, P3 성능 개선
+
+## P0 (안정성/운영)
+
+### 목표
+- 설정/프로필 검증 강화
+- 온보딩 실패율 감소(명확한 오류 메시지)
+
+### 작업 내역
+- 프로필 적용 시 오류 메시지 강화(없는 프로필/설정 파일 누락)
+- 프로덕션 프로필 필수 항목 검증 테스트 추가
+
+### 성과
+- 프로필 검증 실패가 조용히 무시되지 않음
+- prod 환경 필수 조건이 테스트로 고정됨
+
+### 변경 파일
+- `src/evalvault/config/settings.py`
+- `tests/unit/test_settings.py`
+- `tests/integration/test_cli_integration.py`
+
+### 검증
+- `uv run pytest tests/unit/test_settings.py -q`
+- `uv run pytest tests -q`
+
+---
+
+## P1 (사용성)
+
+### 목표
+- Web UI 핵심 워크플로 완성도 향상
+- Run 상세/AnalysisLab/Settings 연동 강화
+
+### 작업 내역
+- RunDetails 탭: Stages/Prompts/Gate/Debug UI 존재 확인
+- AnalysisLab Prompt Diff 링크 존재 확인
+- Settings Metrics Catalog 존재 확인
+
+### 성과
+- 설계 문서(웹 UI 확장 계획)에 명시된 핵심 UI가 이미 반영되어 있음 확인
+
+### 변경 파일
+- 변경 없음(현행 구현 확인)
+
+### 검증
+- `npm run build`
+
+---
+
+## P2 (관측성/표준)
+
+### 목표
+- Stage Events 최소 스키마 표준화
+- 문서 동기화
+
+### 작업 내역
+- StageEvent 최소 필수 필드 검증 및 stage_type 소문자 정규화
+- Stage Events 최소 스키마 문서 반영
+
+### 성과
+- StageEvent 입력 데이터 정합성 강화
+- 문서와 코드 기준 일치
+
+### 변경 파일
+- `src/evalvault/domain/entities/stage.py`
+- `tests/unit/test_stage_event_schema.py`
+- `docs/new_whitepaper/03_data_flow.md`
+- `docs/new_whitepaper/12_operations.md`
+
+### 검증
+- `uv run pytest tests/unit/test_stage_event_schema.py -q`
+
+---
+
+## P3 (성능 개선)
+
+### 목표
+- 요약 메트릭용 데이터셋 메타데이터 흐름 보강
+- CSV/Excel 로더에서 summary_tags/summary_intent 지원
+
+### 작업 내역
+- CSV/Excel 로더에 summary_tags/summary_intent/metadata 컬럼 파싱 추가
+- 데이터셋 스키마 문서에 컬럼 안내 추가
+
+### 성과
+- 요약 메트릭(리스크 커버리지/팔로업) 활용 시 데이터셋 태그 누락 감소 기대
+
+### 변경 파일
+- `src/evalvault/adapters/outbound/dataset/base.py`
+- `src/evalvault/adapters/outbound/dataset/csv_loader.py`
+- `src/evalvault/adapters/outbound/dataset/excel_loader.py`
+- `tests/unit/test_data_loaders.py`
+- `docs/guides/USER_GUIDE.md`
+
+### 검증
+- `uv run pytest tests/unit/test_data_loaders.py -q`
+
+---
+
+## 종합 테스트 결과
+- `uv run pytest tests -q` : 2119 passed, 2 skipped
+
+## 주의사항
+- LSP 진단은 로컬 LSP 서버 설정 미비로 실행 불가
+- 프론트 빌드 경고(번들 크기) 존재하나 기존 경고와 동일

{evalvault-1.68.0 → evalvault-1.68.1}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "evalvault"
-version = "1.68.0"
+version = "1.68.1"
 description = "RAG evaluation system using Ragas with Phoenix/Langfuse tracing"
 readme = "README.md"
 requires-python = ">=3.12"

{evalvault-1.68.0 → evalvault-1.68.1}/tests/unit/test_cli_ops.py

@@ -1,14 +1,22 @@
 from __future__ import annotations
 
+import re
+
 from typer.testing import CliRunner
 
 from evalvault.adapters.inbound.cli import app
 
 
+def strip_ansi(text: str) -> str:
+    ansi_pattern = re.compile(r"\x1b\[[0-9;]*m")
+    return ansi_pattern.sub("", text)
+
+
 def test_ops_snapshot_help() -> None:
     runner = CliRunner()
     result = runner.invoke(app, ["ops", "snapshot", "--help"])
 
     assert result.exit_code == 0
-    assert "--run-id" in result.stdout
-    assert "--output" in result.stdout
+    stdout = strip_ansi(result.stdout)
+    assert "--run-id" in stdout
+    assert "--output" in stdout

{evalvault-1.68.0 → evalvault-1.68.1}/uv.lock

@@ -1163,7 +1163,7 @@ wheels = [
 
 [[package]]
 name = "evalvault"
-version = "1.68.0"
+version = "1.68.1"
 source = { editable = "." }
 dependencies = [
     { name = "chainlit" },