evalvault 1.58.0__tar.gz → 1.59.0__tar.gz

{evalvault-1.58.0 → evalvault-1.59.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: evalvault
-Version: 1.58.0
+Version: 1.59.0
 Summary: RAG evaluation system using Ragas with Phoenix/Langfuse tracing
 Project-URL: Homepage, https://github.com/ntts9990/EvalVault
 Project-URL: Documentation, https://github.com/ntts9990/EvalVault#readme
@@ -30,6 +30,7 @@ Requires-Dist: fastapi>=0.128.0
 Requires-Dist: instructor
 Requires-Dist: langchain-openai
 Requires-Dist: langfuse
+Requires-Dist: matplotlib<3.9.0,>=3.8.0
 Requires-Dist: networkx
 Requires-Dist: openai
 Requires-Dist: openpyxl
@@ -37,20 +38,22 @@ Requires-Dist: pandas
 Requires-Dist: pydantic
 Requires-Dist: pydantic-settings
 Requires-Dist: python-multipart
-Requires-Dist: ragas
+Requires-Dist: ragas==0.4.2
 Requires-Dist: rich
 Requires-Dist: truststore>=0.10.4
 Requires-Dist: typer
 Requires-Dist: uvicorn>=0.40.0
 Requires-Dist: xlrd
 Provides-Extra: analysis
-Requires-Dist: scikit-learn>=1.8.0; extra == 'analysis'
+Requires-Dist: scikit-learn>=1.3.0; extra == 'analysis'
 Provides-Extra: anthropic
 Requires-Dist: anthropic; extra == 'anthropic'
 Requires-Dist: langchain-anthropic; extra == 'anthropic'
 Provides-Extra: benchmark
 Requires-Dist: datasets>=2.0.0; extra == 'benchmark'
 Requires-Dist: lm-eval[api]>=0.4.0; extra == 'benchmark'
+Provides-Extra: dashboard
+Requires-Dist: matplotlib<3.9.0,>=3.8.0; extra == 'dashboard'
 Provides-Extra: dev
 Requires-Dist: anthropic; extra == 'dev'
 Requires-Dist: arize-phoenix>=8.0.0; extra == 'dev'
@@ -81,7 +84,7 @@ Requires-Dist: pytest-xdist; extra == 'dev'
 Requires-Dist: python-multipart; extra == 'dev'
 Requires-Dist: rank-bm25>=0.2.2; extra == 'dev'
 Requires-Dist: ruff; extra == 'dev'
-Requires-Dist: scikit-learn>=1.8.0; extra == 'dev'
+Requires-Dist: scikit-learn<1.4.0,>=1.3.0; extra == 'dev'
 Requires-Dist: sentence-transformers>=5.2.0; extra == 'dev'
 Provides-Extra: docs
 Requires-Dist: mkdocs-material>=9.5.0; extra == 'docs'
@@ -105,6 +108,9 @@ Requires-Dist: opentelemetry-exporter-otlp>=1.20.0; extra == 'phoenix'
 Requires-Dist: opentelemetry-sdk>=1.20.0; extra == 'phoenix'
 Provides-Extra: postgres
 Requires-Dist: psycopg[binary]>=3.0.0; extra == 'postgres'
+Provides-Extra: timeseries
+Requires-Dist: aeon>=1.3.0; extra == 'timeseries'
+Requires-Dist: numba>=0.55.0; extra == 'timeseries'
 Provides-Extra: web
 Description-Content-Type: text/markdown
 

evalvault-1.59.0/data/datasets/insurance_qa_korean.json

@@ -0,0 +1,61 @@
+{
+  "name": "insurance-qa-korean",
+  "version": "1.0.0",
+  "thresholds": {
+    "faithfulness": 0.7,
+    "answer_relevancy": 0.7
+  },
+  "test_cases": [
+    {
+      "id": "kr-001",
+      "question": "이 보험의 사망보험금은 얼마인가요?",
+      "answer": "해당 보험의 사망보험금은 1억원입니다.",
+      "contexts": [
+        "본 보험계약의 사망보험금은 1억원이며, 피보험자가 보험기간 중 사망한 경우 지급됩니다.",
+        "보험금 청구 시 사망진단서와 수익자 신분증이 필요합니다."
+      ],
+      "ground_truth": "1억원"
+    },
+    {
+      "id": "kr-002",
+      "question": "보험료 납입 기간은 어떻게 되나요?",
+      "answer": "보험료 납입 기간은 20년입니다.",
+      "contexts": [
+        "보험료 납입기간은 20년이며, 월납 기준 보험료는 50,000원입니다.",
+        "납입 기간 중 보험료 납입이 어려운 경우 납입유예 신청이 가능합니다."
+      ],
+      "ground_truth": "20년"
+    },
+    {
+      "id": "kr-003",
+      "question": "암 진단비는 얼마를 받을 수 있나요?",
+      "answer": "암 진단 시 3,000만원의 진단비를 받으실 수 있습니다.",
+      "contexts": [
+        "암 진단비는 일반암 기준 3,000만원이 지급됩니다.",
+        "다만, 갑상선암, 기타피부암 등 소액암의 경우 300만원이 지급됩니다.",
+        "암 진단비는 최초 1회에 한하여 지급됩니다."
+      ],
+      "ground_truth": "3,000만원"
+    },
+    {
+      "id": "kr-004",
+      "question": "보험 해지 시 환급금은 얼마인가요?",
+      "answer": "5년 납입 후 해지 시 납입보험료의 약 70%가 환급됩니다.",
+      "contexts": [
+        "해지환급금은 납입기간에 따라 다르며, 5년 납입 시 약 70%, 10년 납입 시 약 85%가 환급됩니다.",
+        "조기 해지 시 원금 손실이 발생할 수 있습니다."
+      ],
+      "ground_truth": "납입보험료의 약 70%"
+    },
+    {
+      "id": "kr-005",
+      "question": "입원비 보장은 어떻게 되나요?",
+      "answer": "질병 입원 시 1일당 5만원의 입원비가 지급됩니다.",
+      "contexts": [
+        "질병으로 인한 입원 시 1일당 5만원(최대 180일)이 지급됩니다.",
+        "상해로 인한 입원은 별도의 상해입원비 특약 가입이 필요합니다."
+      ],
+      "ground_truth": "1일당 5만원"
+    }
+  ]
+}

evalvault-1.59.0/docs/web_ui_analysis_migration_plan.md

@@ -0,0 +1,91 @@
+# Web UI 분석 기능 이관 계획 (SPSS/SAS 스타일)
+
+## 1. 목적
+CLI(`evalvault analyze`, `analyze-compare`)의 분석 기능을 Web UI로 이관하여, SPSS/SAS와 같은 **메뉴 기반 기능 선택 + 파라미터 입력** 흐름을 제공한다.
+
+## 2. 범위 (CLI 기능 기준)
+- 기초 통계 분석
+- NLP 분석
+- 인과 분석
+- 플레이북 기반 개선 인사이트
+- 시계열 이상 탐지 및 예측
+- 메트릭 상관 네트워크 분석
+- 가설 자동 생성
+- 비교 분석 (t-test / mann-whitney)
+
+## 3. UI 구조 설계 (메뉴 구조)
+### 3.1 메뉴 트리
+- **기초 통계**
+  - 통계 요약
+  - 상관관계 분석
+- **시계열 분석**
+  - 이상 탐지
+  - 성능 예측
+- **구조/원인 분석**
+  - 인과 분석
+  - 메트릭 네트워크
+- **지능형 인사이트**
+  - 가설 생성
+  - 플레이북 분석
+- **비교 분석**
+  - Run A/B 비교
+  - 테스트 타입 선택
+
+### 3.2 사용자 흐름
+1) 메뉴 선택
+2) 파라미터 입력/선택
+3) 실행
+4) 결과 표시 및 리포트 다운로드
+
+## 4. CLI 옵션 → UI 컨트롤 매핑
+| CLI 옵션 | UI 컨트롤 | 비고 |
+| --- | --- | --- |
+| `--nlp` | Switch | NLP 분석 활성화 |
+| `--causal` | Switch | 인과 분석 활성화 |
+| `--dashboard` | Switch | 시각화 대시보드 생성 |
+| `--anomaly-detect` | Switch | 이상 탐지 |
+| `--window-size` | Number Input | 50~500 |
+| `--forecast` | Switch | 성능 예측 |
+| `--forecast-horizon` | Number Input | 1~10 |
+| `--network` | Switch | 네트워크 분석 |
+| `--min-correlation` | Slider | 0.0~1.0 |
+| `--generate-hypothesis` | Switch | 가설 생성 |
+| `--hypothesis-method` | Select | heuristic/hyporefine/union |
+| `--num-hypotheses` | Number Input | 1~20 |
+| `--test` | Radio | t-test / mann-whitney |
+
+## 5. 데이터 흐름 (가정 포함)
+- UI → API → AnalysisService/Pipeline → 결과 반환
+- 일부 기능은 CLI 전용 흐름일 수 있어 API 라우팅 또는 인텐트 매핑 추가가 필요할 수 있음.
+
+## 6. 단계별 이행 계획
+### Phase 0: 타입 오류 정리
+- `hypothesis_generator_module.py`의 Optional 값 처리 보강
+- `pipeline.py`의 `db_path` None 가드 추가
+
+### Phase 1: 메뉴/파라미터 패널 기반 UI 구축
+- 메뉴/서브메뉴 구조 고정
+- 선택한 기능에 따라 파라미터 폼 동적 렌더링
+
+### Phase 2: 기초 통계 + 시계열 기능 이관
+- 기초 통계, 상관 분석
+- 이상 탐지, 예측
+
+### Phase 3: 네트워크/가설/플레이북 이관
+- 메트릭 네트워크
+- 가설 생성
+- 플레이북 분석
+
+### Phase 4: 비교 분석 및 리포트 기능 고도화
+- Run A/B 비교 UI
+- 결과 리포트 다운로드
+
+## 7. 리스크 및 확인 사항
+- `--extra analysis/timeseries/dashboard` 설치 여부에 따라 기능 사용 가능 여부 표시 필요
+- 장시간 분석 시 진행 상태 표시 필요 (SSE 또는 폴링)
+- 일부 기능은 백엔드 API 추가 필요 가능성
+
+## 8. 확인 필요 사항 (Open Questions)
+- Web UI 분석 요청 시 API 호출 방식 (기존 `pipeline` 재사용 vs 신규 API)
+- 결과 시각화 방식 (이미지 다운로드 vs UI 차트 렌더링)
+- 분석 실행 이력 저장/조회 범위