ytcollector 1.0.8__py3-none-any.whl → 1.1.1__py3-none-any.whl

ytcollector/verifier.py

@@ -1,187 +0,0 @@
-"""
-YOLO-World Verifier Module
-YOLO-World 기반 객체 탐지 및 클래스 검증
-"""
-import json
-from pathlib import Path
-from typing import List, Dict, Optional
-import logging
-from datetime import datetime
-
-import cv2
-from tqdm import tqdm
-
-# Updated imports for new package structure
-from .config import (
-    YOLO_MODEL,
-    CONFIDENCE_THRESHOLD,
-    FRAME_SAMPLE_RATE,
-    TASK_CLASSES,
-)
-from .utils import get_report_path
-
-logger = logging.getLogger(__name__)
-
-
-class YOLOWorldVerifier:
-    """YOLO-World 기반 영상 검증 클래스"""
-    
-    def __init__(self, task_type: str, base_dir: Path = None, model_name: str = YOLO_MODEL):
-        self.task_type = task_type
-        self.base_dir = base_dir or Path.cwd()
-        self.model_name = model_name
-        self.model = None
-        self.classes = TASK_CLASSES.get(task_type, [])
-        
-        if not self.classes:
-            raise ValueError(f"Unknown task type: {task_type}")
-    
-    def load_model(self):
-        """YOLO-World 모델 로드"""
-        if self.model is None:
-            from ultralytics import YOLOWorld
-            
-            logger.info(f"Loading YOLO-World model: {self.model_name}")
-            self.model = YOLOWorld(self.model_name)
-            
-            logger.info(f"Setting classes for {self.task_type}: {self.classes}")
-            self.model.set_classes(self.classes)
-        
-        return self.model
-    
-    def verify_frame(self, frame) -> List[Dict]:
-        """단일 프레임에서 객체 탐지"""
-        model = self.load_model()
-        results = model.predict(frame, conf=CONFIDENCE_THRESHOLD, verbose=False)
-        
-        detections = []
-        for result in results:
-            boxes = result.boxes
-            for box in boxes:
-                detection = {
-                    'class_id': int(box.cls[0]),
-                    'class_name': self.classes[int(box.cls[0])] if int(box.cls[0]) < len(self.classes) else 'unknown',
-                    'confidence': float(box.conf[0]),
-                    'bbox': box.xyxy[0].tolist(),
-                }
-                detections.append(detection)
-        
-        return detections
-    
-    def verify_video(
-        self, 
-        video_path: Path,
-        sample_rate: int = FRAME_SAMPLE_RATE
-    ) -> Dict:
-        """영상 전체 검증"""
-        logger.info(f"Verifying video: {video_path}")
-        
-        cap = cv2.VideoCapture(str(video_path))
-        
-        if not cap.isOpened():
-            raise ValueError(f"Cannot open video: {video_path}")
-        
-        fps = cap.get(cv2.CAP_PROP_FPS)
-        total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
-        duration = total_frames / fps if fps > 0 else 0
-        
-        frame_results = []
-        detection_count = 0
-        frames_with_detection = 0
-        frame_idx = 0
-        
-        pbar = tqdm(total=total_frames // sample_rate, desc="Verifying")
-        
-        while True:
-            ret, frame = cap.read()
-            if not ret:
-                break
-            
-            if frame_idx % sample_rate == 0:
-                detections = self.verify_frame(frame)
-                
-                if detections:
-                    frames_with_detection += 1
-                    detection_count += len(detections)
-                    
-                    frame_results.append({
-                        'frame_idx': frame_idx,
-                        'timestamp_sec': frame_idx / fps if fps > 0 else 0,
-                        'detections': detections,
-                    })
-                
-                pbar.update(1)
-            
-            frame_idx += 1
-        
-        cap.release()
-        pbar.close()
-        
-        sampled_frames = max(1, total_frames // sample_rate)
-        detection_rate = frames_with_detection / sampled_frames
-        
-        result = {
-            'video_path': str(video_path),
-            'task_type': self.task_type,
-            'classes': self.classes,
-            'summary': {
-                'total_frames': total_frames,
-                'sampled_frames': sampled_frames,
-                'fps': fps,
-                'duration_sec': duration,
-                'frames_with_detection': frames_with_detection,
-                'total_detections': detection_count,
-                'detection_rate': detection_rate,
-            },
-            'frame_results': frame_results,
-            'verified_at': datetime.now().isoformat(),
-            'model': self.model_name,
-            'is_valid': detection_rate > 0.01,  # 1% 이상 탐지되면 유효한 것으로 간주 (기존 10%에서 하향)
-        }
-        
-        logger.info(
-            f"Verification complete: {frames_with_detection}/{sampled_frames} frames "
-            f"({detection_rate:.1%}) with {self.task_type} detected"
-        )
-        
-        return result
-    
-    def save_report(self, result: Dict, output_path: Optional[Path] = None) -> Path:
-        """검증 결과 JSON 저장"""
-        if output_path is None:
-            video_name = Path(result['video_path']).stem
-            output_path = get_report_path(self.base_dir, self.task_type, video_name)
-        
-        with open(output_path, 'w', encoding='utf-8') as f:
-            json.dump(result, f, ensure_ascii=False, indent=2)
-        
-        logger.info(f"Report saved to: {output_path}")
-        return output_path
-
-
-def verify_clip(video_path: Path, task_type: str, base_dir: Path = None) -> Dict:
-    """클립 검증 헬퍼 함수"""
-    verifier = YOLOWorldVerifier(task_type, base_dir)
-    result = verifier.verify_video(video_path)
-    verifier.save_report(result)
-    return result
-
-
-def batch_verify(video_dir: Path, task_type: str, base_dir: Path = None) -> List[Dict]:
-    """디렉토리 내 모든 영상 일괄 검증"""
-    verifier = YOLOWorldVerifier(task_type, base_dir)
-    results = []
-    
-    video_files = list(video_dir.glob("*.mp4"))
-    logger.info(f"Found {len(video_files)} videos to verify")
-    
-    for video_path in video_files:
-        try:
-            result = verifier.verify_video(video_path)
-            verifier.save_report(result)
-            results.append(result)
-        except Exception as e:
-            logger.error(f"Failed to verify {video_path}: {e}")
-            results.append({'video_path': str(video_path), 'error': str(e), 'is_valid': False})
-    
-    return results

ytcollector-1.0.8.dist-info/METADATA

@@ -1,105 +0,0 @@
-Metadata-Version: 2.4
-Name: ytcollector
-Version: 1.0.8
-Summary: SBS 데이터셋 수집기
-Requires-Python: >=3.9
-Description-Content-Type: text/markdown
-Requires-Dist: yt-dlp>=2024.1.0
-Requires-Dist: ultralytics>=8.1.0
-Requires-Dist: opencv-python>=4.9.0
-Requires-Dist: tqdm>=4.66.0
-Requires-Dist: imageio-ffmpeg>=0.4.9
-
-# Downloader: SBS 데이터셋 수집기
-
-YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을 수집하고 YOLO-World로 검증하는 자동화 파이프라인입니다.
-
-## 1. 설치 및 시작
-
-**필수 요구사항:**
-- Python 3.8 이상
-- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
-
-**설치:**
-```bash
-cd 260203_sbs_dataset
-pip install -e .
-```
-
-**프로젝트 초기화 (최초 1회):**
-필요한 폴더(`urls/`, `video/`)를 생성합니다.
-```bash
-ytcollector init
-```
-
----
-
-## 2. URL 관리
-
-다운로드할 YouTube 영상 리스트는 텍스트 파일로 관리합니다.
-**파일 위치:** `urls/<태스크이름>/youtube_url.txt` (예: `urls/face/youtube_url.txt`)
-
-**파일 형식 (CSV 스타일):**
-```text
-task_type,url,timestamp_min,timestamp_sec,description
-face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
-```
-* `init` 명령 실행 시 샘플 내용이 포함된 파일이 자동 생성됩니다.
-
----
-
-## 3. 사용법 (다운로드 & 검증)
-
-이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
-
-### 주요 명령어 예시
-안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
-
-```bash
-# 기본 다운로드 (태스크 하나)
-ytcollector download --task face
-
-# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
-ytcollector download --task face tattoo text -n 100
-
-# 🚀 Fast 모드 (병렬 다운로드)
-ytcollector download --task face --fast
-```
-* **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
-* **에러 무시**: 중간에 에러가 나도 멈추지 않고 다음 영상으로 넘어갑니다.
-
-### 저장 파일 규칙
-* **파일명**: `face_0001.mp4`, `face_0002.mp4` ... (순차 번호)
-* **중복 방지**: `download_history.json`에 기록하여, 이미 받은 URL은 중복해서 받지 않습니다.
-
----
-
-## 4. NAS / 네트워크 저장 설정
-
-영상을 로컬이 아닌 NAS에 저장하려면 설정을 수정하세요.
-OS(Windows/Mac)를 자동 감지하여 적절한 경로를 사용합니다.
-
-**설정 파일 수정:** `ytcollector/config.py`
-```python
-# Windows 예시
-NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\..."
-
-# Mac 예시 (/Volumes로 마운트된 경로 확인 필요)
-NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
-```
-
----
-
-## 5. 전체 명령어 목록
-
-| 명령어 | 설명 | 예시 |
-|--------|------|------|
-| `init` | 프로젝트 초기화 | `ytcollector init` |
-| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
-| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
-| `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
-| `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
-
-## 6. 문제 해결
-* **검증 실패가 너무 많음**: `config.py`에서 `CONFIDENCE_THRESHOLD` (기본 0.25) 값을 낮춰보세요.
-* **IP 차단**: Fast 모드 사용 중 YouTube 접근이 막히면 잠시 기다린 후 다시 시도하거나 딜레이 시간을 늘리세요.

ytcollector-1.0.8.dist-info/RECORD

@@ -1,12 +0,0 @@
-config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
-ytcollector/__init__.py,sha256=Alq_JsvEi2RZusFB7-AAhzNnMFyBbHNU6NJR_AxDgs4,365
-ytcollector/cli.py,sha256=Fg8GA7gQu3s26XgUg1NBEZuNKQpZLRrnp2s5bqhed8M,8636
-ytcollector/config.py,sha256=ez9flxTbjmdiJB7_IYivWd9xaRfJ8CLBhPYRedLi8Mk,2323
-ytcollector/downloader.py,sha256=QrqwG7PpoJZymKnOOEj1aqZudE6qY3AV4fiuo1anoGk,19901
-ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
-ytcollector/verifier.py,sha256=OHkAyUF3J6wFqKSa7RYT9Z6-W_lwTXarBEF9xqxNthA,6366
-ytcollector-1.0.8.dist-info/METADATA,sha256=a0t8IXj-xlqbsy_D5EBNemVRi-Z52gJAmu2VJlep0Cc,3727
-ytcollector-1.0.8.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-ytcollector-1.0.8.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
-ytcollector-1.0.8.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
-ytcollector-1.0.8.dist-info/RECORD,,

ytcollector-1.0.8.dist-info/entry_points.txt

@@ -1,2 +0,0 @@
-[console_scripts]
-ytcollector = ytcollector.cli:main