ytcollector 1.0.3__tar.gz

ytcollector-1.0.3/PKG-INFO

@@ -0,0 +1,103 @@
+Metadata-Version: 2.4
+Name: ytcollector
+Version: 1.0.3
+Summary: SBS 데이터셋 수집기
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+Requires-Dist: yt-dlp>=2024.1.0
+Requires-Dist: ultralytics>=8.1.0
+Requires-Dist: opencv-python>=4.9.0
+Requires-Dist: tqdm>=4.66.0
+Requires-Dist: imageio-ffmpeg>=0.4.9
+
+# Downloader: SBS 데이터셋 수집기
+
+YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을 수집하고 YOLO-World로 검증하는 자동화 파이프라인입니다.
+
+## 1. 설치 및 시작
+
+**필수 요구사항:**
+- Python 3.8 이상
+- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+
+**설치:**
+```bash
+cd 260203_sbs_dataset
+pip install -e .
+```
+
+**프로젝트 초기화 (최초 1회):**
+필요한 폴더(`urls/`, `video/`)를 생성합니다.
+```bash
+ytcollector init
+```
+
+---
+
+## 2. URL 관리
+
+다운로드할 YouTube 영상 리스트는 텍스트 파일로 관리합니다.
+**파일 위치:** `urls/<태스크이름>/youtube_url.txt` (예: `urls/face/youtube_url.txt`)
+
+**파일 형식 (CSV 스타일):**
+```text
+task_type,url,timestamp_min,timestamp_sec,description
+face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
+```
+* `init` 명령 실행 시 샘플 내용이 포함된 파일이 자동 생성됩니다.
+
+---
+
+## 3. 사용법 (다운로드 & 검증)
+
+이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
+
+### 기본 다운로드 (순차 실행)
+안정적으로 하나씩 다운로드하고 검증합니다.
+```bash
+ytcollector download --task face
+```
+
+### 🚀 Fast 모드 (병렬 다운로드)
+대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
+```bash
+ytcollector download --task face --fast
+```
+* **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
+* **에러 무시**: 중간에 에러가 나도 멈추지 않고 다음 영상으로 넘어갑니다.
+
+### 저장 파일 규칙
+* **파일명**: `face_0001.mp4`, `face_0002.mp4` ... (순차 번호)
+* **중복 방지**: `download_history.json`에 기록하여, 이미 받은 URL은 중복해서 받지 않습니다.
+
+---
+
+## 4. NAS / 네트워크 저장 설정
+
+영상을 로컬이 아닌 NAS에 저장하려면 설정을 수정하세요.
+OS(Windows/Mac)를 자동 감지하여 적절한 경로를 사용합니다.
+
+**설정 파일 수정:** `ytcollector/config.py`
+```python
+# Windows 예시
+NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\..."
+
+# Mac 예시 (/Volumes로 마운트된 경로 확인 필요)
+NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
+```
+
+---
+
+## 5. 전체 명령어 목록
+
+| 명령어 | 설명 | 예시 |
+|--------|------|------|
+| `init` | 프로젝트 초기화 | `ytcollector init` |
+| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
+| `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
+
+## 6. 문제 해결
+* **검증 실패가 너무 많음**: `config.py`에서 `CONFIDENCE_THRESHOLD` (기본 0.25) 값을 낮춰보세요.
+* **IP 차단**: Fast 모드 사용 중 YouTube 접근이 막히면 잠시 기다린 후 다시 시도하거나 딜레이 시간을 늘리세요.

ytcollector-1.0.3/README.md

@@ -0,0 +1,91 @@
+# Downloader: SBS 데이터셋 수집기
+
+YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을 수집하고 YOLO-World로 검증하는 자동화 파이프라인입니다.
+
+## 1. 설치 및 시작
+
+**필수 요구사항:**
+- Python 3.8 이상
+- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+
+**설치:**
+```bash
+cd 260203_sbs_dataset
+pip install -e .
+```
+
+**프로젝트 초기화 (최초 1회):**
+필요한 폴더(`urls/`, `video/`)를 생성합니다.
+```bash
+ytcollector init
+```
+
+---
+
+## 2. URL 관리
+
+다운로드할 YouTube 영상 리스트는 텍스트 파일로 관리합니다.
+**파일 위치:** `urls/<태스크이름>/youtube_url.txt` (예: `urls/face/youtube_url.txt`)
+
+**파일 형식 (CSV 스타일):**
+```text
+task_type,url,timestamp_min,timestamp_sec,description
+face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
+```
+* `init` 명령 실행 시 샘플 내용이 포함된 파일이 자동 생성됩니다.
+
+---
+
+## 3. 사용법 (다운로드 & 검증)
+
+이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
+
+### 기본 다운로드 (순차 실행)
+안정적으로 하나씩 다운로드하고 검증합니다.
+```bash
+ytcollector download --task face
+```
+
+### 🚀 Fast 모드 (병렬 다운로드)
+대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
+```bash
+ytcollector download --task face --fast
+```
+* **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
+* **에러 무시**: 중간에 에러가 나도 멈추지 않고 다음 영상으로 넘어갑니다.
+
+### 저장 파일 규칙
+* **파일명**: `face_0001.mp4`, `face_0002.mp4` ... (순차 번호)
+* **중복 방지**: `download_history.json`에 기록하여, 이미 받은 URL은 중복해서 받지 않습니다.
+
+---
+
+## 4. NAS / 네트워크 저장 설정
+
+영상을 로컬이 아닌 NAS에 저장하려면 설정을 수정하세요.
+OS(Windows/Mac)를 자동 감지하여 적절한 경로를 사용합니다.
+
+**설정 파일 수정:** `ytcollector/config.py`
+```python
+# Windows 예시
+NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\..."
+
+# Mac 예시 (/Volumes로 마운트된 경로 확인 필요)
+NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
+```
+
+---
+
+## 5. 전체 명령어 목록
+
+| 명령어 | 설명 | 예시 |
+|--------|------|------|
+| `init` | 프로젝트 초기화 | `ytcollector init` |
+| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
+| `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
+
+## 6. 문제 해결
+* **검증 실패가 너무 많음**: `config.py`에서 `CONFIDENCE_THRESHOLD` (기본 0.25) 값을 낮춰보세요.
+* **IP 차단**: Fast 모드 사용 중 YouTube 접근이 막히면 잠시 기다린 후 다시 시도하거나 딜레이 시간을 늘리세요.

ytcollector-1.0.3/config/settings.py

@@ -0,0 +1,39 @@
+"""
+SBS Dataset Collection Pipeline - Settings
+"""
+from pathlib import Path
+
+# Base paths
+BASE_DIR = Path(__file__).parent.parent
+DATA_DIR = BASE_DIR / "data"
+URLS_DIR = DATA_DIR / "urls"
+VIDEOS_DIR = DATA_DIR / "videos"
+CLIPS_DIR = DATA_DIR / "clips"
+OUTPUTS_DIR = BASE_DIR / "outputs"
+REPORTS_DIR = OUTPUTS_DIR / "reports"
+
+# Video settings
+CLIP_DURATION_BEFORE = 90  # 1분 30초 (초 단위)
+CLIP_DURATION_AFTER = 90   # 1분 30초 (초 단위)
+MAX_CLIP_DURATION = 180    # 최대 3분
+
+# Download settings
+VIDEO_FORMAT = "best[ext=mp4]/best"
+DOWNLOAD_RETRIES = 3
+
+# YOLO-World settings
+YOLO_MODEL = "yolov8s-worldv2.pt"
+CONFIDENCE_THRESHOLD = 0.25
+FRAME_SAMPLE_RATE = 30  # 매 30프레임마다 샘플링 (약 1초)
+
+# Task-specific class prompts
+TASK_CLASSES = {
+    "face": ["human face", "person face", "close-up face"],
+    "license_plate": ["car license plate", "vehicle license plate", "korean license plate"],
+    "tattoo": ["tattoo", "body tattoo", "skin tattoo"],
+    "text": ["text on screen", "subtitle", "korean text", "caption"]
+}
+
+# Create directories if not exist
+for dir_path in [URLS_DIR, VIDEOS_DIR, CLIPS_DIR, REPORTS_DIR]:
+    dir_path.mkdir(parents=True, exist_ok=True)

ytcollector-1.0.3/pyproject.toml

@@ -0,0 +1,24 @@
+[build-system]
+requires = ["setuptools>=61.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "ytcollector"
+version = "1.0.3"
+description = "SBS 데이터셋 수집기"
+readme = "README.md"
+requires-python = ">=3.9"
+dependencies = [
+    "yt-dlp>=2024.1.0",
+    "ultralytics>=8.1.0",
+    "opencv-python>=4.9.0",
+    "tqdm>=4.66.0",
+    "imageio-ffmpeg>=0.4.9",
+]
+
+[project.scripts]
+ytcollector = "ytcollector.cli:main"
+
+[tool.setuptools.packages.find]
+where = ["."]
+include = ["ytcollector*", "config*"]

ytcollector-1.0.3/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

ytcollector-1.0.3/ytcollector/__init__.py

@@ -0,0 +1,14 @@
+"""
+SBS Dataset Collector - YouTube 영상 수집 및 YOLO-World 검증 파이프라인
+"""
+from pathlib import Path
+
+__version__ = "1.0.3"
+__author__ = "SBS Dataset Team"
+
+# Package root directory
+PACKAGE_DIR = Path(__file__).parent
+
+# Default data directories (can be overridden)
+DEFAULT_DATA_DIR = Path.cwd() / "data"
+DEFAULT_OUTPUT_DIR = Path.cwd() / "outputs"

ytcollector-1.0.3/ytcollector/cli.py

@@ -0,0 +1,217 @@
+#!/usr/bin/env python3
+"""
+SBS Dataset Collector CLI (Updated)
+"""
+import argparse
+import logging
+from pathlib import Path
+
+# Package import modified to 'downloader'
+from .config import TASK_CLASSES, VALID_TASKS, get_paths
+from .utils import ensure_dir, get_url_file_path
+
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+
+def init_project(args):
+    """프로젝트 디렉토리 초기화"""
+    base_dir = Path(args.dir) if args.dir else Path.cwd()
+    
+    # 1. 태스크별 폴더 및 youtube_url.txt 생성
+    for task in VALID_TASKS:
+        # get_url_file_path 내부에서 ensure_dir 호출로 폴더 생성됨
+        txt_path = get_url_file_path(base_dir, task)
+        
+        if not txt_path.exists():
+            txt_path.write_text(
+                "task_type,url,timestamp_min,timestamp_sec,description\n"
+                f"{task},https://www.youtube.com/watch?v=EXAMPLE,2,30,샘플\n",
+                encoding='utf-8'
+            )
+            
+    # 2. config.py의 get_paths 로직에 따른 폴더들 생성 확인
+    paths = get_paths(base_dir)
+    ensure_dir(paths['outputs']) 
+    
+    print(f"✓ Project initialized at: {base_dir}")
+    print(f"  - Add URLs to: urls/<task>/youtube_url.txt")
+    print(f"  - Videos will be saved to configured OUTPUT_DIR (or video/ folder)")
+
+
+def run_download(args):
+    """TXT 파일에서 영상 다운로드"""
+    from .downloader import download_from_txt  # Changed function name
+    
+    base_dir = Path(args.dir) if args.dir else Path.cwd()
+    
+    # 파일 경로: video/{task}/youtube_url.txt
+    txt_file = get_url_file_path(base_dir, args.task)
+    
+    if not txt_file.exists():
+        logger.error(f"URL file not found: {txt_file}")
+        logger.info("Run 'downloader init' first to create project structure")
+        return
+    
+    logger.info(f"Starting{' fast' if args.fast else ''} download for task: {args.task}")
+    
+    if args.fast:
+        from .downloader import download_from_txt_parallel
+        results = download_from_txt_parallel(txt_file, args.task, base_dir)
+    else:
+        results = download_from_txt(txt_file, args.task, base_dir)
+    
+    success_count = sum(1 for r in results if r.get('success'))
+    print(f"✓ Download complete: {success_count}/{len(results)} successful")
+
+
+def run_download_single(args):
+    """단일 URL 다운로드"""
+    from .downloader import VideoDownloader
+    
+    base_dir = Path(args.dir) if args.dir else Path.cwd()
+    downloader = VideoDownloader(args.task, base_dir)
+    
+    try:
+        output_path, metadata = downloader.download_clip_at_timestamp(
+            url=args.url,
+            timestamp_min=args.timestamp_min,
+            timestamp_sec=args.timestamp_sec
+        )
+        status = "Cached" if metadata.get('cached') else "Downloaded"
+        print(f"✓ {status}: {output_path}")
+        if not metadata.get('cached'):
+            print(f"  Clip duration: {metadata['clip_duration']}s")
+            
+    except Exception as e:
+        logger.error(f"Download failed: {e}")
+
+
+def run_verify(args):
+    """클립 영상 검증"""
+    from .verifier import verify_clip, batch_verify
+    
+    base_dir = Path(args.dir) if args.dir else Path.cwd()
+    
+    if args.video:
+        video_path = Path(args.video)
+        result = verify_clip(video_path, args.task, base_dir)
+        print_verification_result(result)
+    else:
+        # 폴더 경로: video/{task}/
+        clips_dir = base_dir / "video" / args.task
+        if not clips_dir.exists():
+            logger.error(f"Video directory not found: {clips_dir}")
+            return
+        
+        results = batch_verify(clips_dir, args.task, base_dir)
+        valid_count = sum(1 for r in results if r.get('is_valid'))
+        print(f"✓ Verification complete: {valid_count}/{len(results)} valid")
+
+
+def run_pipeline(args):
+    """다운로드 + 검증 전체 파이프라인"""
+    print(f"=== Starting pipeline for task: {args.task} ===")
+    
+    run_download(args)
+    
+    if args.verify:
+        print("\n--- Running verification ---")
+        run_verify(args)
+    
+    print("=== Pipeline complete ===")
+
+
+def print_verification_result(result: dict):
+    """검증 결과 출력"""
+    summary = result.get('summary', {})
+    
+    print("\n" + "="*50)
+    print(f"Video: {Path(result['video_path']).name}")
+    print(f"Task: {result['task_type']}")
+    print(f"Classes: {result['classes']}")
+    print("-"*50)
+    print(f"Duration: {summary.get('duration_sec', 0):.1f}s")
+    print(f"Frames with detection: {summary.get('frames_with_detection', 0)}")
+    print(f"Detection rate: {summary.get('detection_rate', 0):.1%}")
+    print(f"Valid: {'✓ YES' if result.get('is_valid') else '✗ NO'}")
+    print("="*50)
+
+
+def list_tasks(args):
+    """태스크 목록 출력"""
+    print("\nAvailable Tasks and YOLO-World Classes:")
+    print("-" * 50)
+    for task, classes in TASK_CLASSES.items():
+        print(f"\n{task}:")
+        for cls in classes:
+            print(f"  - {cls}")
+
+
+def main():
+    parser = argparse.ArgumentParser(
+        description='Downloader - SBS Dataset Collector',
+        formatter_class=argparse.RawDescriptionHelpFormatter,
+        epilog="""
+Examples:
+  downloader init                           # 프로젝트 초기화
+  downloader download --task face           # 텍스트 파일에서 다운로드
+  downloader verify --task face             # YOLO 검증
+        """
+    )
+    
+    parser.add_argument('--dir', '-d', help='Project directory (default: current)')
+    
+    subparsers = parser.add_subparsers(dest='command', help='Commands')
+    
+    # Init
+    init_parser = subparsers.add_parser('init', help='Initialize project directory')
+    
+    # Download
+    download_parser = subparsers.add_parser('download', help='Download from youtube_url.txt')
+    download_parser.add_argument('--task', '-t', required=True, choices=VALID_TASKS)
+    download_parser.add_argument('--fast', action='store_true', help='Enable fast parallel downloading')
+    
+    # Download single
+    single_parser = subparsers.add_parser('download-single', help='Download single video')
+    single_parser.add_argument('--task', '-t', required=True, choices=VALID_TASKS)
+    single_parser.add_argument('--url', '-u', required=True, help='YouTube URL')
+    single_parser.add_argument('--timestamp-min', '-m', type=int, required=True)
+    single_parser.add_argument('--timestamp-sec', '-s', type=int, required=True)
+    
+    # Verify
+    verify_parser = subparsers.add_parser('verify', help='Verify with YOLO-World')
+    verify_parser.add_argument('--task', '-t', required=True, choices=VALID_TASKS)
+    verify_parser.add_argument('--video', '-v', help='Specific video file')
+    
+    # Pipeline
+    pipeline_parser = subparsers.add_parser('pipeline', help='Full pipeline')
+    pipeline_parser.add_argument('--task', '-t', required=True, choices=VALID_TASKS)
+    pipeline_parser.add_argument('--verify', action='store_true')
+    
+    # List tasks
+    subparsers.add_parser('list-tasks', help='List available tasks')
+    
+    args = parser.parse_args()
+    
+    if args.command is None:
+        parser.print_help()
+        return
+    
+    commands = {
+        'init': init_project,
+        'download': run_download,
+        'download-single': run_download_single,
+        'verify': run_verify,
+        'pipeline': run_pipeline,
+        'list-tasks': list_tasks,
+    }
+    
+    commands[args.command](args)
+
+
+if __name__ == '__main__':
+    main()

ytcollector-1.0.3/ytcollector/config.py

@@ -0,0 +1,65 @@
+"""
+SBS Dataset Collector - Configuration
+"""
+from pathlib import Path
+import platform
+
+# Default paths (will use current working directory)
+def get_paths(base_dir: Path = None):
+    """Get all paths based on base directory"""
+    if base_dir is None:
+        base_dir = Path.cwd()
+    
+    return {
+        'base': base_dir,
+        'data': base_dir / "data",
+        # 'urls' removed - now inside video/{task}/youtube_url.txt
+        'videos': base_dir / "data" / "videos",  # 원본 전체 영상
+        'clips': base_dir / "video",             # 클리핑된 영상 (요구사항: video/task_이름)
+        'outputs': base_dir / "outputs",
+        'reports': base_dir / "outputs" / "reports",
+        'history': base_dir / "download_history.json",
+    }
+
+# 사용자 지정 출력 경로 (네트워크 드라이브 등)
+# macOS에서는 "/Volumes/Data/..." 등으로 마운트된 경로를 사용해야 함
+NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\SBS_De-Identification_YouTube"
+NAS_PATH_MAC = "/Volumes/Data/Private Dataset/SBS_De-Identification_YouTube"
+
+if platform.system() == 'Windows':
+    CUSTOM_OUTPUT_DIR = NAS_PATH_WINDOWS
+elif platform.system() == 'Darwin': # macOS
+    CUSTOM_OUTPUT_DIR = NAS_PATH_MAC
+else:
+    CUSTOM_OUTPUT_DIR = None
+
+# Video settings
+CLIP_DURATION_BEFORE = 90  # 1분 30초 (초 단위)
+CLIP_DURATION_AFTER = 90   # 1분 30초 (초 단위)
+MAX_CLIP_DURATION = 180    # 최대 3분
+
+# Download settings
+VIDEO_FORMAT = "best[ext=mp4]/best"
+DOWNLOAD_RETRIES = 3
+MAX_VIDEOS_PER_TASK = 100  # 태스크별 최대 영상 저장 수
+
+# Fast Mode Settings (Parallel)
+MAX_WORKERS = 4              # 병렬 작업 프로세스 수
+REQUEST_DELAY_MIN = 1.0      # 최소 대기 시간 (초)
+REQUEST_DELAY_MAX = 3.0      # 최대 대기 시간 (초)
+PROXY_URL = None             # 프록시 (예: "http://user:pass@host:port")
+
+# YOLO-World settings
+YOLO_MODEL = "yolov8s-worldv2.pt"
+CONFIDENCE_THRESHOLD = 0.25
+FRAME_SAMPLE_RATE = 30  # 매 30프레임마다 샘플링 (약 1초)
+
+# Task-specific class prompts
+TASK_CLASSES = {
+    "face": ["human face", "person face", "close-up face"],
+    "license_plate": ["car license plate", "vehicle license plate", "korean license plate"],
+    "tattoo": ["tattoo", "body tattoo", "skin tattoo"],
+    "text": ["text on screen", "subtitle", "korean text", "caption"]
+}
+
+VALID_TASKS = list(TASK_CLASSES.keys())