ytcollector 1.0.7__tar.gz → 1.0.9__tar.gz

ytcollector-1.0.9/PKG-INFO

@@ -0,0 +1,207 @@
+Metadata-Version: 2.4
+Name: ytcollector
+Version: 1.0.9
+Summary: YouTube 콘텐츠 수집기 - 얼굴, 번호판, 타투, 텍스트 감지
+Author: YTCollector Team
+License: MIT
+Project-URL: Homepage, https://github.com/yourusername/ytcollector
+Project-URL: Documentation, https://github.com/yourusername/ytcollector#readme
+Project-URL: Repository, https://github.com/yourusername/ytcollector
+Keywords: youtube,downloader,video-analysis,face-detection,ocr
+Classifier: Development Status :: 4 - Beta
+Classifier: Intended Audience :: Developers
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.8
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+Requires-Dist: yt-dlp>=2024.0.0
+Provides-Extra: analysis
+Requires-Dist: opencv-python>=4.5.0; extra == "analysis"
+Requires-Dist: easyocr>=1.6.0; extra == "analysis"
+Requires-Dist: numpy>=1.20.0; extra == "analysis"
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0.0; extra == "dev"
+Requires-Dist: black>=23.0.0; extra == "dev"
+Requires-Dist: ruff>=0.1.0; extra == "dev"
+Provides-Extra: all
+Requires-Dist: ytcollector[analysis,dev]; extra == "all"
+
+# YouTube 콘텐츠 수집기
+
+유튜브에서 특정 카테고리(얼굴, 번호판, 타투, 텍스트)의 영상을 자동으로 검색, 다운로드, 분석하여 수집하는 CLI 도구입니다.
+
+## 설치
+
+### 필수 패키지
+
+```bash
+pip install yt-dlp
+```
+
+### 분석 기능용 패키지 (권장)
+
+```bash
+pip install opencv-python easyocr numpy
+```
+
+## 사용법
+
+### 기본 실행
+
+```bash
+python main.py
+```
+
+기본값: 얼굴 카테고리 5개, 최대 3분 영상
+
+### 옵션
+
+| 옵션 | 설명 | 기본값 |
+|------|------|--------|
+| `-c`, `--categories` | 수집할 카테고리 | `face` |
+| `-n`, `--count` | 카테고리당 다운로드 수 | `5` |
+| `-d`, `--duration` | 최대 영상 길이(분) | `3` |
+| `-o`, `--output` | 저장 경로 | `~/Downloads/youtube_collection` |
+| `--fast` | 고속 모드 (병렬 다운로드) | 비활성화 |
+| `-w`, `--workers` | 병렬 다운로드 수 | `3` |
+| `--proxy` | 프록시 주소 | 없음 |
+
+### 카테고리 종류
+
+| 카테고리 | 설명 | 검색 소스 |
+|----------|------|-----------|
+| `face` | 얼굴/인물 | SBS 인터뷰, 런닝맨, 미운우리새끼 등 |
+| `license_plate` | 자동차 번호판 | 중고차 매물, 세차 영상, 신차 출고 등 |
+| `tattoo` | 타투/문신 | 타투 시술, 타투이스트 작업 영상 |
+| `text` | 텍스트/자막 | SBS 예능 (런닝맨, 골목식당 등) |
+
+## 예시
+
+### 단일 카테고리
+
+```bash
+# 얼굴 영상 10개 수집
+python main.py -c face -n 10
+
+# 번호판 영상 수집 (최대 5분)
+python main.py -c license_plate -d 5
+
+# 타투 영상 수집
+python main.py -c tattoo -n 5
+```
+
+### 여러 카테고리
+
+```bash
+# 얼굴과 텍스트 각 10개씩
+python main.py -c face text -n 10
+
+# 모든 카테고리 수집
+python main.py -c face license_plate tattoo text -n 5
+```
+
+### 고속 모드
+
+```bash
+# 병렬 다운로드 (기본 3개 동시)
+python main.py -c face -n 10 --fast
+
+# 5개 동시 다운로드
+python main.py -c face -n 10 --fast -w 5
+```
+
+### 저장 경로 지정
+
+```bash
+python main.py -c face -o /path/to/save
+```
+
+### 프록시 사용
+
+```bash
+python main.py -c face --proxy http://proxy.server:8080
+```
+
+## SBS Dataset 구축 (URL 리스트 기반)
+
+URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다.
+
+### 실행 방법
+
+```bash
+ytc-dataset youtube_url.txt
+```
+
+### youtube_url.txt 형식
+
+`URL, MM:SS, TaskName` 형식으로 작성합니다.
+```text
+https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
+```
+
+### 상세 옵션
+
+| 옵션 | 설명 | 기본값 |
+|------|------|--------|
+| `file` | URL 리스트 파일 경로 | (필수) |
+| `-o`, `--output` | 저장 루트 경로 | `.` |
+
+### 특징
+- **자동 트리밍**: 지정된 MM:SS 시점 기준 $\pm$ 1.5분(총 3분)을 자동으로 자릅니다.
+- **중복 방지**: 인덱스 기반으로 이미 다운로드/클리핑된 영상은 건너뜁니다.
+- **저장 구조**: `./video/` (원본), `./video_clips/` (클립) 폴더가 생성됩니다.
+
+## 출력 폴더 구조
+
+```
+저장경로/
+├── 얼굴/              # 얼굴 감지된 영상
+├── 번호판/            # 번호판 감지된 영상
+├── 번호판_미감지/     # 번호판 미감지 (수동 확인용)
+├── 타투/              # 타투 감지된 영상
+├── 텍스트/            # 텍스트 감지된 영상
+└── .archive.txt       # 다운로드 기록 (중복 방지)
+```
+
+## 파일 구조
+
+```
+260202_test/
+├── main.py        # CLI 진입점
+├── config.py      # 설정 (검색어, UA 등)
+├── analyzer.py    # 영상 분석 (OpenCV, EasyOCR)
+├── downloader.py  # 다운로드 로직
+└── README.md      # 사용설명서
+```
+
+## 분석 기능
+
+| 감지 항목 | 사용 기술 | 설명 |
+|-----------|-----------|------|
+| 얼굴 | OpenCV Haar Cascade | 정면 얼굴 감지 |
+| 텍스트 | EasyOCR | 한국어/영어 문자 인식 |
+| 번호판 | EasyOCR + 정규식 | 번호판 패턴 매칭 |
+| 타투 | OpenCV HSV 분석 | 피부 영역 내 잉크 패턴 |
+
+## 주의사항
+
+- 영상은 다운로드 후 분석하여 해당 카테고리가 감지된 경우에만 저장됩니다
+- 번호판 카테고리는 미감지 영상도 별도 폴더에 보관됩니다 (수동 확인용)
+- 이미 다운로드한 영상은 자동으로 스킵됩니다 (`.archive.txt` 기록)
+- 비공개/삭제/저작권 영상은 자동 스킵됩니다
+
+## 고속 모드 vs 일반 모드
+
+| 항목 | 일반 모드 | 고속 모드 |
+|------|-----------|-----------|
+| 다운로드 | 순차 | 병렬 |
+| 딜레이 | 0.5~1.5초 | 없음 |
+| 재시도 | 3회 | 1회 |
+| 타임아웃 | 30초 | 10초 |
+
+고속 모드는 빠르지만 YouTube 차단 위험이 높아질 수 있습니다.

ytcollector-1.0.9/README.md

@@ -0,0 +1,174 @@
+# YouTube 콘텐츠 수집기
+
+유튜브에서 특정 카테고리(얼굴, 번호판, 타투, 텍스트)의 영상을 자동으로 검색, 다운로드, 분석하여 수집하는 CLI 도구입니다.
+
+## 설치
+
+### 필수 패키지
+
+```bash
+pip install yt-dlp
+```
+
+### 분석 기능용 패키지 (권장)
+
+```bash
+pip install opencv-python easyocr numpy
+```
+
+## 사용법
+
+### 기본 실행
+
+```bash
+python main.py
+```
+
+기본값: 얼굴 카테고리 5개, 최대 3분 영상
+
+### 옵션
+
+| 옵션 | 설명 | 기본값 |
+|------|------|--------|
+| `-c`, `--categories` | 수집할 카테고리 | `face` |
+| `-n`, `--count` | 카테고리당 다운로드 수 | `5` |
+| `-d`, `--duration` | 최대 영상 길이(분) | `3` |
+| `-o`, `--output` | 저장 경로 | `~/Downloads/youtube_collection` |
+| `--fast` | 고속 모드 (병렬 다운로드) | 비활성화 |
+| `-w`, `--workers` | 병렬 다운로드 수 | `3` |
+| `--proxy` | 프록시 주소 | 없음 |
+
+### 카테고리 종류
+
+| 카테고리 | 설명 | 검색 소스 |
+|----------|------|-----------|
+| `face` | 얼굴/인물 | SBS 인터뷰, 런닝맨, 미운우리새끼 등 |
+| `license_plate` | 자동차 번호판 | 중고차 매물, 세차 영상, 신차 출고 등 |
+| `tattoo` | 타투/문신 | 타투 시술, 타투이스트 작업 영상 |
+| `text` | 텍스트/자막 | SBS 예능 (런닝맨, 골목식당 등) |
+
+## 예시
+
+### 단일 카테고리
+
+```bash
+# 얼굴 영상 10개 수집
+python main.py -c face -n 10
+
+# 번호판 영상 수집 (최대 5분)
+python main.py -c license_plate -d 5
+
+# 타투 영상 수집
+python main.py -c tattoo -n 5
+```
+
+### 여러 카테고리
+
+```bash
+# 얼굴과 텍스트 각 10개씩
+python main.py -c face text -n 10
+
+# 모든 카테고리 수집
+python main.py -c face license_plate tattoo text -n 5
+```
+
+### 고속 모드
+
+```bash
+# 병렬 다운로드 (기본 3개 동시)
+python main.py -c face -n 10 --fast
+
+# 5개 동시 다운로드
+python main.py -c face -n 10 --fast -w 5
+```
+
+### 저장 경로 지정
+
+```bash
+python main.py -c face -o /path/to/save
+```
+
+### 프록시 사용
+
+```bash
+python main.py -c face --proxy http://proxy.server:8080
+```
+
+## SBS Dataset 구축 (URL 리스트 기반)
+
+URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다.
+
+### 실행 방법
+
+```bash
+ytc-dataset youtube_url.txt
+```
+
+### youtube_url.txt 형식
+
+`URL, MM:SS, TaskName` 형식으로 작성합니다.
+```text
+https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
+```
+
+### 상세 옵션
+
+| 옵션 | 설명 | 기본값 |
+|------|------|--------|
+| `file` | URL 리스트 파일 경로 | (필수) |
+| `-o`, `--output` | 저장 루트 경로 | `.` |
+
+### 특징
+- **자동 트리밍**: 지정된 MM:SS 시점 기준 $\pm$ 1.5분(총 3분)을 자동으로 자릅니다.
+- **중복 방지**: 인덱스 기반으로 이미 다운로드/클리핑된 영상은 건너뜁니다.
+- **저장 구조**: `./video/` (원본), `./video_clips/` (클립) 폴더가 생성됩니다.
+
+## 출력 폴더 구조
+
+```
+저장경로/
+├── 얼굴/              # 얼굴 감지된 영상
+├── 번호판/            # 번호판 감지된 영상
+├── 번호판_미감지/     # 번호판 미감지 (수동 확인용)
+├── 타투/              # 타투 감지된 영상
+├── 텍스트/            # 텍스트 감지된 영상
+└── .archive.txt       # 다운로드 기록 (중복 방지)
+```
+
+## 파일 구조
+
+```
+260202_test/
+├── main.py        # CLI 진입점
+├── config.py      # 설정 (검색어, UA 등)
+├── analyzer.py    # 영상 분석 (OpenCV, EasyOCR)
+├── downloader.py  # 다운로드 로직
+└── README.md      # 사용설명서
+```
+
+## 분석 기능
+
+| 감지 항목 | 사용 기술 | 설명 |
+|-----------|-----------|------|
+| 얼굴 | OpenCV Haar Cascade | 정면 얼굴 감지 |
+| 텍스트 | EasyOCR | 한국어/영어 문자 인식 |
+| 번호판 | EasyOCR + 정규식 | 번호판 패턴 매칭 |
+| 타투 | OpenCV HSV 분석 | 피부 영역 내 잉크 패턴 |
+
+## 주의사항
+
+- 영상은 다운로드 후 분석하여 해당 카테고리가 감지된 경우에만 저장됩니다
+- 번호판 카테고리는 미감지 영상도 별도 폴더에 보관됩니다 (수동 확인용)
+- 이미 다운로드한 영상은 자동으로 스킵됩니다 (`.archive.txt` 기록)
+- 비공개/삭제/저작권 영상은 자동 스킵됩니다
+
+## 고속 모드 vs 일반 모드
+
+| 항목 | 일반 모드 | 고속 모드 |
+|------|-----------|-----------|
+| 다운로드 | 순차 | 병렬 |
+| 딜레이 | 0.5~1.5초 | 없음 |
+| 재시도 | 3회 | 1회 |
+| 타임아웃 | 30초 | 10초 |
+
+고속 모드는 빠르지만 YouTube 차단 위험이 높아질 수 있습니다.

ytcollector-1.0.9/pyproject.toml

@@ -0,0 +1,67 @@
+[build-system]
+requires = ["setuptools>=61.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "ytcollector"
+version = "1.0.9"
+description = "YouTube 콘텐츠 수집기 - 얼굴, 번호판, 타투, 텍스트 감지"
+readme = "README.md"
+requires-python = ">=3.8"
+license = {text = "MIT"}
+authors = [
+    {name = "YTCollector Team"}
+]
+keywords = ["youtube", "downloader", "video-analysis", "face-detection", "ocr"]
+classifiers = [
+    "Development Status :: 4 - Beta",
+    "Intended Audience :: Developers",
+    "License :: OSI Approved :: MIT License",
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3.8",
+    "Programming Language :: Python :: 3.9",
+    "Programming Language :: Python :: 3.10",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+]
+
+dependencies = [
+    "yt-dlp>=2024.0.0",
+]
+
+[project.optional-dependencies]
+analysis = [
+    "opencv-python>=4.5.0",
+    "easyocr>=1.6.0",
+    "numpy>=1.20.0",
+]
+dev = [
+    "pytest>=7.0.0",
+    "black>=23.0.0",
+    "ruff>=0.1.0",
+]
+all = [
+    "ytcollector[analysis,dev]",
+]
+
+[project.scripts]
+ytcollector = "ytcollector.cli:main"
+ytc = "ytcollector.cli:main"
+ytc-dataset = "ytcollector.dataset_builder:main"
+
+[project.urls]
+Homepage = "https://github.com/yourusername/ytcollector"
+Documentation = "https://github.com/yourusername/ytcollector#readme"
+Repository = "https://github.com/yourusername/ytcollector"
+
+[tool.setuptools.packages.find]
+where = ["."]
+include = ["ytcollector*"]
+
+[tool.black]
+line-length = 100
+target-version = ['py38']
+
+[tool.ruff]
+line-length = 100
+select = ["E", "F", "W"]

ytcollector-1.0.9/ytcollector/__init__.py

@@ -0,0 +1,39 @@
+"""YouTube 콘텐츠 수집기 라이브러리
+
+외부에서 라이브러리로 사용하거나 CLI로 실행할 수 있습니다.
+
+라이브러리 사용 예시:
+    from ytcollector import YouTubeDownloader, run
+    
+    # 방법 1: YouTubeDownloader 직접 사용
+    downloader = YouTubeDownloader(output_path="./videos")
+    count = downloader.collect("face", max_videos=5)
+    
+    # 방법 2: run() 함수 사용 (간단한 방법)
+    results = run(categories=["face", "text"], count=3)
+    
+CLI 사용 예시:
+    ytcollector -c face -n 5
+    ytc -c face text --fast
+"""
+
+from .config import CATEGORY_NAMES, CATEGORY_QUERIES, USER_AGENTS, LICENSE_PLATE_PATTERNS
+from .analyzer import VideoAnalyzer, check_dependencies
+from .downloader import YouTubeDownloader
+from .cli import run, main as cli_main
+
+__version__ = "1.0.0"
+__all__ = [
+    # 주요 클래스
+    "VideoAnalyzer",
+    "YouTubeDownloader",
+    # 설정
+    "CATEGORY_NAMES",
+    "CATEGORY_QUERIES",
+    "USER_AGENTS",
+    "LICENSE_PLATE_PATTERNS",
+    # 유틸리티
+    "check_dependencies",
+    "run",
+    "cli_main",
+]

ytcollector-1.0.9/ytcollector/analyzer.py

@@ -0,0 +1,205 @@
+import re
+from .config import LICENSE_PLATE_PATTERNS
+
+# 선택적 import
+try:
+    import cv2
+    CV2_AVAILABLE = True
+except ImportError:
+    CV2_AVAILABLE = False
+
+try:
+    import easyocr
+    EASYOCR_AVAILABLE = True
+except ImportError:
+    EASYOCR_AVAILABLE = False
+
+try:
+    import numpy as np
+    NUMPY_AVAILABLE = True
+except ImportError:
+    NUMPY_AVAILABLE = False
+
+
+class VideoAnalyzer:
+    """영상 분석 클래스 - 얼굴, 텍스트, 번호판, 타투 감지"""
+
+    def __init__(self):
+        self.ocr_reader = None
+        self.face_cascade = None
+
+        if CV2_AVAILABLE:
+            cascade_path = cv2.data.haarcascades + 'haarcascade_frontalface_default.xml'
+            self.face_cascade = cv2.CascadeClassifier(cascade_path)
+
+    def _init_ocr(self):
+        """OCR 리더 초기화 (필요할 때만)"""
+        if EASYOCR_AVAILABLE and self.ocr_reader is None:
+            print("  OCR 엔진 초기화 중...")
+            self.ocr_reader = easyocr.Reader(['ko', 'en'], gpu=False, verbose=False)
+
+    def extract_frames(self, video_path, num_frames=10):
+        """영상에서 균등 간격으로 프레임 추출"""
+        if not CV2_AVAILABLE:
+            return []
+
+        cap = cv2.VideoCapture(video_path)
+        if not cap.isOpened():
+            return []
+
+        total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
+        if total_frames <= 0:
+            cap.release()
+            return []
+
+        frame_indices = [int(i * total_frames / (num_frames + 1)) for i in range(1, num_frames + 1)]
+        frames = []
+
+        for idx in frame_indices:
+            cap.set(cv2.CAP_PROP_POS_FRAMES, idx)
+            ret, frame = cap.read()
+            if ret:
+                frames.append(frame)
+
+        cap.release()
+        return frames
+
+    def detect_faces(self, frame):
+        """Haar Cascade로 얼굴 감지"""
+        if not CV2_AVAILABLE or self.face_cascade is None:
+            return []
+
+        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
+        return self.face_cascade.detectMultiScale(
+            gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30)
+        )
+
+    def detect_text(self, frame):
+        """EasyOCR로 텍스트 감지"""
+        if not EASYOCR_AVAILABLE:
+            return []
+
+        self._init_ocr()
+        try:
+            h, w = frame.shape[:2]
+            if w > 640:
+                scale = 640 / w
+                frame = cv2.resize(frame, (640, int(h * scale)))
+
+            results = self.ocr_reader.readtext(frame)
+            return [r[1] for r in results if r[2] > 0.3]
+        except:
+            return []
+
+    def detect_license_plate(self, texts):
+        """텍스트에서 번호판 패턴 감지"""
+        for text in texts:
+            text_clean = text.replace(' ', '').upper()
+            for pattern in LICENSE_PLATE_PATTERNS:
+                if re.search(pattern, text_clean):
+                    return True
+        return False
+
+    def detect_tattoo(self, frame):
+        """피부 영역에서 타투(어두운 잉크 패턴) 감지"""
+        if not CV2_AVAILABLE or not NUMPY_AVAILABLE:
+            return False
+
+        try:
+            hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
+
+            # 피부색 범위
+            lower_skin = np.array([0, 30, 80], dtype=np.uint8)
+            upper_skin = np.array([17, 170, 255], dtype=np.uint8)
+            skin_mask = cv2.inRange(hsv, lower_skin, upper_skin)
+
+            # 노이즈 제거
+            kernel = np.ones((5, 5), np.uint8)
+            skin_mask = cv2.morphologyEx(skin_mask, cv2.MORPH_OPEN, kernel)
+            skin_mask = cv2.morphologyEx(skin_mask, cv2.MORPH_CLOSE, kernel)
+
+            skin_pixels = cv2.countNonZero(skin_mask)
+            total_pixels = frame.shape[0] * frame.shape[1]
+
+            # 피부 영역 최소 10% 필요
+            if skin_pixels < total_pixels * 0.10:
+                return False
+
+            # 피부 영역 내 어두운 픽셀(타투) 감지
+            gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
+            skin_gray = cv2.bitwise_and(gray, gray, mask=skin_mask)
+            dark_mask = cv2.inRange(skin_gray, 1, 80)
+
+            dark_pixels = cv2.countNonZero(dark_mask)
+            dark_ratio = dark_pixels / max(skin_pixels, 1)
+
+            # 어두운 영역이 3~35%일 때 타투로 판정
+            if 0.03 < dark_ratio < 0.35:
+                contours, _ = cv2.findContours(dark_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
+                significant = [c for c in contours if cv2.contourArea(c) > 100]
+                return len(significant) >= 1
+
+            return False
+        except:
+            return False
+
+    def analyze(self, video_path):
+        """영상 전체 분석"""
+        results = {
+            'face': False,
+            'text': False,
+            'license_plate': False,
+            'tattoo': False,
+            'face_count': 0,
+            'detected_texts': []
+        }
+
+        if not CV2_AVAILABLE:
+            print("  ⚠ OpenCV 미설치")
+            return results
+
+        frames = self.extract_frames(video_path, num_frames=8)
+        if not frames:
+            print("  ⚠ 프레임 추출 실패")
+            return results
+
+        all_texts = []
+        total_faces = 0
+
+        for i, frame in enumerate(frames):
+            # 얼굴
+            faces = self.detect_faces(frame)
+            if len(faces) > 0:
+                results['face'] = True
+                total_faces += len(faces)
+
+            # 텍스트 (일부 프레임만)
+            if i % 2 == 0 and EASYOCR_AVAILABLE:
+                texts = self.detect_text(frame)
+                if texts:
+                    results['text'] = True
+                    all_texts.extend(texts)
+
+            # 타투
+            if self.detect_tattoo(frame):
+                results['tattoo'] = True
+
+        # 번호판 (텍스트에서)
+        if all_texts:
+            results['license_plate'] = self.detect_license_plate(all_texts)
+            results['detected_texts'] = list(set(all_texts))[:10]
+
+        results['face_count'] = total_faces
+        return results
+
+
+def check_dependencies():
+    """의존성 체크"""
+    missing = []
+    if not CV2_AVAILABLE:
+        missing.append("opencv-python")
+    if not EASYOCR_AVAILABLE:
+        missing.append("easyocr")
+    if not NUMPY_AVAILABLE:
+        missing.append("numpy")
+    return missing