ytcollector 1.1.2__tar.gz → 1.1.7__tar.gz

{ytcollector-1.1.2 → ytcollector-1.1.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.1.2
+Version: 1.1.7
 Summary: YouTube 콘텐츠 수집기 - 얼굴, 번호판, 타투, 텍스트 감지
 Author: YTCollector Team
 License: MIT
@@ -44,7 +44,9 @@ Requires-Dist: ytcollector[analysis,dev]; extra == "all"
 pip install yt-dlp
 ```
 
-### 분석 기능용 패키지 (권장)
+### 분석 기능용 패키지 (권장 - v1.1.6+)
+
+분석 기능을 원활하게 사용하려면 아래 패키지들이 필요합니다. GPU(CUDA)가 설치된 경우 자동으로 가속이 활성화됩니다.
 
 ```bash
 pip install opencv-python easyocr numpy ultralytics
@@ -132,7 +134,7 @@ ytcollector -c face --proxy http://proxy.server:8080
 
 ## SBS Dataset 구축 (URL 리스트 기반)
 
-URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다.
+URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다. (v1.1.6에서 ROI 엔진 최적화 적용)
 
 ### 실행 방법
 
@@ -168,7 +170,8 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 ├── 번호판_미감지/     # 번호판 미감지 (수동 확인용)
 ├── 타투/              # 타투 감지된 영상
 ├── 텍스트/            # 텍스트 감지된 영상
-└── .archive.txt       # 다운로드 기록 (중복 방지)
+├── .archive.txt       # 기본 다운로드 기록
+└── youtube_url_*.txt  # 카테고리별 성공 로그 (v1.1.5+ 중복 체크에 활용)
 ```
 
 ## 파일 구조
@@ -188,9 +191,14 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 |-----------|-----------|------|
 | 얼굴 | OpenCV Haar Cascade | 정면 얼굴 감지 |
 | 텍스트 | EasyOCR | 한국어/영어 문자 인식 (분석 품질 및 프레임 수 개선) |
-| 번호판 | YOLO-World + OCR | YOLO-World 기반 시각적 감지 + OCR 매칭 |
+| 번호판 | YOLO-World + ROI OCR | v1.1.6: YOLO로 감지 후 해당 영역만 OCR (속도 2x, 정확도 향상) |
 | 타투 | OpenCV HSV 분석 | 피부 영역 내 잉크 패턴 감지 |
 
+### 주요 최적화 (v1.1.5~1.1.6)
+- **ROI 기반 감지**: 전체 화면이 아닌 YOLO가 지정한 영역만 OCR하여 속도와 정확도 대폭 향상
+- **GPU 가속 지원**: CUDA 사용 가능 시 YOLO 및 OCR 자동 가속
+- **로그 기반 중복 방지**: 로컬 파일이 없어도 `youtube_url_*.txt` 기록을 참조하여 중복 분석 방지
+
 ## 주의사항
 
 - 영상은 다운로드 후 분석하여 해당 카테고리가 감지된 경우에만 저장됩니다

{ytcollector-1.1.2 → ytcollector-1.1.7}/README.md

@@ -10,7 +10,9 @@
 pip install yt-dlp
 ```
 
-### 분석 기능용 패키지 (권장)
+### 분석 기능용 패키지 (권장 - v1.1.6+)
+
+분석 기능을 원활하게 사용하려면 아래 패키지들이 필요합니다. GPU(CUDA)가 설치된 경우 자동으로 가속이 활성화됩니다.
 
 ```bash
 pip install opencv-python easyocr numpy ultralytics
@@ -98,7 +100,7 @@ ytcollector -c face --proxy http://proxy.server:8080
 
 ## SBS Dataset 구축 (URL 리스트 기반)
 
-URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다.
+URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다. (v1.1.6에서 ROI 엔진 최적화 적용)
 
 ### 실행 방법
 
@@ -134,7 +136,8 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 ├── 번호판_미감지/     # 번호판 미감지 (수동 확인용)
 ├── 타투/              # 타투 감지된 영상
 ├── 텍스트/            # 텍스트 감지된 영상
-└── .archive.txt       # 다운로드 기록 (중복 방지)
+├── .archive.txt       # 기본 다운로드 기록
+└── youtube_url_*.txt  # 카테고리별 성공 로그 (v1.1.5+ 중복 체크에 활용)
 ```
 
 ## 파일 구조
@@ -154,9 +157,14 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 |-----------|-----------|------|
 | 얼굴 | OpenCV Haar Cascade | 정면 얼굴 감지 |
 | 텍스트 | EasyOCR | 한국어/영어 문자 인식 (분석 품질 및 프레임 수 개선) |
-| 번호판 | YOLO-World + OCR | YOLO-World 기반 시각적 감지 + OCR 매칭 |
+| 번호판 | YOLO-World + ROI OCR | v1.1.6: YOLO로 감지 후 해당 영역만 OCR (속도 2x, 정확도 향상) |
 | 타투 | OpenCV HSV 분석 | 피부 영역 내 잉크 패턴 감지 |
 
+### 주요 최적화 (v1.1.5~1.1.6)
+- **ROI 기반 감지**: 전체 화면이 아닌 YOLO가 지정한 영역만 OCR하여 속도와 정확도 대폭 향상
+- **GPU 가속 지원**: CUDA 사용 가능 시 YOLO 및 OCR 자동 가속
+- **로그 기반 중복 방지**: 로컬 파일이 없어도 `youtube_url_*.txt` 기록을 참조하여 중복 분석 방지
+
 ## 주의사항
 
 - 영상은 다운로드 후 분석하여 해당 카테고리가 감지된 경우에만 저장됩니다

{ytcollector-1.1.2 → ytcollector-1.1.7}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "ytcollector"
-version = "1.1.2"
+version = "1.1.7"
 description = "YouTube 콘텐츠 수집기 - 얼굴, 번호판, 타투, 텍스트 감지"
 readme = "README.md"
 requires-python = ">=3.8"

{ytcollector-1.1.2 → ytcollector-1.1.7}/ytcollector/__init__.py

@@ -22,7 +22,7 @@ from .analyzer import VideoAnalyzer, check_dependencies
 from .downloader import YouTubeDownloader
 from .cli import run, main as cli_main
 
-__version__ = "1.0.0"
+__version__ = "1.1.7"
 __all__ = [
     # 주요 클래스
     "VideoAnalyzer",

{ytcollector-1.1.2 → ytcollector-1.1.7}/ytcollector/analyzer.py

@@ -1,33 +1,37 @@
-import re
 import threading
-from .config import LICENSE_PLATE_PATTERNS
+import re
+import os
 
-# 선택적 import
 try:
     import cv2
     CV2_AVAILABLE = True
 except ImportError:
     CV2_AVAILABLE = False
 
-try:
-    import easyocr
-    EASYOCR_AVAILABLE = True
-except ImportError:
-    EASYOCR_AVAILABLE = False
-
 try:
     import numpy as np
     NUMPY_AVAILABLE = True
 except ImportError:
     NUMPY_AVAILABLE = False
 
+try:
+    import easyocr
+    EASYOCR_AVAILABLE = True
+except ImportError:
+    EASYOCR_AVAILABLE = False
+
 try:
     from ultralytics import YOLOWorld
     YOLO_AVAILABLE = True
 except ImportError:
-    YOLOWorld = None
     YOLO_AVAILABLE = False
 
+try:
+    import torch
+    USE_GPU = torch.cuda.is_available()
+except ImportError:
+    USE_GPU = False
+
 from .config import LICENSE_PLATE_PATTERNS, YOLO_MODEL_NAME, YOLO_CONFIDENCE, YOLO_PROMPTS
 
 
@@ -46,20 +50,23 @@ class VideoAnalyzer:
             self.face_cascade = cv2.CascadeClassifier(cascade_path)
 
     def _init_ocr(self):
-        """OCR 리더 초기화 (필요할 때만, 스레드 안전)"""
+        """OCR 리더 초기화 (필요할 때만, 스레드 안전, GPU 가속 체크)"""
         if EASYOCR_AVAILABLE and self.ocr_reader is None:
             with self._ocr_lock:
                 if self.ocr_reader is None:
-                    print("  OCR 엔진 초기화 중...")
-                    self.ocr_reader = easyocr.Reader(['ko', 'en'], gpu=False, verbose=False)
+                    gpu_status = "사용" if USE_GPU else "미사용"
+                    print(f"  OCR 엔진 초기화 중... (GPU: {gpu_status})")
+                    self.ocr_reader = easyocr.Reader(['ko', 'en'], gpu=USE_GPU, verbose=False)
 
     def _init_yolo(self):
-        """YOLO-World 모델 초기화 (필요할 때만, 스레드 안전)"""
+        """YOLO-World 모델 초기화 (필요할 때만, 스레드 안전, GPU 가속 체크)"""
         if YOLO_AVAILABLE and self.yolo_model is None:
             with self._ocr_lock:
                 if self.yolo_model is None:
-                    print(f"  YOLO-World 모델({YOLO_MODEL_NAME}) 로딩 중...")
+                    device = "cuda" if USE_GPU else "cpu"
+                    print(f"  YOLO-World 모델 로딩 중... (Device: {device})")
                     self.yolo_model = YOLOWorld(YOLO_MODEL_NAME)
+                    self.yolo_model.to(device)
                     # 감지할 클래스(프롬프트) 설정
                     self.yolo_model.set_classes(YOLO_PROMPTS)
 
@@ -133,42 +140,66 @@ class VideoAnalyzer:
             print(f"  ⚠ OCR 에러: {e}")
             return []
 
-    def detect_license_plate(self, texts, frame=None):
-        """텍스트에서 번호판 패턴 감지 및 YOLO-World 보조 감지"""
-        # 1. YOLO-World로 번호판 영역 확인
-        if YOLO_AVAILABLE and frame is not None:
-            try:
-                self._init_yolo()
-                if self.yolo_model:
-                    results = self.yolo_model(frame, verbose=False, conf=YOLO_CONFIDENCE)
-                    for r in results:
-                        # YOLO-World 클래스 인덱스는 YOLO_PROMPTS 순서와 같음
-                        # 0: license plate, 1: tattoo, 2: face (config 기준)
-                        if any(box.cls == 0 for box in r.boxes):
-                            # 번호판이 감지됨 -> 텍스트가 조금이라도 있으면 통과
-                            if texts: return True
-                            # 텍스트가 없어도 신뢰도가 높으면 감지된 것으로 간주 (옵션)
-                            if any(box.conf > 0.5 for box in r.boxes if box.cls == 0):
-                                return True
-            except:
-                pass
-
-        if not texts:
+    def detect_license_plate(self, frame, texts=None):
+        """
+        ROI 기반 번호판 감지 (최적화 버전)
+        1. YOLO로 번호판 영역(ROI)을 먼저 찾음
+        2. 찾은 영역만 잘라서 OCR 수행 (속도 및 정확도 향상)
+        """
+        if not YOLO_AVAILABLE or frame is None:
             return False
+
+        try:
+            self._init_yolo()
+            results = self.yolo_model(frame, verbose=False, conf=YOLO_CONFIDENCE)
             
-        # 2. 개별 텍스트 박스 체크
-        for text in texts:
-            text_clean = re.sub(r'[^0-9가-힣]', '', text)
-            for pattern in LICENSE_PLATE_PATTERNS:
-                if re.search(pattern, text_clean):
-                    return True
-        
-        # 3. 프레임 내 모든 텍스트 결합 후 체크 (번호판이 쪼개진 경우 대응)
-        combined_text = "".join([re.sub(r'[^0-9가-힣]', '', t) for t in texts])
-        for pattern in LICENSE_PLATE_PATTERNS:
-            if re.search(pattern, combined_text):
+            yolo_high_conf = False
+            roi_ocr_matched = False
+            
+            for r in results:
+                # 0: license plate
+                for box in r.boxes:
+                    if box.cls == 0:
+                        conf = float(box.conf)
+                        if conf > 0.8:
+                            yolo_high_conf = True
+                        
+                        # ROI 크로핑 및 타겟 OCR
+                        x1, y1, x2, y2 = map(int, box.xyxy[0])
+                        h, w = frame.shape[:2]
+                        # 패딩 10% 추가
+                        pad_w = int((x2 - x1) * 0.1)
+                        pad_h = int((y2 - y1) * 0.1)
+                        
+                        crop_x1 = max(0, x1 - pad_w)
+                        crop_y1 = max(0, y1 - pad_h)
+                        crop_x2 = min(w, x2 + pad_w)
+                        crop_y2 = min(h, y2 + pad_h)
+                        
+                        roi = frame[crop_y1:crop_y2, crop_x1:crop_x2]
+                        if roi.size > 0:
+                            # ROI에 대해서만 OCR 실행
+                            roi_texts = self.detect_text(roi)
+                            if roi_texts:
+                                combined_roi = "".join([re.sub(r'[^0-9가-힣]', '', t) for t in roi_texts])
+                                for pattern in LICENSE_PLATE_PATTERNS:
+                                    # 개별 텍스트 및 결합 텍스트 확인
+                                    if any(re.search(pattern, re.sub(r'[^0-9가-힣]', '', t)) for t in roi_texts) or \
+                                       re.search(pattern, combined_roi):
+                                        roi_ocr_matched = True
+                                        break
+                        
+                        if roi_ocr_matched: break
+                if roi_ocr_matched: break
+
+            # 최종 판정
+            if roi_ocr_matched or yolo_high_conf:
                 return True
                 
+        except Exception as e:
+            # print(f"  ⚠ 번호판 ROI 분석 에러: {e}")
+            pass
+
         return False
 
     def detect_tattoo(self, frame):
@@ -214,7 +245,7 @@ class VideoAnalyzer:
         except:
             return False
 
-    def analyze(self, video_path):
+    def analyze(self, video_path, target_category=None):
         """영상 전체 분석"""
         results = {
             'face': False,
@@ -268,16 +299,26 @@ class VideoAnalyzer:
                 total_faces += len(faces)
                 detected_now = True
 
-            # 텍스트 및 번호판
-            texts = self.detect_text(frame)
-            if texts:
-                results['text'] = True
-                all_texts.extend(texts)
-                detected_now = True
-                
-                # 번호판 감지 (프레임별로 결합 텍스트 및 YOLO 확인)
-                if self.detect_license_plate(texts, frame=frame):
+            # 번호판 감지 (타겟 카테고리가 번호판인 경우 우선 수행 - ROI 최적화)
+            if target_category == 'license_plate':
+                if self.detect_license_plate(frame):
                     results['license_plate'] = True
+                    detected_now = True
+
+            # 텍스트 감지 (일반 텍스트 카테고리이거나 번호판 수집 중에도 텍스트 로그 기록을 위해 실행)
+            # 번호판 감지가 필요 없는 경우 전체 OCR을 건너뛰어 속도 향상 가능
+            if target_category == 'text' or (detected_now and target_category != 'license_plate'):
+                texts = self.detect_text(frame)
+                if texts:
+                    results['text'] = True
+                    all_texts.extend(texts)
+                    detected_now = True
+            elif target_category == 'license_plate' and not results['license_plate']:
+                # 번호판을 못 찾은 경우에만 전체 화면 OCR 한 번 더 시도 (보수적 접근)
+                texts = self.detect_text(frame)
+                if texts:
+                    all_texts.extend(texts)
+                    # 이미 detect_license_plate에서 결과가 안 나왔으므로 여기서는 텍스트만 수집
 
             # 타투
             if self.detect_tattoo(frame):

{ytcollector-1.1.2 → ytcollector-1.1.7}/ytcollector/cli.py

@@ -74,7 +74,7 @@ def create_parser():
     parser.add_argument(
         '-v', '--version',
         action='version',
-        version='%(prog)s 1.1.2'
+        version='%(prog)s 1.1.6'
     )
     parser.add_argument(
         '--check-deps',

{ytcollector-1.1.2 → ytcollector-1.1.7}/ytcollector/downloader.py

@@ -31,6 +31,29 @@ class YouTubeDownloader:
     def _get_ua(self):
         return random.choice(USER_AGENTS)
 
+    def _extract_vid(self, url):
+        """URL에서 비디오 ID 추출"""
+        if "v=" in url:
+            return url.split("v=")[1].split("&")[0]
+        return url.split("/")[-1]
+
+    def _load_processed_ids(self):
+        """모든 youtube_url_*.txt 파일에서 이미 처리된 비디오 ID 목록 로드"""
+        processed_ids = set()
+        for filename in os.listdir("."):
+            if filename.startswith("youtube_url_") and filename.endswith(".txt"):
+                try:
+                    with open(filename, 'r', encoding='utf-8') as f:
+                        for line in f:
+                            if line.strip() and not line.strip().startswith('#'):
+                                url = line.split(',')[0].strip()
+                                vid = self._extract_vid(url)
+                                if vid:
+                                    processed_ids.add(vid)
+                except:
+                    continue
+        return processed_ids
+
     def _get_query(self, category):
         """검색어 순환 반환"""
         if category not in self.query_index:
@@ -161,7 +184,7 @@ class YouTubeDownloader:
 
         if status == "ok" and filepath:
             print(f"  🔍 분석 중...")
-            analysis = self.analyzer.analyze(filepath)
+            analysis = self.analyzer.analyze(filepath, target_category=category)
 
             detected = []
             if analysis['face']:
@@ -243,10 +266,19 @@ class YouTubeDownloader:
 
         # 필터링
         filtered = []
+        processed_ids = self._load_processed_ids()
+        
         for entry in entries:
             if not entry: continue
 
             vid = entry.get('id')
+            if not vid: continue
+            
+            # 이미 처리된 영상은 즉시 패스
+            if vid in processed_ids:
+                print(f"  ⏭ [기록됨] {vid}")
+                continue
+
             title = entry.get('title', '')
             dur = entry.get('duration') or self._get_duration(vid)
 

{ytcollector-1.1.2 → ytcollector-1.1.7}/ytcollector.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.1.2
+Version: 1.1.7
 Summary: YouTube 콘텐츠 수집기 - 얼굴, 번호판, 타투, 텍스트 감지
 Author: YTCollector Team
 License: MIT
@@ -44,7 +44,9 @@ Requires-Dist: ytcollector[analysis,dev]; extra == "all"
 pip install yt-dlp
 ```
 
-### 분석 기능용 패키지 (권장)
+### 분석 기능용 패키지 (권장 - v1.1.6+)
+
+분석 기능을 원활하게 사용하려면 아래 패키지들이 필요합니다. GPU(CUDA)가 설치된 경우 자동으로 가속이 활성화됩니다.
 
 ```bash
 pip install opencv-python easyocr numpy ultralytics
@@ -132,7 +134,7 @@ ytcollector -c face --proxy http://proxy.server:8080
 
 ## SBS Dataset 구축 (URL 리스트 기반)
 
-URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다.
+URL 리스트를 기반으로 영상을 수집하고 특정 시점을 기준으로 자동으로 클리핑(3분 미만)하는 기능입니다. (v1.1.6에서 ROI 엔진 최적화 적용)
 
 ### 실행 방법
 
@@ -168,7 +170,8 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 ├── 번호판_미감지/     # 번호판 미감지 (수동 확인용)
 ├── 타투/              # 타투 감지된 영상
 ├── 텍스트/            # 텍스트 감지된 영상
-└── .archive.txt       # 다운로드 기록 (중복 방지)
+├── .archive.txt       # 기본 다운로드 기록
+└── youtube_url_*.txt  # 카테고리별 성공 로그 (v1.1.5+ 중복 체크에 활용)
 ```
 
 ## 파일 구조
@@ -188,9 +191,14 @@ https://www.youtube.com/watch?v=aqz-KE-bpKQ, 00:10, sample_task
 |-----------|-----------|------|
 | 얼굴 | OpenCV Haar Cascade | 정면 얼굴 감지 |
 | 텍스트 | EasyOCR | 한국어/영어 문자 인식 (분석 품질 및 프레임 수 개선) |
-| 번호판 | YOLO-World + OCR | YOLO-World 기반 시각적 감지 + OCR 매칭 |
+| 번호판 | YOLO-World + ROI OCR | v1.1.6: YOLO로 감지 후 해당 영역만 OCR (속도 2x, 정확도 향상) |
 | 타투 | OpenCV HSV 분석 | 피부 영역 내 잉크 패턴 감지 |
 
+### 주요 최적화 (v1.1.5~1.1.6)
+- **ROI 기반 감지**: 전체 화면이 아닌 YOLO가 지정한 영역만 OCR하여 속도와 정확도 대폭 향상
+- **GPU 가속 지원**: CUDA 사용 가능 시 YOLO 및 OCR 자동 가속
+- **로그 기반 중복 방지**: 로컬 파일이 없어도 `youtube_url_*.txt` 기록을 참조하여 중복 분석 방지
+
 ## 주의사항
 
 - 영상은 다운로드 후 분석하여 해당 카테고리가 감지된 경우에만 저장됩니다