ytcollector 1.0.6__tar.gz → 1.0.8__tar.gz

{ytcollector-1.0.6 → ytcollector-1.0.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.0.6
+Version: 1.0.8
 Summary: SBS 데이터셋 수집기
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
@@ -18,7 +18,7 @@ YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을
 
 **필수 요구사항:**
 - Python 3.8 이상
-- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
 
 **설치:**
 ```bash
@@ -52,15 +52,17 @@ face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
 
 이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
 
-### 기본 다운로드 (순차 실행)
-안정적으로 하나씩 다운로드하고 검증합니다.
+### 주요 명령어 예시
+안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
+
 ```bash
+# 기본 다운로드 (태스크 하나)
 ytcollector download --task face
-```
 
-### 🚀 Fast 모드 (병렬 다운로드)
-대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
-```bash
+# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
+ytcollector download --task face tattoo text -n 100
+
+# 🚀 Fast 모드 (병렬 다운로드)
 ytcollector download --task face --fast
 ```
 * **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
@@ -93,8 +95,8 @@ NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
 | 명령어 | 설명 | 예시 |
 |--------|------|------|
 | `init` | 프로젝트 초기화 | `ytcollector init` |
-| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
-| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
 | `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
 | `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
 

{ytcollector-1.0.6 → ytcollector-1.0.8}/README.md

@@ -6,7 +6,7 @@ YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을
 
 **필수 요구사항:**
 - Python 3.8 이상
-- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
 
 **설치:**
 ```bash
@@ -40,15 +40,17 @@ face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
 
 이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
 
-### 기본 다운로드 (순차 실행)
-안정적으로 하나씩 다운로드하고 검증합니다.
+### 주요 명령어 예시
+안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
+
 ```bash
+# 기본 다운로드 (태스크 하나)
 ytcollector download --task face
-```
 
-### 🚀 Fast 모드 (병렬 다운로드)
-대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
-```bash
+# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
+ytcollector download --task face tattoo text -n 100
+
+# 🚀 Fast 모드 (병렬 다운로드)
 ytcollector download --task face --fast
 ```
 * **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
@@ -81,8 +83,8 @@ NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
 | 명령어 | 설명 | 예시 |
 |--------|------|------|
 | `init` | 프로젝트 초기화 | `ytcollector init` |
-| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
-| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
 | `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
 | `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
 

{ytcollector-1.0.6 → ytcollector-1.0.8}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "ytcollector"
-version = "1.0.6"
+version = "1.0.8"
 description = "SBS 데이터셋 수집기"
 readme = "README.md"
 requires-python = ">=3.9"

{ytcollector-1.0.6 → ytcollector-1.0.8}/ytcollector/__init__.py

@@ -3,7 +3,7 @@ SBS Dataset Collector - YouTube 영상 수집 및 YOLO-World 검증 파이프라
 """
 from pathlib import Path
 
-__version__ = "1.0.6"
+__version__ = "1.0.8"
 __author__ = "SBS Dataset Team"
 
 # Package root directory

{ytcollector-1.0.6 → ytcollector-1.0.8}/ytcollector/cli.py

@@ -69,9 +69,9 @@ def run_download(args):
         
         if args.fast:
             from .downloader import download_from_txt_parallel
-            results = download_from_txt_parallel(txt_file, task, base_dir, max_count=args.count)
+            results = download_from_txt_parallel(txt_file, task, base_dir, max_count=args.count, skip_verify=args.skip_verify)
         else:
-            results = download_from_txt(txt_file, task, base_dir, max_count=args.count)
+            results = download_from_txt(txt_file, task, base_dir, max_count=args.count, skip_verify=args.skip_verify)
         
         success_count = sum(1 for r in results if r.get('success'))
         total_success += success_count
@@ -189,6 +189,7 @@ Examples:
     download_parser.add_argument('--task', '-t', required=True, nargs='+', choices=VALID_TASKS, help='One or more tasks (e.g. face tattoo)')
     download_parser.add_argument('--count', '-n', type=int, help='Max videos to collect (default: 1000)')
     download_parser.add_argument('--fast', action='store_true', help='Enable fast parallel downloading')
+    download_parser.add_argument('--skip-verify', '-S', action='store_true', help='Skip YOLO verification and save all clips')
     
     # Download single
     single_parser = subparsers.add_parser('download-single', help='Download single video')
@@ -206,6 +207,7 @@ Examples:
     pipeline_parser = subparsers.add_parser('pipeline', help='Full pipeline')
     pipeline_parser.add_argument('--task', '-t', required=True, nargs='+', choices=VALID_TASKS)
     pipeline_parser.add_argument('--verify', action='store_true')
+    pipeline_parser.add_argument('--skip-verify', '-S', action='store_true', help='Skip verification in download stage')
     
     # List tasks
     subparsers.add_parser('list-tasks', help='List available tasks')

{ytcollector-1.0.6 → ytcollector-1.0.8}/ytcollector/downloader.py

@@ -49,6 +49,35 @@ class VideoDownloader:
                 'channel': info.get('channel'),
                 'upload_date': info.get('upload_date'),
             }
+            
+    def search_youtube(self, query: str, max_results: int = 50) -> List[Dict]:
+        """YouTube 검색을 통해 상위 결과의 URL 목록 반환"""
+        ydl_opts = {
+            'quiet': True,
+            'no_warnings': True,
+            'extract_flat': True,
+            'force_generic_extractor': False,
+        }
+        
+        search_query = f"ytsearch{max_results}:{query}"
+        logger.info(f"Searching YouTube for: '{query}' (Max {max_results} results)")
+        
+        results = []
+        with yt_dlp.YoutubeDL(ydl_opts) as ydl:
+            try:
+                info = ydl.extract_info(search_query, download=False)
+                if 'entries' in info:
+                    for entry in info['entries']:
+                        if entry:
+                            results.append({
+                                'url': f"https://www.youtube.com/watch?v={entry['id']}",
+                                'title': entry.get('title'),
+                                'id': entry['id']
+                            })
+            except Exception as e:
+                logger.error(f"Search failed: {e}")
+                
+        return results
     
     def calculate_clip_range(
         self, 
@@ -116,7 +145,8 @@ class VideoDownloader:
         self, 
         url: str, 
         timestamp_min: int, 
-        timestamp_sec: int
+        timestamp_sec: int,
+        skip_verify: bool = False
     ) -> Tuple[Optional[Path], Optional[dict]]:
         """
         특정 타임스탬프 기준으로 ±1:30 클립 다운로드
@@ -178,18 +208,24 @@ class VideoDownloader:
         try:
             self.download_segment(url, start_sec, end_sec, temp_path)
             
-            # 5. YOLO 검증
-            logger.info(f"Verifying content for task: {self.task_type}...")
-            # verifier 모듈 사용하여 검증
-            verify_result = verify_clip(temp_path, self.task_type, self.base_dir)
-            
-            if not verify_result.get('is_valid', False):
-                logger.warning(f"Verification failed: No {self.task_type} detected. Deleting...")
-                if temp_path.exists():
-                    temp_path.unlink()
-                return None, None
+            # 5. YOLO 검증 (skip_verify가 False일 때만 수행)
+            if not skip_verify:
+                logger.info(f"Verifying content for task: {self.task_type}...")
+                # verifier 모듈 사용하여 검증
+                verify_result = verify_clip(temp_path, self.task_type, self.base_dir)
+                
+                logger.info(f"Verification Info - Rate: {verify_result.get('summary', {}).get('detection_rate'):.2%}, Is Valid: {verify_result.get('is_valid')}")
+                
+                if not verify_result.get('is_valid', False):
+                    logger.warning(f"Verification failed: No {self.task_type} detected (Rate: {verify_result.get('summary', {}).get('detection_rate'):.2%}). Deleting...")
+                    if temp_path.exists():
+                        temp_path.unlink()
+                    return None, None
+            else:
+                logger.info(f"Skipping verification for task: {self.task_type} (--skip-verify enabled)")
+                verify_result = {'is_valid': True, 'skipped': True}
             
-            # 6. 검증 통과 -> 최종 저장 (순차적 파일명 생성)
+            # 6. 검증 통과(혹은 건너뜀) -> 최종 저장 (순차적 파일명 생성)
             final_path = get_clip_path(self.base_dir, self.task_type, filename=None)
             
             # 이동 (네트워크 드라이브면 shutil.move 사용)
@@ -247,19 +283,17 @@ def parse_txt_line(line: str) -> Optional[Dict]:
         return None
 
 
-def download_from_txt(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None) -> list:
+def download_from_txt(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None, skip_verify: bool = False) -> list:
     """TXT 파일에서 다운로드 실행 (순차)"""
-    # 기존 로직을 process_single_item 함수로 분리하여 재사용할 수 있으면 좋겠지만,
-    # 코드 구조상 일단 순차 실행 유지하고 parallel 함수 별도 구현
-    return _process_download_loop(txt_path, task_type, base_dir, parallel=False, max_count=max_count)
+    return _process_download_loop(txt_path, task_type, base_dir, parallel=False, max_count=max_count, skip_verify=skip_verify)
 
 
-def download_from_txt_parallel(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None) -> list:
+def download_from_txt_parallel(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None, skip_verify: bool = False) -> list:
     """TXT 파일에서 병렬 다운로드 실행 (Fast Mode)"""
-    return _process_download_loop(txt_path, task_type, base_dir, parallel=True, max_count=max_count)
+    return _process_download_loop(txt_path, task_type, base_dir, parallel=True, max_count=max_count, skip_verify=skip_verify)
 
 
-def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None, parallel: bool = False, max_count: int = None) -> list:
+def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None, parallel: bool = False, max_count: int = None, skip_verify: bool = False) -> list:
     from .config import MAX_VIDEOS_PER_TASK, MAX_WORKERS, REQUEST_DELAY_MIN, REQUEST_DELAY_MAX
     import time
     import random
@@ -317,7 +351,8 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
             output_path, metadata = downloader.download_clip_at_timestamp(
                 url=data['url'],
                 timestamp_min=data['timestamp_min'],
-                timestamp_sec=data['timestamp_sec']
+                timestamp_sec=data['timestamp_sec'],
+                skip_verify=skip_verify
             )
             
             if output_path is None:
@@ -357,34 +392,102 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
                 'status': 'error'
             }
 
-    if parallel:
-        with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
-            futures = [executor.submit(process_item, item) for item in items]
+    # --- 1단계: youtube_url.txt 파일 목록 처리 ---
+    if items:
+        if parallel:
+            with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
+                futures = [executor.submit(process_item, item) for item in items]
+                
+                # 진행 상황 표시
+                from tqdm import tqdm
+                for future in tqdm(as_completed(futures), total=len(items), desc="Fast Download"):
+                    try:
+                        res = future.result()
+                        results.append(res)
+                        if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
+                            logger.info(f"Download limit ({limit}) reached. Stopping.")
+                            executor.shutdown(wait=False, cancel_futures=True)
+                            break
+                    except Exception:
+                        continue
+        else:
+            # 순차 실행
+            for item in items:
+                if downloader.get_saved_video_count() >= limit:
+                    break
+                res = process_item(item)
+                results.append(res)
+                if res.get('status') == 'limit_reached':
+                    break
+
+    # --- 2단계: 목표 수량을 못 채웠을 경우 YouTube 검색Fallback (반복 시도) ---
+    max_search_attempts = 5  # 최대 검색 시도 횟수
+    search_attempt = 0
+    processed_urls = set(data['url'] for data in items) # 이미 처리한 URL 중복 검색 방지
+    
+    while downloader.get_saved_video_count() < limit and search_attempt < max_search_attempts:
+        current_count = downloader.get_saved_video_count()
+        remaining = limit - current_count
+        
+        logger.info(f"\n[Search Attempt {search_attempt+1}] Target not reached ({current_count}/{limit}). Searching YouTube for '{task_type}'...")
+        
+        # 검색어: 태스크 이름
+        # 검색 결과 개수를 점진적으로 늘리거나 조절 가능
+        search_results = downloader.search_youtube(task_type, max_results=min(100, remaining * 5))
+        
+        if not search_results:
+            logger.warning("No more search results found.")
+            break
+        
+        # 새로운 URL만 필터링
+        new_entries = [e for e in search_results if e['url'] not in processed_urls]
+        if not new_entries:
+            logger.info("No new unique videos found in this search attempt.")
+            search_attempt += 1
+            continue
+            
+        search_items = []
+        for entry in new_entries:
+            processed_urls.add(entry['url'])
+            # 검색 결과는 타임스탬프 정보가 없으므로 여러 지점 시도 가능 (현재는 1분 지점 고정)
+            search_items.append({
+                'task_type': task_type,
+                'url': entry['url'],
+                'timestamp_min': 1, 
+                'timestamp_sec': 0,
+                'description': f"Auto-searched: {entry['title']}"
+            })
             
-            # 진행 상황 표시
-            from tqdm import tqdm
-            for future in tqdm(as_completed(futures), total=len(items), desc="Fast Download"):
-                try:
-                    res = future.result()
-                    results.append(res)
-                    if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
-                        logger.warning(f"Download limit ({limit}) reached. Stopping remaining tasks.")
-                        executor.shutdown(wait=False, cancel_futures=True)
-                        break
-                except Exception:
-                    continue
+        logger.info(f"Processing {len(search_items)} new search results...")
+        
+        if parallel:
+            with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
+                futures = [executor.submit(process_item, item) for item in search_items]
+                from tqdm import tqdm
+                for future in tqdm(as_completed(futures), total=len(search_items), desc=f"Search Fallback #{search_attempt+1}"):
+                    try:
+                        res = future.result()
+                        results.append(res)
+                        if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
+                            executor.shutdown(wait=False, cancel_futures=True)
+                            break
+                    except Exception:
+                        continue
+        else:
+            for item in search_items:
+                if downloader.get_saved_video_count() >= limit:
+                    break
+                res = process_item(item)
+                results.append(res)
+                if res.get('status') == 'limit_reached':
+                    break
+        
+        search_attempt += 1
+        
+    final_count = downloader.get_saved_video_count()
+    if final_count < limit:
+        logger.warning(f"Finished search attempts. Final count: {final_count}/{limit}")
     else:
-        # 순차 실행
-        for item in items:
-            # 루프 시작 전 체크
-            if downloader.get_saved_video_count() >= limit:
-                logger.info(f"Target count ({limit}) reached. Stopping.")
-                break
-                
-            res = process_item(item)
-            results.append(res)
-            if res.get('status') == 'limit_reached':
-                logger.info(f"Target count ({limit}) reached. Stopping.")
-                break
+        logger.info(f"Successfully reached target count: {final_count}/{limit}")
     
     return results

{ytcollector-1.0.6 → ytcollector-1.0.8}/ytcollector/verifier.py

@@ -136,7 +136,7 @@ class YOLOWorldVerifier:
             'frame_results': frame_results,
             'verified_at': datetime.now().isoformat(),
             'model': self.model_name,
-            'is_valid': detection_rate > 0.1,
+            'is_valid': detection_rate > 0.01,  # 1% 이상 탐지되면 유효한 것으로 간주 (기존 10%에서 하향)
         }
         
         logger.info(

{ytcollector-1.0.6 → ytcollector-1.0.8}/ytcollector.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.0.6
+Version: 1.0.8
 Summary: SBS 데이터셋 수집기
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
@@ -18,7 +18,7 @@ YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을
 
 **필수 요구사항:**
 - Python 3.8 이상
-- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
 
 **설치:**
 ```bash
@@ -52,15 +52,17 @@ face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
 
 이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
 
-### 기본 다운로드 (순차 실행)
-안정적으로 하나씩 다운로드하고 검증합니다.
+### 주요 명령어 예시
+안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
+
 ```bash
+# 기본 다운로드 (태스크 하나)
 ytcollector download --task face
-```
 
-### 🚀 Fast 모드 (병렬 다운로드)
-대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
-```bash
+# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
+ytcollector download --task face tattoo text -n 100
+
+# 🚀 Fast 모드 (병렬 다운로드)
 ytcollector download --task face --fast
 ```
 * **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
@@ -93,8 +95,8 @@ NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
 | 명령어 | 설명 | 예시 |
 |--------|------|------|
 | `init` | 프로젝트 초기화 | `ytcollector init` |
-| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
-| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
 | `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
 | `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |