ytcollector 1.0.2__py3-none-any.whl → 1.0.4__py3-none-any.whl

ytcollector/__init__.py

@@ -3,7 +3,7 @@ SBS Dataset Collector - YouTube 영상 수집 및 YOLO-World 검증 파이프라
 """
 from pathlib import Path
 
-__version__ = "1.0.2"
+__version__ = "1.0.4"
 __author__ = "SBS Dataset Team"
 
 # Package root directory

ytcollector/cli.py

@@ -60,9 +60,9 @@ def run_download(args):
     
     if args.fast:
         from .downloader import download_from_txt_parallel
-        results = download_from_txt_parallel(txt_file, args.task, base_dir)
+        results = download_from_txt_parallel(txt_file, args.task, base_dir, max_count=args.count)
     else:
-        results = download_from_txt(txt_file, args.task, base_dir)
+        results = download_from_txt(txt_file, args.task, base_dir, max_count=args.count)
     
     success_count = sum(1 for r in results if r.get('success'))
     print(f"✓ Download complete: {success_count}/{len(results)} successful")
@@ -173,6 +173,7 @@ Examples:
     # Download
     download_parser = subparsers.add_parser('download', help='Download from youtube_url.txt')
     download_parser.add_argument('--task', '-t', required=True, choices=VALID_TASKS)
+    download_parser.add_argument('--count', '-n', type=int, help='Max videos to collect (default: 1000)')
     download_parser.add_argument('--fast', action='store_true', help='Enable fast parallel downloading')
     
     # Download single

ytcollector/config.py

@@ -41,7 +41,7 @@ MAX_CLIP_DURATION = 180    # 최대 3분
 # Download settings
 VIDEO_FORMAT = "best[ext=mp4]/best"
 DOWNLOAD_RETRIES = 3
-MAX_VIDEOS_PER_TASK = 100  # 태스크별 최대 영상 저장 수
+MAX_VIDEOS_PER_TASK = 1000  # 태스크별 최대 영상 저장 수 (CLI -n 옵션으로 덮어쓰기 가능)
 
 # Fast Mode Settings (Parallel)
 MAX_WORKERS = 4              # 병렬 작업 프로세스 수

ytcollector/downloader.py

@@ -85,6 +85,15 @@ class VideoDownloader:
             'download_ranges': download_range_func(None, [(start_sec, end_sec)]),
             'force_keyframes_at_cuts': True,
         }
+
+        # Use ffmpeg from imageio-ffmpeg
+        try:
+            import imageio_ffmpeg
+            ffmpeg_path = imageio_ffmpeg.get_ffmpeg_exe()
+            ydl_opts['ffmpeg_location'] = ffmpeg_path
+            logger.debug(f"Using ffmpeg from: {ffmpeg_path}")
+        except ImportError:
+            logger.warning("imageio-ffmpeg not found, relying on system ffmpeg")
         
         logger.info(f"Downloading segment [{start_sec}s - {end_sec}s] from: {url}")
         
@@ -238,31 +247,34 @@ def parse_txt_line(line: str) -> Optional[Dict]:
         return None
 
 
-def download_from_txt(txt_path: Path, task_type: str, base_dir: Path = None) -> list:
+def download_from_txt(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None) -> list:
     """TXT 파일에서 다운로드 실행 (순차)"""
     # 기존 로직을 process_single_item 함수로 분리하여 재사용할 수 있으면 좋겠지만,
     # 코드 구조상 일단 순차 실행 유지하고 parallel 함수 별도 구현
-    return _process_download_loop(txt_path, task_type, base_dir, parallel=False)
+    return _process_download_loop(txt_path, task_type, base_dir, parallel=False, max_count=max_count)
 
 
-def download_from_txt_parallel(txt_path: Path, task_type: str, base_dir: Path = None) -> list:
+def download_from_txt_parallel(txt_path: Path, task_type: str, base_dir: Path = None, max_count: int = None) -> list:
     """TXT 파일에서 병렬 다운로드 실행 (Fast Mode)"""
-    return _process_download_loop(txt_path, task_type, base_dir, parallel=True)
+    return _process_download_loop(txt_path, task_type, base_dir, parallel=True, max_count=max_count)
 
 
-def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None, parallel: bool = False) -> list:
+def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None, parallel: bool = False, max_count: int = None) -> list:
     from .config import MAX_VIDEOS_PER_TASK, MAX_WORKERS, REQUEST_DELAY_MIN, REQUEST_DELAY_MAX
     import time
     import random
     from concurrent.futures import ThreadPoolExecutor, as_completed
     
+    # max_count가 없으면 config의 기본값 사용
+    limit = max_count if max_count is not None else MAX_VIDEOS_PER_TASK
+
     results = []
     downloader = VideoDownloader(task_type, base_dir)
     
     # 시작 전 개수 확인
     initial_count = downloader.get_saved_video_count()
-    if initial_count >= MAX_VIDEOS_PER_TASK:
-        logger.warning(f"Task '{task_type}' already has {initial_count} videos. Skipping.")
+    if initial_count >= limit:
+        logger.warning(f"Task '{task_type}' already has {initial_count} videos (Limit: {limit}). Skipping.")
         return results
     
     if not txt_path.exists():
@@ -282,14 +294,26 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
     if not items:
         return results
 
-    logger.info(f"Found {len(items)} URLs. Starting {'parallel' if parallel else 'sequential'} download...")
+    logger.info(f"Found {len(items)} URLs. Target: {limit} videos (Current: {initial_count}). Starting {'parallel' if parallel else 'sequential'} download...")
 
     def process_item(data):
+        # 현재 개수 체크 (루프 도중 목표 달성 시 중단 위함)
+        # 주의: 병렬 처리 시 정확한 count 동기화는 Lock이 필요하지만, 여기선 대략적인 체크로 충분
+        current = downloader.get_saved_video_count()
+        if current >= limit:
+            raise LimitReachedError("Target count reached")
+
         # 방화벽 우회용 랜덤 딜레이 (병렬 모드에서도 적용하여 동시 요청 폭주 완화)
         if parallel:
             time.sleep(random.uniform(REQUEST_DELAY_MIN, REQUEST_DELAY_MAX))
             
         try:
+            # VideoDownloader 내부의 limit 체크는 config 값을 쓰므로, 
+            # 여기서는 외부에서 주입된 limit을 강제할 방법이 필요하거나, 
+            # 단순히 루프 레벨에서 제어하면 됨.
+            # download_clip_at_timestamp 메서드는 내부적으로 MAX_VIDEOS_PER_TASK를 체크하므로,
+            # 이를 우회하거나 단순 루프 제어로 처리.
+            
             output_path, metadata = downloader.download_clip_at_timestamp(
                 url=data['url'],
                 timestamp_min=data['timestamp_min'],
@@ -320,8 +344,7 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
             }
             
         except LimitReachedError:
-            # 병렬 실행 중에는 이 예외 처리 방식이 조금 다를 수 있음 (다른 스레드 멈추게 하려면 Event 사용 등)
-            # 여기서는 개별 스레드 종료로 처리
+            # 내부에서 발생한 LimitReachedError도 처리
             return {'success': False, 'error': 'Limit reached', 'status': 'limit_reached'}
             
         except Exception as e:
@@ -341,18 +364,27 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
             # 진행 상황 표시
             from tqdm import tqdm
             for future in tqdm(as_completed(futures), total=len(items), desc="Fast Download"):
-                res = future.result()
-                results.append(res)
-                if res.get('status') == 'limit_reached':
-                    logger.warning("Download limit reached. Stopping remaining tasks.")
-                    executor.shutdown(wait=False, cancel_futures=True)
-                    break
+                try:
+                    res = future.result()
+                    results.append(res)
+                    if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
+                        logger.warning(f"Download limit ({limit}) reached. Stopping remaining tasks.")
+                        executor.shutdown(wait=False, cancel_futures=True)
+                        break
+                except Exception:
+                    continue
     else:
         # 순차 실행
         for item in items:
+            # 루프 시작 전 체크
+            if downloader.get_saved_video_count() >= limit:
+                logger.info(f"Target count ({limit}) reached. Stopping.")
+                break
+                
             res = process_item(item)
             results.append(res)
             if res.get('status') == 'limit_reached':
+                logger.info(f"Target count ({limit}) reached. Stopping.")
                 break
     
     return results

{ytcollector-1.0.2.dist-info → ytcollector-1.0.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.0.2
+Version: 1.0.4
 Summary: SBS 데이터셋 수집기
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
@@ -8,6 +8,7 @@ Requires-Dist: yt-dlp>=2024.1.0
 Requires-Dist: ultralytics>=8.1.0
 Requires-Dist: opencv-python>=4.9.0
 Requires-Dist: tqdm>=4.66.0
+Requires-Dist: imageio-ffmpeg>=0.4.9
 
 # Downloader: SBS 데이터셋 수집기
 
@@ -17,7 +18,7 @@ YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을
 
 **필수 요구사항:**
 - Python 3.8 이상
-- FFmpeg (Mac: `brew install ffmpeg`)
+- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
 
 **설치:**
 ```bash
@@ -28,7 +29,7 @@ pip install -e .
 **프로젝트 초기화 (최초 1회):**
 필요한 폴더(`urls/`, `video/`)를 생성합니다.
 ```bash
-downloader init
+ytcollector init
 ```
 
 ---
@@ -54,13 +55,13 @@ face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
 ### 기본 다운로드 (순차 실행)
 안정적으로 하나씩 다운로드하고 검증합니다.
 ```bash
-downloader download --task face
+ytcollector download --task face
 ```
 
 ### 🚀 Fast 모드 (병렬 다운로드)
 대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
 ```bash
-downloader download --task face --fast
+ytcollector download --task face --fast
 ```
 * **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
 * **에러 무시**: 중간에 에러가 나도 멈추지 않고 다음 영상으로 넘어갑니다.
@@ -76,7 +77,7 @@ downloader download --task face --fast
 영상을 로컬이 아닌 NAS에 저장하려면 설정을 수정하세요.
 OS(Windows/Mac)를 자동 감지하여 적절한 경로를 사용합니다.
 
-**설정 파일 수정:** `downloader/config.py`
+**설정 파일 수정:** `ytcollector/config.py`
 ```python
 # Windows 예시
 NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\..."
@@ -91,11 +92,11 @@ NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
 
 | 명령어 | 설명 | 예시 |
 |--------|------|------|
-| `init` | 프로젝트 초기화 | `downloader init` |
-| `download` | 텍스트 파일 목록 대량 다운로드 | `downloader download --task face --fast` |
-| `download-single` | URL 1개만 테스트 다운로드 | `downloader download-single --task face ...` |
-| `verify` | 수동 YOLO 검증 (기존 파일) | `downloader verify --task face` |
-| `list-tasks` | 지원하는 태스크 목록 확인 | `downloader list-tasks` |
+| `init` | 프로젝트 초기화 | `ytcollector init` |
+| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
+| `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
 
 ## 6. 문제 해결
 * **검증 실패가 너무 많음**: `config.py`에서 `CONFIDENCE_THRESHOLD` (기본 0.25) 값을 낮춰보세요.

ytcollector-1.0.4.dist-info/RECORD

@@ -0,0 +1,12 @@
+config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
+ytcollector/__init__.py,sha256=6gfthb-C32RDhgM7eJeMql7HSQjxcgRFQesqoRjV6gg,365
+ytcollector/cli.py,sha256=bp9DnVD0bgSHD2sf8no_6s9uZHA7SjYQWdPA-3HaRBY,7720
+ytcollector/config.py,sha256=SPhdw78A9v6ZEI7ykMi_37--BGdWg5hmgZkawFxfxjg,2436
+ytcollector/downloader.py,sha256=3Y54mudqQ1LqfFtKrU3uloNp2Oz-hcf28GwEI6eDUa0,14944
+ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
+ytcollector/verifier.py,sha256=8Nn3b6fTQYxCGPt01kJMDSZ2hy8gk54deSayOpBuY48,6286
+ytcollector-1.0.4.dist-info/METADATA,sha256=s-AAzo8l9x0baBMRcHQnIryHFmyjw3RbFqPn6EiZo6Y,3543
+ytcollector-1.0.4.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+ytcollector-1.0.4.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
+ytcollector-1.0.4.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
+ytcollector-1.0.4.dist-info/RECORD,,

ytcollector-1.0.2.dist-info/RECORD

@@ -1,12 +0,0 @@
-config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
-ytcollector/__init__.py,sha256=5u4z1Iv_0ZUU6C1ALnuvjs8akR6QovuOXvd8dAeEN-Q,365
-ytcollector/cli.py,sha256=lhWIraLdPIXS1c35jakPULGuSwzslNA3sOnY8pOWfuM,7570
-ytcollector/config.py,sha256=FrRXle52EP-0OExt4QFuwaPps7ewXe9FC9oobSd1ZWE,2393
-ytcollector/downloader.py,sha256=gFw8tYkpiTK3aJibto15jdWM3UsdQSLRKuIK5dlEFck,13184
-ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
-ytcollector/verifier.py,sha256=8Nn3b6fTQYxCGPt01kJMDSZ2hy8gk54deSayOpBuY48,6286
-ytcollector-1.0.2.dist-info/METADATA,sha256=8OoYC8tqtnC1r1hDqZG5ZsXeADqHXYRHRCq6zzxAP24,3444
-ytcollector-1.0.2.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-ytcollector-1.0.2.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
-ytcollector-1.0.2.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
-ytcollector-1.0.2.dist-info/RECORD,,