ytcollector 1.0.6__py3-none-any.whl → 1.0.7__py3-none-any.whl

ytcollector/__init__.py

@@ -3,7 +3,7 @@ SBS Dataset Collector - YouTube 영상 수집 및 YOLO-World 검증 파이프라
 """
 from pathlib import Path
 
-__version__ = "1.0.6"
+__version__ = "1.0.7"
 __author__ = "SBS Dataset Team"
 
 # Package root directory

ytcollector/downloader.py

@@ -49,6 +49,35 @@ class VideoDownloader:
                 'channel': info.get('channel'),
                 'upload_date': info.get('upload_date'),
             }
+            
+    def search_youtube(self, query: str, max_results: int = 50) -> List[Dict]:
+        """YouTube 검색을 통해 상위 결과의 URL 목록 반환"""
+        ydl_opts = {
+            'quiet': True,
+            'no_warnings': True,
+            'extract_flat': True,
+            'force_generic_extractor': False,
+        }
+        
+        search_query = f"ytsearch{max_results}:{query}"
+        logger.info(f"Searching YouTube for: '{query}' (Max {max_results} results)")
+        
+        results = []
+        with yt_dlp.YoutubeDL(ydl_opts) as ydl:
+            try:
+                info = ydl.extract_info(search_query, download=False)
+                if 'entries' in info:
+                    for entry in info['entries']:
+                        if entry:
+                            results.append({
+                                'url': f"https://www.youtube.com/watch?v={entry['id']}",
+                                'title': entry.get('title'),
+                                'id': entry['id']
+                            })
+            except Exception as e:
+                logger.error(f"Search failed: {e}")
+                
+        return results
     
     def calculate_clip_range(
         self, 
@@ -357,34 +386,81 @@ def _process_download_loop(txt_path: Path, task_type: str, base_dir: Path = None
                 'status': 'error'
             }
 
-    if parallel:
-        with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
-            futures = [executor.submit(process_item, item) for item in items]
-            
-            # 진행 상황 표시
-            from tqdm import tqdm
-            for future in tqdm(as_completed(futures), total=len(items), desc="Fast Download"):
-                try:
-                    res = future.result()
-                    results.append(res)
-                    if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
-                        logger.warning(f"Download limit ({limit}) reached. Stopping remaining tasks.")
-                        executor.shutdown(wait=False, cancel_futures=True)
-                        break
-                except Exception:
-                    continue
-    else:
-        # 순차 실행
-        for item in items:
-            # 루프 시작 전 체크
-            if downloader.get_saved_video_count() >= limit:
-                logger.info(f"Target count ({limit}) reached. Stopping.")
-                break
+    # --- 1단계: youtube_url.txt 파일 목록 처리 ---
+    if items:
+        if parallel:
+            with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
+                futures = [executor.submit(process_item, item) for item in items]
                 
-            res = process_item(item)
-            results.append(res)
-            if res.get('status') == 'limit_reached':
-                logger.info(f"Target count ({limit}) reached. Stopping.")
-                break
+                # 진행 상황 표시
+                from tqdm import tqdm
+                for future in tqdm(as_completed(futures), total=len(items), desc="Fast Download"):
+                    try:
+                        res = future.result()
+                        results.append(res)
+                        if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
+                            logger.info(f"Download limit ({limit}) reached. Stopping.")
+                            executor.shutdown(wait=False, cancel_futures=True)
+                            break
+                    except Exception:
+                        continue
+        else:
+            # 순차 실행
+            for item in items:
+                if downloader.get_saved_video_count() >= limit:
+                    break
+                res = process_item(item)
+                results.append(res)
+                if res.get('status') == 'limit_reached':
+                    break
+
+    # --- 2단계: 목표 수량을 못 채웠을 경우 YouTube 검색Fallback ---
+    current_count = downloader.get_saved_video_count()
+    if current_count < limit:
+        remaining = limit - current_count
+        logger.info(f"\nTarget not reached ({current_count}/{limit}). Starting YouTube Search fallback for '{task_type}'...")
+        
+        # 검색어: 태스크 이름 (필요시 config에서 태스크별 검색어 별도 지정 가능)
+        search_results = downloader.search_youtube(task_type, max_results=remaining * 2)
+        
+        if not search_results:
+            logger.warning("No search results found.")
+            return results
+        
+        # 검색 결과는 타임스탬프 정보가 없으므로, 기본적으로 영상의 1:00 지점 혹은 0:00 지점을 시도
+        # 여기서는 영상의 대략 1분 지점(영상이 짧으면 0)을 타겟으로 시도해봄
+        search_items = []
+        for entry in search_results:
+            search_items.append({
+                'task_type': task_type,
+                'url': entry['url'],
+                'timestamp_min': 1,  # 1분 지점 샘플링 시도
+                'timestamp_sec': 0,
+                'description': f"Auto-searched: {entry['title']}"
+            })
+            
+        logger.info(f"Processing {len(search_items)} search results...")
+        
+        if parallel:
+            with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:
+                futures = [executor.submit(process_item, item) for item in search_items]
+                from tqdm import tqdm
+                for future in tqdm(as_completed(futures), total=len(search_items), desc="Search Fallback"):
+                    try:
+                        res = future.result()
+                        results.append(res)
+                        if res.get('status') == 'limit_reached' or downloader.get_saved_video_count() >= limit:
+                            executor.shutdown(wait=False, cancel_futures=True)
+                            break
+                    except Exception:
+                        continue
+        else:
+            for item in search_items:
+                if downloader.get_saved_video_count() >= limit:
+                    break
+                res = process_item(item)
+                results.append(res)
+                if res.get('status') == 'limit_reached':
+                    break
     
     return results

{ytcollector-1.0.6.dist-info → ytcollector-1.0.7.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ytcollector
-Version: 1.0.6
+Version: 1.0.7
 Summary: SBS 데이터셋 수집기
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
@@ -18,7 +18,7 @@ YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을
 
 **필수 요구사항:**
 - Python 3.8 이상
-- FFmpeg (Mac: `brew install ffmpeg`) **👈 필수 설치! (영상 자르기에 필요)**
+- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
 
 **설치:**
 ```bash
@@ -52,15 +52,17 @@ face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
 
 이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
 
-### 기본 다운로드 (순차 실행)
-안정적으로 하나씩 다운로드하고 검증합니다.
+### 주요 명령어 예시
+안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
+
 ```bash
+# 기본 다운로드 (태스크 하나)
 ytcollector download --task face
-```
 
-### 🚀 Fast 모드 (병렬 다운로드)
-대량의 영상을 빠르게 수집할 때 사용합니다. (4개 스레드 동시 실행)
-```bash
+# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
+ytcollector download --task face tattoo text -n 100
+
+# 🚀 Fast 모드 (병렬 다운로드)
 ytcollector download --task face --fast
 ```
 * **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
@@ -93,8 +95,8 @@ NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
 | 명령어 | 설명 | 예시 |
 |--------|------|------|
 | `init` | 프로젝트 초기화 | `ytcollector init` |
-| `download` | 텍스트 파일 목록 대량 다운로드 | `ytcollector download --task face --fast` |
-| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face ...` |
+| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
+| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
 | `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
 | `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
 

ytcollector-1.0.7.dist-info/RECORD

@@ -0,0 +1,12 @@
+config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
+ytcollector/__init__.py,sha256=tMCSB_dqIAY-1jVYkIrI1PvRYTnL1EkofRYGKh1uN24,365
+ytcollector/cli.py,sha256=meCnT3cMBF15AkHpPeUdCFjL6WHZI-UB_F1echeU6is,8328
+ytcollector/config.py,sha256=ez9flxTbjmdiJB7_IYivWd9xaRfJ8CLBhPYRedLi8Mk,2323
+ytcollector/downloader.py,sha256=ZYCz2oQyVmr9PQG3gVIH17KlZgqomCnNd06n1TyMSR8,18481
+ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
+ytcollector/verifier.py,sha256=8Nn3b6fTQYxCGPt01kJMDSZ2hy8gk54deSayOpBuY48,6286
+ytcollector-1.0.7.dist-info/METADATA,sha256=79KVtg4U_lrLn-UHTJTugSdggrRdg3kKN5Usqc6kcTM,3727
+ytcollector-1.0.7.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+ytcollector-1.0.7.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
+ytcollector-1.0.7.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
+ytcollector-1.0.7.dist-info/RECORD,,

ytcollector-1.0.6.dist-info/RECORD

@@ -1,12 +0,0 @@
-config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
-ytcollector/__init__.py,sha256=0xuhBoqfD_wEORF5eN2C8a1z7FV-mafh-f8W-zax2c0,365
-ytcollector/cli.py,sha256=meCnT3cMBF15AkHpPeUdCFjL6WHZI-UB_F1echeU6is,8328
-ytcollector/config.py,sha256=ez9flxTbjmdiJB7_IYivWd9xaRfJ8CLBhPYRedLi8Mk,2323
-ytcollector/downloader.py,sha256=3Y54mudqQ1LqfFtKrU3uloNp2Oz-hcf28GwEI6eDUa0,14944
-ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
-ytcollector/verifier.py,sha256=8Nn3b6fTQYxCGPt01kJMDSZ2hy8gk54deSayOpBuY48,6286
-ytcollector-1.0.6.dist-info/METADATA,sha256=IAnpxTaWUUaZULsCEbnWXiQgPCGYE2oBq0bPl9r8U8w,3543
-ytcollector-1.0.6.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-ytcollector-1.0.6.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
-ytcollector-1.0.6.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
-ytcollector-1.0.6.dist-info/RECORD,,