ytcollector 1.0.7__py3-none-any.whl → 1.0.9__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- ytcollector/__init__.py +36 -11
- ytcollector/analyzer.py +205 -0
- ytcollector/cli.py +186 -216
- ytcollector/config.py +66 -62
- ytcollector/dataset_builder.py +136 -0
- ytcollector/downloader.py +328 -453
- ytcollector-1.0.9.dist-info/METADATA +207 -0
- ytcollector-1.0.9.dist-info/RECORD +11 -0
- ytcollector-1.0.9.dist-info/entry_points.txt +4 -0
- {ytcollector-1.0.7.dist-info → ytcollector-1.0.9.dist-info}/top_level.txt +0 -1
- config/settings.py +0 -39
- ytcollector/utils.py +0 -144
- ytcollector/verifier.py +0 -187
- ytcollector-1.0.7.dist-info/METADATA +0 -105
- ytcollector-1.0.7.dist-info/RECORD +0 -12
- ytcollector-1.0.7.dist-info/entry_points.txt +0 -2
- {ytcollector-1.0.7.dist-info → ytcollector-1.0.9.dist-info}/WHEEL +0 -0
|
@@ -1,105 +0,0 @@
|
|
|
1
|
-
Metadata-Version: 2.4
|
|
2
|
-
Name: ytcollector
|
|
3
|
-
Version: 1.0.7
|
|
4
|
-
Summary: SBS 데이터셋 수집기
|
|
5
|
-
Requires-Python: >=3.9
|
|
6
|
-
Description-Content-Type: text/markdown
|
|
7
|
-
Requires-Dist: yt-dlp>=2024.1.0
|
|
8
|
-
Requires-Dist: ultralytics>=8.1.0
|
|
9
|
-
Requires-Dist: opencv-python>=4.9.0
|
|
10
|
-
Requires-Dist: tqdm>=4.66.0
|
|
11
|
-
Requires-Dist: imageio-ffmpeg>=0.4.9
|
|
12
|
-
|
|
13
|
-
# Downloader: SBS 데이터셋 수집기
|
|
14
|
-
|
|
15
|
-
YouTube 영상에서 얼굴, 자동차 번호판, 타투, 텍스트 자막을 수집하고 YOLO-World로 검증하는 자동화 파이프라인입니다.
|
|
16
|
-
|
|
17
|
-
## 1. 설치 및 시작
|
|
18
|
-
|
|
19
|
-
**필수 요구사항:**
|
|
20
|
-
- Python 3.8 이상
|
|
21
|
-
- FFmpeg (pip 설치 시 `imageio-ffmpeg`를 통해 자동으로 구성되나, 실패 시 Mac: `brew install ffmpeg` 설치 권장)
|
|
22
|
-
|
|
23
|
-
**설치:**
|
|
24
|
-
```bash
|
|
25
|
-
cd 260203_sbs_dataset
|
|
26
|
-
pip install -e .
|
|
27
|
-
```
|
|
28
|
-
|
|
29
|
-
**프로젝트 초기화 (최초 1회):**
|
|
30
|
-
필요한 폴더(`urls/`, `video/`)를 생성합니다.
|
|
31
|
-
```bash
|
|
32
|
-
ytcollector init
|
|
33
|
-
```
|
|
34
|
-
|
|
35
|
-
---
|
|
36
|
-
|
|
37
|
-
## 2. URL 관리
|
|
38
|
-
|
|
39
|
-
다운로드할 YouTube 영상 리스트는 텍스트 파일로 관리합니다.
|
|
40
|
-
**파일 위치:** `urls/<태스크이름>/youtube_url.txt` (예: `urls/face/youtube_url.txt`)
|
|
41
|
-
|
|
42
|
-
**파일 형식 (CSV 스타일):**
|
|
43
|
-
```text
|
|
44
|
-
task_type,url,timestamp_min,timestamp_sec,description
|
|
45
|
-
face,https://www.youtube.com/watch?v=VIDEO_ID,2,30,설명
|
|
46
|
-
```
|
|
47
|
-
* `init` 명령 실행 시 샘플 내용이 포함된 파일이 자동 생성됩니다.
|
|
48
|
-
|
|
49
|
-
---
|
|
50
|
-
|
|
51
|
-
## 3. 사용법 (다운로드 & 검증)
|
|
52
|
-
|
|
53
|
-
이 프로그램은 **다운로드 → YOLO 검증 → (성공 시) 저장** 순서로 작동합니다. 타겟 객체가 없으면 자동으로 삭제됩니다.
|
|
54
|
-
|
|
55
|
-
### 주요 명령어 예시
|
|
56
|
-
안정적으로 하나씩 다운로드하거나, 여러 태스크를 동시에 처리하고 목표 수량을 설정할 수 있습니다.
|
|
57
|
-
|
|
58
|
-
```bash
|
|
59
|
-
# 기본 다운로드 (태스크 하나)
|
|
60
|
-
ytcollector download --task face
|
|
61
|
-
|
|
62
|
-
# 여러 태스크 동시에 실행 및 목표 수량(-n) 설정
|
|
63
|
-
ytcollector download --task face tattoo text -n 100
|
|
64
|
-
|
|
65
|
-
# 🚀 Fast 모드 (병렬 다운로드)
|
|
66
|
-
ytcollector download --task face --fast
|
|
67
|
-
```
|
|
68
|
-
* **방화벽 우회**: 랜덤 딜레이(1~3초)가 적용되어 차단을 방지합니다.
|
|
69
|
-
* **에러 무시**: 중간에 에러가 나도 멈추지 않고 다음 영상으로 넘어갑니다.
|
|
70
|
-
|
|
71
|
-
### 저장 파일 규칙
|
|
72
|
-
* **파일명**: `face_0001.mp4`, `face_0002.mp4` ... (순차 번호)
|
|
73
|
-
* **중복 방지**: `download_history.json`에 기록하여, 이미 받은 URL은 중복해서 받지 않습니다.
|
|
74
|
-
|
|
75
|
-
---
|
|
76
|
-
|
|
77
|
-
## 4. NAS / 네트워크 저장 설정
|
|
78
|
-
|
|
79
|
-
영상을 로컬이 아닌 NAS에 저장하려면 설정을 수정하세요.
|
|
80
|
-
OS(Windows/Mac)를 자동 감지하여 적절한 경로를 사용합니다.
|
|
81
|
-
|
|
82
|
-
**설정 파일 수정:** `ytcollector/config.py`
|
|
83
|
-
```python
|
|
84
|
-
# Windows 예시
|
|
85
|
-
NAS_PATH_WINDOWS = r"\\NAS_SERVER_IP\Data\Private Dataset\..."
|
|
86
|
-
|
|
87
|
-
# Mac 예시 (/Volumes로 마운트된 경로 확인 필요)
|
|
88
|
-
NAS_PATH_MAC = "/Volumes/Data/Private Dataset/..."
|
|
89
|
-
```
|
|
90
|
-
|
|
91
|
-
---
|
|
92
|
-
|
|
93
|
-
## 5. 전체 명령어 목록
|
|
94
|
-
|
|
95
|
-
| 명령어 | 설명 | 예시 |
|
|
96
|
-
|--------|------|------|
|
|
97
|
-
| `init` | 프로젝트 초기화 | `ytcollector init` |
|
|
98
|
-
| `download` | 대량 다운로드 (여러 태스크, 개수 제한 가능) | `ytcollector download --task face tattoo -n 50` |
|
|
99
|
-
| `download-single` | URL 1개만 테스트 다운로드 | `ytcollector download-single --task face -u ...` |
|
|
100
|
-
| `verify` | 수동 YOLO 검증 (기존 파일) | `ytcollector verify --task face` |
|
|
101
|
-
| `list-tasks` | 지원하는 태스크 목록 확인 | `ytcollector list-tasks` |
|
|
102
|
-
|
|
103
|
-
## 6. 문제 해결
|
|
104
|
-
* **검증 실패가 너무 많음**: `config.py`에서 `CONFIDENCE_THRESHOLD` (기본 0.25) 값을 낮춰보세요.
|
|
105
|
-
* **IP 차단**: Fast 모드 사용 중 YouTube 접근이 막히면 잠시 기다린 후 다시 시도하거나 딜레이 시간을 늘리세요.
|
|
@@ -1,12 +0,0 @@
|
|
|
1
|
-
config/settings.py,sha256=RcK41kaUC0zam5SsdXfb7u_qjM_TlJDa0a8hC_MGacQ,1197
|
|
2
|
-
ytcollector/__init__.py,sha256=tMCSB_dqIAY-1jVYkIrI1PvRYTnL1EkofRYGKh1uN24,365
|
|
3
|
-
ytcollector/cli.py,sha256=meCnT3cMBF15AkHpPeUdCFjL6WHZI-UB_F1echeU6is,8328
|
|
4
|
-
ytcollector/config.py,sha256=ez9flxTbjmdiJB7_IYivWd9xaRfJ8CLBhPYRedLi8Mk,2323
|
|
5
|
-
ytcollector/downloader.py,sha256=ZYCz2oQyVmr9PQG3gVIH17KlZgqomCnNd06n1TyMSR8,18481
|
|
6
|
-
ytcollector/utils.py,sha256=gInDx6adV-SfQ2SH5_i8w1gvYL-Nsmz1e1W__gCdVH8,4654
|
|
7
|
-
ytcollector/verifier.py,sha256=8Nn3b6fTQYxCGPt01kJMDSZ2hy8gk54deSayOpBuY48,6286
|
|
8
|
-
ytcollector-1.0.7.dist-info/METADATA,sha256=79KVtg4U_lrLn-UHTJTugSdggrRdg3kKN5Usqc6kcTM,3727
|
|
9
|
-
ytcollector-1.0.7.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
|
|
10
|
-
ytcollector-1.0.7.dist-info/entry_points.txt,sha256=PoanZbxogGnV4tLcZZkla0Yh7OvPtqcukDYr563w5RA,53
|
|
11
|
-
ytcollector-1.0.7.dist-info/top_level.txt,sha256=TVfBZHJgYRfSSTgLJELvOoMA55qR8kWuxtiIaItwzIQ,19
|
|
12
|
-
ytcollector-1.0.7.dist-info/RECORD,,
|
|
File without changes
|