dataset-toolkit 0.1.0__tar.gz

dataset_toolkit-0.1.0/LICENSE

@@ -0,0 +1,22 @@
+MIT License
+
+Copyright (c) 2025 Your Name
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.
+

dataset_toolkit-0.1.0/MANIFEST.in

@@ -0,0 +1,23 @@
+# 包含额外的文件到分发包中
+include README.md
+include LICENSE
+include requirements.txt
+include pyproject.toml
+
+# 包含示例代码
+recursive-include examples *.py
+
+# 包含测试文件
+recursive-include tests *.py
+
+# 排除不需要的文件
+global-exclude __pycache__
+global-exclude *.py[co]
+global-exclude .DS_Store
+global-exclude *.so
+global-exclude *.dylib
+
+# 排除输出目录
+prune outputs
+prune .git
+

dataset_toolkit-0.1.0/PKG-INFO

@@ -0,0 +1,273 @@
+Metadata-Version: 2.4
+Name: dataset-toolkit
+Version: 0.1.0
+Summary: 一个用于加载、处理和导出计算机视觉数据集的工具包
+Home-page: https://github.com/yourusername/dataset-toolkit
+Author: Your Name
+Author-email: Your Name <your.email@example.com>
+License: MIT
+Project-URL: Homepage, https://github.com/yourusername/dataset-toolkit
+Project-URL: Documentation, https://dataset-toolkit.readthedocs.io
+Project-URL: Repository, https://github.com/yourusername/dataset-toolkit
+Project-URL: Bug Tracker, https://github.com/yourusername/dataset-toolkit/issues
+Keywords: computer vision,dataset,yolo,coco,machine learning
+Classifier: Development Status :: 3 - Alpha
+Classifier: Intended Audience :: Developers
+Classifier: Topic :: Software Development :: Libraries :: Python Modules
+Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python :: 3
+Requires-Python: >=3.7
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: Pillow>=8.0.0
+Provides-Extra: dev
+Requires-Dist: pytest>=6.0; extra == "dev"
+Requires-Dist: pytest-cov>=2.0; extra == "dev"
+Requires-Dist: black>=21.0; extra == "dev"
+Requires-Dist: flake8>=3.9; extra == "dev"
+Dynamic: author
+Dynamic: home-page
+Dynamic: license-file
+Dynamic: requires-python
+
+# Dataset Toolkit
+
+一个功能强大、易于使用的 Python 工具包，用于处理计算机视觉数据集。支持多种数据格式的加载、合并、转换和导出。
+
+## ✨ 特性
+
+- 🔄 **多格式支持**：支持 YOLO、COCO 等常见格式
+- 🔗 **数据集合并**：轻松合并多个数据集，支持类别重映射
+- 📤 **灵活导出**：导出为 COCO JSON、TXT 等多种格式
+- 🛠️ **工具函数**：提供坐标转换等实用工具
+- 📦 **标准化数据模型**：统一的内部数据表示，方便扩展
+
+## 📦 安装
+
+### 从 PyPI 安装（推荐）
+
+```bash
+pip install dataset-toolkit
+```
+
+### 从源码安装
+
+```bash
+git clone https://github.com/yourusername/dataset-toolkit.git
+cd dataset-toolkit
+pip install -e .
+```
+
+### 开发模式安装
+
+```bash
+pip install -e ".[dev]"
+```
+
+## 🚀 快速开始
+
+### 基本用法
+
+```python
+from dataset_toolkit import load_yolo_from_local, merge_datasets, export_to_coco
+
+# 1. 加载 YOLO 格式数据集
+dataset1 = load_yolo_from_local(
+    "/path/to/dataset1",
+    categories={0: 'cat', 1: 'dog'}
+)
+
+dataset2 = load_yolo_from_local(
+    "/path/to/dataset2",
+    categories={0: 'car', 1: 'bicycle'}
+)
+
+# 2. 合并数据集（带类别重映射）
+final_categories = {0: 'animal', 1: 'vehicle'}
+category_mapping = {
+    'cat': 'animal',
+    'dog': 'animal',
+    'car': 'vehicle',
+    'bicycle': 'vehicle'
+}
+
+merged = merge_datasets(
+    datasets=[dataset1, dataset2],
+    category_mapping=category_mapping,
+    final_categories=final_categories,
+    new_dataset_name="merged_dataset"
+)
+
+# 3. 导出为 COCO 格式
+export_to_coco(merged, "output/merged.json")
+```
+
+### 链式 API 用法
+
+```python
+from dataset_toolkit import DatasetPipeline
+
+# 使用管道模式处理数据集
+pipeline = DatasetPipeline()
+result = (pipeline
+    .load_yolo("/path/to/dataset1", {0: 'cat', 1: 'dog'})
+    .load_yolo("/path/to/dataset2", {0: 'car'})
+    .merge(
+        category_mapping={'cat': 'animal', 'dog': 'animal', 'car': 'vehicle'},
+        final_categories={0: 'animal', 1: 'vehicle'}
+    )
+    .export_coco("output/merged.json")
+    .execute())
+```
+
+## 📚 API 文档
+
+### 数据加载器
+
+#### `load_yolo_from_local(dataset_path, categories)`
+
+从本地文件系统加载 YOLO 格式的数据集。
+
+**参数：**
+- `dataset_path` (str): 数据集根目录路径，应包含 `images/` 和 `labels/` 子目录
+- `categories` (Dict[int, str]): 类别ID到类别名的映射
+
+**返回：**
+- `Dataset`: 标准化的数据集对象
+
+**示例：**
+```python
+dataset = load_yolo_from_local(
+    "/data/my_dataset",
+    categories={0: 'person', 1: 'car'}
+)
+```
+
+### 数据处理器
+
+#### `merge_datasets(datasets, category_mapping, final_categories, new_dataset_name)`
+
+合并多个数据集，支持类别重映射。
+
+**参数：**
+- `datasets` (List[Dataset]): 要合并的数据集列表
+- `category_mapping` (Dict[str, str]): 旧类别名到新类别名的映射
+- `final_categories` (Dict[int, str]): 最终的类别体系
+- `new_dataset_name` (str, optional): 合并后数据集的名称
+
+**返回：**
+- `Dataset`: 合并后的数据集对象
+
+### 数据导出器
+
+#### `export_to_coco(dataset, output_path)`
+
+导出为 COCO JSON 格式。
+
+**参数：**
+- `dataset` (Dataset): 要导出的数据集
+- `output_path` (str): 输出文件路径
+
+#### `export_to_txt(dataset, output_path, use_relative_paths, base_path)`
+
+导出为 TXT 格式。
+
+**参数：**
+- `dataset` (Dataset): 要导出的数据集
+- `output_path` (str): 输出文件路径
+- `use_relative_paths` (bool, optional): 是否使用相对路径
+- `base_path` (str, optional): 相对路径的基准目录
+
+## 🏗️ 架构设计
+
+```
+dataset_toolkit/
+├── models.py              # 数据模型定义
+├── loaders/              # 数据加载器
+│   ├── local_loader.py   # 本地文件系统加载器
+│   └── remote_loader.py  # 远程数据源加载器（待开发）
+├── processors/           # 数据处理器
+│   ├── merger.py         # 数据集合并
+│   └── filter.py         # 数据过滤（待开发）
+├── exporters/            # 数据导出器
+│   ├── coco_exporter.py  # COCO格式导出
+│   └── txt_exporter.py   # TXT格式导出
+└── utils/                # 工具函数
+    └── coords.py         # 坐标转换
+```
+
+## 🔧 高级用法
+
+### 自定义数据加载器
+
+```python
+from dataset_toolkit.models import Dataset, ImageAnnotation
+from dataset_toolkit.loaders import BaseLoader
+
+class CustomLoader(BaseLoader):
+    def load(self, path, **kwargs):
+        # 实现你的自定义加载逻辑
+        dataset = Dataset(name="custom")
+        # ... 加载数据 ...
+        return dataset
+```
+
+### 批量处理
+
+```python
+from pathlib import Path
+from dataset_toolkit import load_yolo_from_local, export_to_coco
+
+# 批量处理多个数据集
+dataset_dirs = [
+    "/data/dataset1",
+    "/data/dataset2",
+    "/data/dataset3"
+]
+
+categories = {0: 'object'}
+
+for dataset_dir in dataset_dirs:
+    ds = load_yolo_from_local(dataset_dir, categories)
+    output_name = Path(dataset_dir).name + ".json"
+    export_to_coco(ds, f"output/{output_name}")
+```
+
+## 🧪 测试
+
+运行测试：
+
+```bash
+pytest
+```
+
+生成测试覆盖率报告：
+
+```bash
+pytest --cov=dataset_toolkit --cov-report=html
+```
+
+## 📝 开发计划
+
+- [ ] 支持更多数据格式（Pascal VOC、YOLO v8等）
+- [ ] 添加数据增强功能
+- [ ] 支持远程数据源（S3、HTTP等）
+- [ ] 添加数据统计和可视化功能
+- [ ] 提供命令行工具
+- [ ] 支持视频数据集
+
+## 🤝 贡献
+
+欢迎提交 Issue 和 Pull Request！
+
+## 📄 许可证
+
+MIT License
+
+## 📧 联系方式
+
+如有问题，请通过以下方式联系：
+- Email: your.email@example.com
+- GitHub Issues: https://github.com/yourusername/dataset-toolkit/issues
+

dataset_toolkit-0.1.0/README.md

@@ -0,0 +1,240 @@
+# Dataset Toolkit
+
+一个功能强大、易于使用的 Python 工具包，用于处理计算机视觉数据集。支持多种数据格式的加载、合并、转换和导出。
+
+## ✨ 特性
+
+- 🔄 **多格式支持**：支持 YOLO、COCO 等常见格式
+- 🔗 **数据集合并**：轻松合并多个数据集，支持类别重映射
+- 📤 **灵活导出**：导出为 COCO JSON、TXT 等多种格式
+- 🛠️ **工具函数**：提供坐标转换等实用工具
+- 📦 **标准化数据模型**：统一的内部数据表示，方便扩展
+
+## 📦 安装
+
+### 从 PyPI 安装（推荐）
+
+```bash
+pip install dataset-toolkit
+```
+
+### 从源码安装
+
+```bash
+git clone https://github.com/yourusername/dataset-toolkit.git
+cd dataset-toolkit
+pip install -e .
+```
+
+### 开发模式安装
+
+```bash
+pip install -e ".[dev]"
+```
+
+## 🚀 快速开始
+
+### 基本用法
+
+```python
+from dataset_toolkit import load_yolo_from_local, merge_datasets, export_to_coco
+
+# 1. 加载 YOLO 格式数据集
+dataset1 = load_yolo_from_local(
+    "/path/to/dataset1",
+    categories={0: 'cat', 1: 'dog'}
+)
+
+dataset2 = load_yolo_from_local(
+    "/path/to/dataset2",
+    categories={0: 'car', 1: 'bicycle'}
+)
+
+# 2. 合并数据集（带类别重映射）
+final_categories = {0: 'animal', 1: 'vehicle'}
+category_mapping = {
+    'cat': 'animal',
+    'dog': 'animal',
+    'car': 'vehicle',
+    'bicycle': 'vehicle'
+}
+
+merged = merge_datasets(
+    datasets=[dataset1, dataset2],
+    category_mapping=category_mapping,
+    final_categories=final_categories,
+    new_dataset_name="merged_dataset"
+)
+
+# 3. 导出为 COCO 格式
+export_to_coco(merged, "output/merged.json")
+```
+
+### 链式 API 用法
+
+```python
+from dataset_toolkit import DatasetPipeline
+
+# 使用管道模式处理数据集
+pipeline = DatasetPipeline()
+result = (pipeline
+    .load_yolo("/path/to/dataset1", {0: 'cat', 1: 'dog'})
+    .load_yolo("/path/to/dataset2", {0: 'car'})
+    .merge(
+        category_mapping={'cat': 'animal', 'dog': 'animal', 'car': 'vehicle'},
+        final_categories={0: 'animal', 1: 'vehicle'}
+    )
+    .export_coco("output/merged.json")
+    .execute())
+```
+
+## 📚 API 文档
+
+### 数据加载器
+
+#### `load_yolo_from_local(dataset_path, categories)`
+
+从本地文件系统加载 YOLO 格式的数据集。
+
+**参数：**
+- `dataset_path` (str): 数据集根目录路径，应包含 `images/` 和 `labels/` 子目录
+- `categories` (Dict[int, str]): 类别ID到类别名的映射
+
+**返回：**
+- `Dataset`: 标准化的数据集对象
+
+**示例：**
+```python
+dataset = load_yolo_from_local(
+    "/data/my_dataset",
+    categories={0: 'person', 1: 'car'}
+)
+```
+
+### 数据处理器
+
+#### `merge_datasets(datasets, category_mapping, final_categories, new_dataset_name)`
+
+合并多个数据集，支持类别重映射。
+
+**参数：**
+- `datasets` (List[Dataset]): 要合并的数据集列表
+- `category_mapping` (Dict[str, str]): 旧类别名到新类别名的映射
+- `final_categories` (Dict[int, str]): 最终的类别体系
+- `new_dataset_name` (str, optional): 合并后数据集的名称
+
+**返回：**
+- `Dataset`: 合并后的数据集对象
+
+### 数据导出器
+
+#### `export_to_coco(dataset, output_path)`
+
+导出为 COCO JSON 格式。
+
+**参数：**
+- `dataset` (Dataset): 要导出的数据集
+- `output_path` (str): 输出文件路径
+
+#### `export_to_txt(dataset, output_path, use_relative_paths, base_path)`
+
+导出为 TXT 格式。
+
+**参数：**
+- `dataset` (Dataset): 要导出的数据集
+- `output_path` (str): 输出文件路径
+- `use_relative_paths` (bool, optional): 是否使用相对路径
+- `base_path` (str, optional): 相对路径的基准目录
+
+## 🏗️ 架构设计
+
+```
+dataset_toolkit/
+├── models.py              # 数据模型定义
+├── loaders/              # 数据加载器
+│   ├── local_loader.py   # 本地文件系统加载器
+│   └── remote_loader.py  # 远程数据源加载器（待开发）
+├── processors/           # 数据处理器
+│   ├── merger.py         # 数据集合并
+│   └── filter.py         # 数据过滤（待开发）
+├── exporters/            # 数据导出器
+│   ├── coco_exporter.py  # COCO格式导出
+│   └── txt_exporter.py   # TXT格式导出
+└── utils/                # 工具函数
+    └── coords.py         # 坐标转换
+```
+
+## 🔧 高级用法
+
+### 自定义数据加载器
+
+```python
+from dataset_toolkit.models import Dataset, ImageAnnotation
+from dataset_toolkit.loaders import BaseLoader
+
+class CustomLoader(BaseLoader):
+    def load(self, path, **kwargs):
+        # 实现你的自定义加载逻辑
+        dataset = Dataset(name="custom")
+        # ... 加载数据 ...
+        return dataset
+```
+
+### 批量处理
+
+```python
+from pathlib import Path
+from dataset_toolkit import load_yolo_from_local, export_to_coco
+
+# 批量处理多个数据集
+dataset_dirs = [
+    "/data/dataset1",
+    "/data/dataset2",
+    "/data/dataset3"
+]
+
+categories = {0: 'object'}
+
+for dataset_dir in dataset_dirs:
+    ds = load_yolo_from_local(dataset_dir, categories)
+    output_name = Path(dataset_dir).name + ".json"
+    export_to_coco(ds, f"output/{output_name}")
+```
+
+## 🧪 测试
+
+运行测试：
+
+```bash
+pytest
+```
+
+生成测试覆盖率报告：
+
+```bash
+pytest --cov=dataset_toolkit --cov-report=html
+```
+
+## 📝 开发计划
+
+- [ ] 支持更多数据格式（Pascal VOC、YOLO v8等）
+- [ ] 添加数据增强功能
+- [ ] 支持远程数据源（S3、HTTP等）
+- [ ] 添加数据统计和可视化功能
+- [ ] 提供命令行工具
+- [ ] 支持视频数据集
+
+## 🤝 贡献
+
+欢迎提交 Issue 和 Pull Request！
+
+## 📄 许可证
+
+MIT License
+
+## 📧 联系方式
+
+如有问题，请通过以下方式联系：
+- Email: your.email@example.com
+- GitHub Issues: https://github.com/yourusername/dataset-toolkit/issues
+

dataset_toolkit-0.1.0/dataset_toolkit/__init__.py

@@ -0,0 +1,79 @@
+"""
+Dataset Toolkit - 计算机视觉数据集处理工具包
+
+这个工具包提供了一套完整的解决方案，用于加载、处理和导出计算机视觉数据集。
+
+主要功能：
+- 加载多种格式的数据集（YOLO、COCO等）
+- 合并和转换数据集
+- 导出为标准格式
+- 坐标转换等工具函数
+
+基本用法：
+    >>> from dataset_toolkit import load_yolo_from_local, export_to_coco
+    >>> dataset = load_yolo_from_local("/path/to/dataset", {0: 'cat'})
+    >>> export_to_coco(dataset, "output.json")
+"""
+
+__version__ = "0.1.0"
+__author__ = "Your Name"
+__email__ = "your.email@example.com"
+
+# 导入核心类和函数，提供简洁的顶层API
+from dataset_toolkit.models import (
+    Dataset,
+    ImageAnnotation,
+    Annotation
+)
+
+from dataset_toolkit.loaders.local_loader import (
+    load_yolo_from_local
+)
+
+from dataset_toolkit.processors.merger import (
+    merge_datasets
+)
+
+from dataset_toolkit.exporters.coco_exporter import (
+    export_to_coco
+)
+
+from dataset_toolkit.exporters.txt_exporter import (
+    export_to_txt
+)
+
+from dataset_toolkit.utils.coords import (
+    yolo_to_absolute_bbox
+)
+
+from dataset_toolkit.pipeline import (
+    DatasetPipeline
+)
+
+# 定义公共API
+__all__ = [
+    # 版本信息
+    "__version__",
+    
+    # 数据模型
+    "Dataset",
+    "ImageAnnotation",
+    "Annotation",
+    
+    # 加载器
+    "load_yolo_from_local",
+    
+    # 处理器
+    "merge_datasets",
+    
+    # 导出器
+    "export_to_coco",
+    "export_to_txt",
+    
+    # 工具函数
+    "yolo_to_absolute_bbox",
+    
+    # 管道API
+    "DatasetPipeline",
+]
+

dataset_toolkit-0.1.0/dataset_toolkit/exporters/coco_exporter.py

@@ -0,0 +1,64 @@
+# dataset_toolkit/exporters/coco_exporter.py
+import json
+import datetime
+from dataset_toolkit.models import Dataset
+
+def export_to_coco(dataset: Dataset, output_path: str):
+    """
+    将数据集对象导出为COCO JSON格式。
+
+    Args:
+        dataset (Dataset): 内部标准数据集对象。
+        output_path (str): .json文件的输出路径。
+    """
+    coco_format = {
+        "info": {
+            "description": f"Exported from dataset_toolkit: {dataset.name}",
+            "date_created": datetime.datetime.utcnow().isoformat()
+        },
+        "licenses": [],
+        "images": [],
+        "annotations": [],
+        "categories": []
+    }
+
+    # 1. 填充 categories
+    for cat_id, cat_name in dataset.categories.items():
+        coco_format["categories"].append({
+            "id": cat_id,
+            "name": cat_name,
+            "supercategory": "none"
+        })
+
+    # 2. 遍历图片和标注，填充 images 和 annotations
+    annotation_id_counter = 1
+    for image_id_counter, image_ann in enumerate(dataset.images, 1):
+        # 添加 image 条目
+        coco_format["images"].append({
+            "id": image_id_counter,
+            "file_name": image_ann.image_id, # 使用原始文件名
+            "width": image_ann.width,
+            "height": image_ann.height
+        })
+
+        # 添加 annotation 条目
+        for ann in image_ann.annotations:
+            x_min, y_min, width, height = ann.bbox
+            area = width * height
+            
+            coco_format["annotations"].append({
+                "id": annotation_id_counter,
+                "image_id": image_id_counter,
+                "category_id": ann.category_id,
+                "bbox": [round(c, 2) for c in ann.bbox],
+                "area": round(area, 2),
+                "iscrowd": 0,
+                "segmentation": [] # 对于bbox，segmentation通常为空
+            })
+            annotation_id_counter += 1
+    
+    # 3. 写入JSON文件
+    with open(output_path, 'w') as f:
+        json.dump(coco_format, f, indent=4)
+    
+    print(f"成功将数据集导出为COCO格式: {output_path}")