dtflow 0.3.0__py3-none-any.whl → 0.3.1__py3-none-any.whl

dtflow/tokenizers.py

@@ -2,49 +2,169 @@
 Token 统计模块
 
 提供 token 计数和基于 token 长度的过滤功能。
+支持 OpenAI (tiktoken) 和开源模型 (transformers) 两种后端。
 """
 from typing import Callable, Union, List, Dict, Any, Optional
 
 # 延迟导入，避免未安装时报错
 _tokenizer_cache = {}
 
+# 默认编码器（使用 tiktoken 的 cl100k_base，速度快且依赖轻）
+DEFAULT_MODEL = "cl100k_base"
+
+# 模型别名映射：简短名称 -> HuggingFace 模型路径
+MODEL_ALIASES = {
+    # Qwen 系列
+    "qwen2.5": "Qwen/Qwen2.5-7B",
+    "qwen2.5-0.5b": "Qwen/Qwen2.5-0.5B",
+    "qwen2.5-1.5b": "Qwen/Qwen2.5-1.5B",
+    "qwen2.5-3b": "Qwen/Qwen2.5-3B",
+    "qwen2.5-7b": "Qwen/Qwen2.5-7B",
+    "qwen2.5-14b": "Qwen/Qwen2.5-14B",
+    "qwen2.5-32b": "Qwen/Qwen2.5-32B",
+    "qwen2.5-72b": "Qwen/Qwen2.5-72B",
+    "qwen3": "Qwen/Qwen3-8B",
+    "qwen3-0.6b": "Qwen/Qwen3-0.6B",
+    "qwen3-1.7b": "Qwen/Qwen3-1.7B",
+    "qwen3-4b": "Qwen/Qwen3-4B",
+    "qwen3-8b": "Qwen/Qwen3-8B",
+    "qwen3-14b": "Qwen/Qwen3-14B",
+    "qwen3-32b": "Qwen/Qwen3-32B",
+    "qwen3-30b-a3b": "Qwen/Qwen3-30B-A3B",
+    "qwen3-235b-a22b": "Qwen/Qwen3-235B-A22B",
+    "qwen2": "Qwen/Qwen2-7B",
+    "qwen2-0.5b": "Qwen/Qwen2-0.5B",
+    "qwen2-1.5b": "Qwen/Qwen2-1.5B",
+    "qwen2-7b": "Qwen/Qwen2-7B",
+    "qwen2-72b": "Qwen/Qwen2-72B",
+    # Llama 系列
+    "llama3": "meta-llama/Llama-3.1-8B",
+    "llama3.1": "meta-llama/Llama-3.1-8B",
+    "llama3.1-8b": "meta-llama/Llama-3.1-8B",
+    "llama3.1-70b": "meta-llama/Llama-3.1-70B",
+    "llama3.2": "meta-llama/Llama-3.2-3B",
+    "llama3.2-1b": "meta-llama/Llama-3.2-1B",
+    "llama3.2-3b": "meta-llama/Llama-3.2-3B",
+    "llama3.3": "meta-llama/Llama-3.3-70B-Instruct",
+    "llama3.3-70b": "meta-llama/Llama-3.3-70B-Instruct",
+    # Mistral 系列
+    "mistral": "mistralai/Mistral-7B-v0.3",
+    "mistral-7b": "mistralai/Mistral-7B-v0.3",
+    "mixtral": "mistralai/Mixtral-8x7B-v0.1",
+    "mixtral-8x7b": "mistralai/Mixtral-8x7B-v0.1",
+    # DeepSeek 系列
+    "deepseek": "deepseek-ai/DeepSeek-V3",
+    "deepseek-v3": "deepseek-ai/DeepSeek-V3",
+    "deepseek-v2": "deepseek-ai/DeepSeek-V2",
+    "deepseek-coder": "deepseek-ai/deepseek-coder-6.7b-base",
+    # Yi 系列
+    "yi": "01-ai/Yi-1.5-9B",
+    "yi-1.5": "01-ai/Yi-1.5-9B",
+    "yi-1.5-6b": "01-ai/Yi-1.5-6B",
+    "yi-1.5-9b": "01-ai/Yi-1.5-9B",
+    "yi-1.5-34b": "01-ai/Yi-1.5-34B",
+    # InternLM 系列
+    "internlm": "internlm/internlm2_5-7b",
+    "internlm2.5": "internlm/internlm2_5-7b",
+    "internlm2.5-7b": "internlm/internlm2_5-7b",
+    "internlm2.5-20b": "internlm/internlm2_5-20b",
+    # GLM 系列
+    "glm4": "THUDM/glm-4-9b",
+    "glm4-9b": "THUDM/glm-4-9b",
+    # Baichuan 系列
+    "baichuan2": "baichuan-inc/Baichuan2-13B-Base",
+    "baichuan2-7b": "baichuan-inc/Baichuan2-7B-Base",
+    "baichuan2-13b": "baichuan-inc/Baichuan2-13B-Base",
+}
+
+# OpenAI 模型（使用 tiktoken）
+OPENAI_MODELS = {"gpt-4", "gpt-4o", "gpt-4o-mini", "gpt-3.5-turbo", "gpt-4-turbo", "o1", "o1-mini", "o1-preview", "o3", "o3-mini"}
+
+# tiktoken 编码器名称
+TIKTOKEN_ENCODINGS = {"cl100k_base", "p50k_base", "p50k_edit", "r50k_base", "o200k_base"}
+
+
+def resolve_model(model: str) -> str:
+    """
+    解析模型名称，将别名转换为完整的 HuggingFace 路径。
+
+    Args:
+        model: 模型名称或别名
+
+    Returns:
+        完整的模型路径
+    """
+    return MODEL_ALIASES.get(model.lower(), model)
+
 
-def _get_tiktoken_encoder(model: str = "gpt-4"):
+def _get_tiktoken_encoder(model: str):
     """获取 tiktoken 编码器（带缓存）"""
     if model not in _tokenizer_cache:
         try:
             import tiktoken
-            _tokenizer_cache[model] = tiktoken.encoding_for_model(model)
+            # 直接使用编码器名称 (cl100k_base 等) 或通过模型名获取
+            if model in TIKTOKEN_ENCODINGS:
+                _tokenizer_cache[model] = tiktoken.get_encoding(model)
+            else:
+                _tokenizer_cache[model] = tiktoken.encoding_for_model(model)
         except ImportError:
             raise ImportError("需要安装 tiktoken: pip install tiktoken")
     return _tokenizer_cache[model]
 
 
-def _get_transformers_tokenizer(model: str):
-    """获取 transformers tokenizer（带缓存）"""
-    if model not in _tokenizer_cache:
+def _get_hf_tokenizer(model: str):
+    """
+    获取 HuggingFace tokenizer（带缓存，支持别名解析）。
+
+    优先使用 tokenizers 库（Rust 实现，轻量快速），失败时 fallback 到 transformers。
+    """
+    resolved = resolve_model(model)
+    if resolved not in _tokenizer_cache:
+        # 优先使用 tokenizers 库（更轻量）
         try:
-            from transformers import AutoTokenizer
-            _tokenizer_cache[model] = AutoTokenizer.from_pretrained(model)
-        except ImportError:
-            raise ImportError("需要安装 transformers: pip install transformers")
-    return _tokenizer_cache[model]
+            from tokenizers import Tokenizer
+            from huggingface_hub import hf_hub_download
+
+            tokenizer_path = hf_hub_download(repo_id=resolved, filename="tokenizer.json")
+            _tokenizer_cache[resolved] = ("tokenizers", Tokenizer.from_file(tokenizer_path))
+        except Exception:
+            # Fallback 到 transformers（某些模型可能没有 tokenizer.json）
+            try:
+                from transformers import AutoTokenizer
+                tokenizer = AutoTokenizer.from_pretrained(resolved, trust_remote_code=True)
+                _tokenizer_cache[resolved] = ("transformers", tokenizer)
+            except ImportError:
+                raise ImportError(
+                    "需要安装 tokenizers 或 transformers:\n"
+                    "  pip install tokenizers huggingface_hub  (推荐，更轻量)\n"
+                    "  pip install transformers"
+                )
+    return _tokenizer_cache[resolved]
+
+
+def _encode_tokens(tokenizer_info, text: str) -> int:
+    """编码文本，返回 token 数量"""
+    backend, tokenizer = tokenizer_info
+    if backend == "tokenizers":
+        return len(tokenizer.encode(text).ids)
+    else:
+        return len(tokenizer.encode(text))
 
 
 def count_tokens(
     text: str,
-    model: str = "gpt-4",
-    backend: str = "tiktoken",
+    model: str = DEFAULT_MODEL,
+    backend: Optional[str] = None,
 ) -> int:
     """
     计算文本的 token 数量。
 
     Args:
         text: 输入文本
-        model: 模型名称
-        backend: 后端选择
+        model: 模型名称或别名，如 "qwen2.5", "gpt-4", "llama3" 等
+        backend: 后端选择，None 则自动检测
             - "tiktoken": OpenAI tiktoken（快速，支持 GPT 系列）
-            - "transformers": HuggingFace transformers（支持更多模型）
+            - "transformers": HuggingFace transformers（支持开源模型）
 
     Returns:
         token 数量
@@ -52,20 +172,22 @@ def count_tokens(
     if not text:
         return 0
 
-    if backend == "tiktoken":
+    _backend = backend or _auto_backend(model)
+
+    if _backend == "tiktoken":
         encoder = _get_tiktoken_encoder(model)
         return len(encoder.encode(text))
-    elif backend == "transformers":
-        tokenizer = _get_transformers_tokenizer(model)
-        return len(tokenizer.encode(text))
+    elif _backend == "transformers":
+        tokenizer_info = _get_hf_tokenizer(model)
+        return _encode_tokens(tokenizer_info, text)
     else:
-        raise ValueError(f"不支持的 backend: {backend}")
+        raise ValueError(f"不支持的 backend: {_backend}")
 
 
 def token_counter(
     fields: Union[str, List[str]],
-    model: str = "gpt-4",
-    backend: str = "tiktoken",
+    model: str = DEFAULT_MODEL,
+    backend: Optional[str] = None,
     output_field: str = "token_count",
 ) -> Callable:
     """
@@ -73,8 +195,8 @@ def token_counter(
 
     Args:
         fields: 要统计的字段（单个或多个）
-        model: 模型名称
-        backend: tiktoken 或 transformers
+        model: 模型名称或别名，如 "qwen2.5", "gpt-4", "llama3" 等
+        backend: 后端选择，None 则自动检测
         output_field: 输出字段名
 
     Returns:
@@ -82,7 +204,7 @@ def token_counter(
 
     Examples:
         >>> dt.transform(token_counter("text"))
-        >>> dt.transform(token_counter(["question", "answer"]))
+        >>> dt.transform(token_counter(["question", "answer"], model="qwen3"))
     """
     if isinstance(fields, str):
         fields = [fields]
@@ -104,8 +226,8 @@ def token_filter(
     fields: Union[str, List[str]],
     min_tokens: Optional[int] = None,
     max_tokens: Optional[int] = None,
-    model: str = "gpt-4",
-    backend: str = "tiktoken",
+    model: str = DEFAULT_MODEL,
+    backend: Optional[str] = None,
 ) -> Callable:
     """
     创建基于 token 长度的过滤函数。
@@ -146,8 +268,8 @@ def token_filter(
 def token_stats(
     data: List[Dict[str, Any]],
     fields: Union[str, List[str]],
-    model: str = "gpt-4",
-    backend: str = "tiktoken",
+    model: str = DEFAULT_MODEL,
+    backend: Optional[str] = None,
 ) -> Dict[str, Any]:
     """
     统计数据集的 token 信息。
@@ -155,8 +277,8 @@ def token_stats(
     Args:
         data: 数据列表
         fields: 要统计的字段
-        model: 模型名称
-        backend: tiktoken 或 transformers
+        model: 模型名称或别名，如 "qwen2.5", "gpt-4" 等
+        backend: 后端选择，None 则自动检测
 
     Returns:
         统计信息字典
@@ -187,15 +309,25 @@ def token_stats(
 
 
 def _auto_backend(model: str) -> str:
-    """自动检测 tokenizer backend"""
-    # 本地路径或包含 / 的模型 ID 使用 transformers
-    if "/" in model or model.startswith(("/", "~", ".")):
-        return "transformers"
+    """
+    自动检测 tokenizer backend。
+
+    规则：
+    1. tiktoken 编码器名称 (cl100k_base 等) -> tiktoken
+    2. OpenAI 模型 (gpt-*, o1*, o3*) -> tiktoken
+    3. 其他模型（包括别名和 HuggingFace 路径）-> transformers
+    """
+    model_lower = model.lower()
+
+    # tiktoken 编码器名称
+    if model_lower in TIKTOKEN_ENCODINGS:
+        return "tiktoken"
+
     # OpenAI 模型使用 tiktoken
-    openai_models = {"gpt-4", "gpt-4o", "gpt-3.5-turbo", "gpt-4-turbo", "o1", "o1-mini"}
-    if model in openai_models or model.startswith(("gpt-", "o1")):
+    if model_lower in OPENAI_MODELS or model_lower.startswith(("gpt-", "o1", "o3")):
         return "tiktoken"
-    # 默认尝试 transformers
+
+    # 其他模型使用 transformers
     return "transformers"
 
 
@@ -237,7 +369,7 @@ def _count_messages_tokens(
 
 def messages_token_counter(
     messages_field: str = "messages",
-    model: str = "gpt-4",
+    model: str = DEFAULT_MODEL,
     backend: Optional[str] = None,
     output_field: str = "token_stats",
     detailed: bool = False,
@@ -247,9 +379,10 @@ def messages_token_counter(
 
     Args:
         messages_field: messages 字段名
-        model: 模型名称或本地路径
+        model: 模型名称或别名
+            - 别名: "qwen2.5", "qwen3", "llama3", "deepseek" 等
             - OpenAI 模型: "gpt-4", "gpt-4o" 等（使用 tiktoken）
-            - HuggingFace 模型: "Qwen/Qwen2-7B" 等
+            - HuggingFace 模型: "Qwen/Qwen2.5-7B" 等
             - 本地路径: "/path/to/model"
         backend: 强制指定后端，None 则自动检测
         output_field: 输出字段名
@@ -259,11 +392,14 @@ def messages_token_counter(
         转换函数，用于 dt.transform()
 
     Examples:
-        >>> # 使用 tiktoken (OpenAI 模型)
-        >>> dt.transform(messages_token_counter(model="gpt-4"))
+        >>> # 使用默认模型 (qwen2.5)
+        >>> dt.transform(messages_token_counter())
 
-        >>> # 使用本地 Qwen 模型
-        >>> dt.transform(messages_token_counter(model="/home/models/Qwen2-7B"))
+        >>> # 使用 Qwen3
+        >>> dt.transform(messages_token_counter(model="qwen3"))
+
+        >>> # 使用 OpenAI 模型
+        >>> dt.transform(messages_token_counter(model="gpt-4"))
 
         >>> # 详细统计
         >>> dt.transform(messages_token_counter(detailed=True))
@@ -297,7 +433,7 @@ def messages_token_filter(
     max_tokens: Optional[int] = None,
     min_turns: Optional[int] = None,
     max_turns: Optional[int] = None,
-    model: str = "gpt-4",
+    model: str = DEFAULT_MODEL,
     backend: Optional[str] = None,
 ) -> Callable:
     """
@@ -309,7 +445,7 @@ def messages_token_filter(
         max_tokens: 最大总 token 数
         min_turns: 最小对话轮数
         max_turns: 最大对话轮数
-        model: 模型名称或路径
+        model: 模型名称或别名
         backend: 后端，None 则自动检测
 
     Returns:
@@ -317,7 +453,7 @@ def messages_token_filter(
 
     Examples:
         >>> dt.filter(messages_token_filter(min_tokens=100, max_tokens=2048))
-        >>> dt.filter(messages_token_filter(min_turns=2, max_turns=10))
+        >>> dt.filter(messages_token_filter(min_turns=2, max_turns=10, model="qwen3"))
     """
     _backend = backend or _auto_backend(model)
 
@@ -346,7 +482,7 @@ def messages_token_filter(
 def messages_token_stats(
     data: List[Dict[str, Any]],
     messages_field: str = "messages",
-    model: str = "gpt-4",
+    model: str = DEFAULT_MODEL,
     backend: Optional[str] = None,
 ) -> Dict[str, Any]:
     """
@@ -355,14 +491,15 @@ def messages_token_stats(
     Args:
         data: 数据列表
         messages_field: messages 字段名
-        model: 模型名称或路径
+        model: 模型名称或别名
         backend: 后端，None 则自动检测
 
     Returns:
         统计信息字典
 
     Examples:
-        >>> stats = messages_token_stats(dt.data, model="gpt-4")
+        >>> stats = messages_token_stats(dt.data)  # 使用默认 qwen2.5
+        >>> stats = messages_token_stats(dt.data, model="qwen3")
         >>> print(stats)
         {
             "count": 1000,

dtflow/utils/display.py

@@ -2,7 +2,8 @@
 Data display utilities.
 """
 from typing import List, Dict, Any, Optional
-import json
+
+import orjson
 
 
 def display_data(data: List[Dict[str, Any]],
@@ -52,7 +53,7 @@ def _display_with_rich(data: List[Dict[str, Any]],
             display_item = {k: v for k, v in item.items() if k in fields}
 
         # Create a panel for each item
-        json_str = json.dumps(display_item, indent=2, ensure_ascii=False)
+        json_str = orjson.dumps(display_item, option=orjson.OPT_INDENT_2).decode("utf-8")
 
         panel = Panel(
             JSON(json_str, indent=2),
@@ -84,7 +85,7 @@ def _display_plain(data: List[Dict[str, Any]],
             display_item = {k: v for k, v in item.items() if k in fields}
 
         # Pretty print JSON
-        print(json.dumps(display_item, indent=2, ensure_ascii=False))
+        print(orjson.dumps(display_item, option=orjson.OPT_INDENT_2).decode("utf-8"))
 
     print(f"\n{separator}\n")
 
@@ -100,7 +101,7 @@ def format_item(item: Dict[str, Any], max_width: int = 80) -> str:
     Returns:
         Formatted string
     """
-    return json.dumps(item, indent=2, ensure_ascii=False)
+    return orjson.dumps(item, option=orjson.OPT_INDENT_2).decode("utf-8")
 
 
 def preview_fields(data: List[Dict[str, Any]], n: int = 5) -> Dict[str, List[Any]]:

{dtflow-0.3.0.dist-info → dtflow-0.3.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: dtflow
-Version: 0.3.0
+Version: 0.3.1
 Summary: A flexible data transformation tool for ML training formats (SFT, RLHF, Pretrain)
 Project-URL: Homepage, https://github.com/yourusername/DataTransformer
 Project-URL: Documentation, https://github.com/yourusername/DataTransformer#readme
@@ -27,11 +27,12 @@ Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
 Classifier: Topic :: Software Development :: Libraries :: Python Modules
 Classifier: Topic :: Text Processing
 Requires-Python: >=3.8
-Requires-Dist: fire>=0.4.0
 Requires-Dist: numpy>=1.20.0
 Requires-Dist: orjson>=3.9.0
+Requires-Dist: polars>=0.20.0
 Requires-Dist: pyyaml>=5.4.0
-Requires-Dist: tqdm>=4.60.0
+Requires-Dist: rich>=10.0.0
+Requires-Dist: typer>=0.9.0
 Provides-Extra: converters
 Requires-Dist: datasets>=2.0.0; extra == 'converters'
 Provides-Extra: dev
@@ -42,7 +43,6 @@ Requires-Dist: mypy>=0.910; extra == 'dev'
 Requires-Dist: pytest-cov>=2.12.0; extra == 'dev'
 Requires-Dist: pytest>=6.0.0; extra == 'dev'
 Provides-Extra: display
-Requires-Dist: rich>=10.0.0; extra == 'display'
 Provides-Extra: docs
 Requires-Dist: myst-parser>=0.15.0; extra == 'docs'
 Requires-Dist: sphinx-rtd-theme>=0.5.0; extra == 'docs'
@@ -50,21 +50,28 @@ Requires-Dist: sphinx>=4.0.0; extra == 'docs'
 Provides-Extra: full
 Requires-Dist: datasets>=2.0.0; extra == 'full'
 Requires-Dist: datasketch>=1.5.0; extra == 'full'
-Requires-Dist: pandas>=1.3.0; extra == 'full'
+Requires-Dist: huggingface-hub>=0.20.0; extra == 'full'
 Requires-Dist: pyarrow; extra == 'full'
 Requires-Dist: rich>=10.0.0; extra == 'full'
 Requires-Dist: scikit-learn>=0.24.0; extra == 'full'
 Requires-Dist: tiktoken>=0.5.0; extra == 'full'
+Requires-Dist: tokenizers>=0.15.0; extra == 'full'
+Requires-Dist: toolong>=1.5.0; extra == 'full'
+Provides-Extra: logs
+Requires-Dist: toolong>=1.5.0; extra == 'logs'
 Provides-Extra: mcp
 Requires-Dist: mcp>=1.0.0; extra == 'mcp'
 Provides-Extra: similarity
 Requires-Dist: datasketch>=1.5.0; extra == 'similarity'
 Requires-Dist: scikit-learn>=0.24.0; extra == 'similarity'
 Provides-Extra: storage
-Requires-Dist: pandas>=1.3.0; extra == 'storage'
 Requires-Dist: pyarrow; extra == 'storage'
 Provides-Extra: tokenizers
 Requires-Dist: tiktoken>=0.5.0; extra == 'tokenizers'
+Provides-Extra: tokenizers-hf
+Requires-Dist: huggingface-hub>=0.20.0; extra == 'tokenizers-hf'
+Requires-Dist: tiktoken>=0.5.0; extra == 'tokenizers-hf'
+Requires-Dist: tokenizers>=0.15.0; extra == 'tokenizers-hf'
 Description-Content-Type: text/markdown
 
 # dtflow
@@ -101,7 +108,7 @@ dt = DataTransformer.load("data.jsonl")
 ### 数据加载与保存
 
 ```python
-# 支持 JSONL、JSON、CSV、Parquet
+# 支持 JSONL、JSON、CSV、Parquet、Arrow（使用 Polars 引擎，比 Pandas 快 3x）
 dt = DataTransformer.load("data.jsonl")
 dt.save("output.jsonl")
 
@@ -293,6 +300,7 @@ dt.shuffle(seed=42)
 # 数据采样
 dt sample data.jsonl --num=10
 dt sample data.csv --num=100 --sample_type=head
+dt sample data.jsonl 1000 --by=category           # 分层采样
 
 # 数据转换 - 预设模式
 dt transform data.jsonl --preset=openai_chat
@@ -303,6 +311,18 @@ dt transform data.jsonl                    # 首次运行生成配置文件
 # 编辑 .dt/data.py 后再次运行
 dt transform data.jsonl --num=100          # 执行转换
 
+# Pipeline 执行（可复现的数据处理流程）
+dt run pipeline.yaml
+dt run pipeline.yaml --input=new_data.jsonl --output=result.jsonl
+
+# Token 统计
+dt token-stats data.jsonl --field=messages --model=gpt-4
+dt token-stats data.jsonl --field=text --detailed
+
+# 数据对比
+dt diff v1/train.jsonl v2/train.jsonl
+dt diff a.jsonl b.jsonl --key=id
+
 # 数据清洗
 dt clean data.jsonl --drop-empty                    # 删除任意空值记录
 dt clean data.jsonl --drop-empty=text,answer        # 删除指定字段为空的记录
@@ -325,6 +345,132 @@ dt concat a.jsonl b.jsonl -o merged.jsonl
 dt stats data.jsonl
 ```
 
+### Pipeline 配置
+
+使用 YAML 配置文件定义可复现的数据处理流程：
+
+```yaml
+# pipeline.yaml
+version: "1.0"
+seed: 42
+input: raw_data.jsonl
+output: processed.jsonl
+
+steps:
+  - type: filter
+    condition: "score > 0.5"
+
+  - type: filter
+    condition: "len(text) > 10"
+
+  - type: transform
+    preset: openai_chat
+    params:
+      user_field: q
+      assistant_field: a
+
+  - type: dedupe
+    key: text
+```
+
+支持的步骤类型：
+
+| 步骤 | 参数 | 说明 |
+|------|------|------|
+| `filter` | `condition` | 条件过滤：`score > 0.5`, `len(text) > 10`, `field is not empty` |
+| `transform` | `preset`, `params` | 格式转换，使用预设模板 |
+| `dedupe` | `key`, `similar` | 去重，支持精确和相似度去重 |
+| `sample` | `num`, `seed` | 随机采样 |
+| `head` | `num` | 取前 N 条 |
+| `tail` | `num` | 取后 N 条 |
+| `shuffle` | `seed` | 打乱顺序 |
+| `split` | `ratio`, `seed` | 数据集分割 |
+
+执行 Pipeline：
+
+```bash
+dt run pipeline.yaml
+dt run pipeline.yaml --input=new_data.jsonl  # 覆盖输入文件
+```
+
+### 数据血缘追踪
+
+记录数据处理的完整历史，支持可复现和问题追溯：
+
+```python
+# 启用血缘追踪
+dt = DataTransformer.load("raw.jsonl", track_lineage=True)
+
+# 正常进行数据处理
+result = (dt
+    .filter(lambda x: x.score > 0.5)
+    .transform(lambda x: {"q": x.q, "a": x.a})
+    .dedupe("q")
+)
+
+# 保存时记录血缘
+result.save("processed.jsonl", lineage=True)
+# 自动生成 processed.jsonl.lineage.json
+```
+
+查看血缘历史：
+
+```bash
+dt history processed.jsonl
+# 输出：
+# 📊 数据血缘报告: processed.jsonl
+# └─ 版本 1
+#    来源: raw.jsonl
+#    操作链:
+#      ├─ filter: 1000 → 800
+#      ├─ transform: 800 → 800
+#      └─ dedupe: 800 → 750
+#    输出数量: 750
+
+dt history processed.jsonl --json  # JSON 格式输出
+```
+
+### 大文件流式处理
+
+专为超大文件设计的流式处理接口，内存占用 O(1)，支持 JSONL、CSV、Parquet、Arrow 格式：
+
+```python
+from dtflow import load_stream, load_sharded
+
+# 流式加载和处理（100GB 文件也只用常量内存）
+(load_stream("huge_100gb.jsonl")
+    .filter(lambda x: x["score"] > 0.5)
+    .transform(lambda x: {"text": x["content"]})
+    .save("output.jsonl"))
+
+# 跨格式转换（CSV → Parquet）
+(load_stream("data.csv")
+    .filter(lambda x: x["score"] > 0.5)
+    .save("output.parquet"))
+
+# 分片文件加载（支持多格式）
+(load_sharded("data/train_*.parquet")
+    .filter(lambda x: len(x["text"]) > 10)
+    .save("merged.jsonl"))
+
+# 分片保存
+(load_stream("huge.jsonl")
+    .transform(lambda x: {"q": x["question"], "a": x["answer"]})
+    .save_sharded("output/", shard_size=100000))
+# 生成: output/part-00000.jsonl, output/part-00001.jsonl, ...
+
+# 批次处理（适合需要批量调用 API 的场景）
+for batch in load_stream("data.jsonl").batch(1000):
+    results = call_api(batch)  # 批量处理
+```
+
+特点：
+- **惰性执行**：filter/transform 不会立即执行，只在 save/collect 时才触发
+- **O(1) 内存**：无论文件多大，内存占用恒定（读取侧）
+- **多格式支持**：JSONL、CSV、Parquet、Arrow 均支持流式处理
+- **跨格式转换**：可直接从 CSV 读取并保存为 Parquet 等
+- **分片支持**：支持 glob 模式加载多个分片，自动合并处理
+
 ## 错误处理
 
 ```python

dtflow-0.3.1.dist-info/RECORD

@@ -0,0 +1,24 @@
+dtflow/__init__.py,sha256=H3bkYYp8XL2NTWZVLgYcTUAeMDA3BvRLxM0E8-qo2-U,2296
+dtflow/__main__.py,sha256=DqE7wYJ-DXTtA0dHi7x7xGg23gP9vtOlcbuYjadFKFQ,10353
+dtflow/converters.py,sha256=cONDqSMlIQKHBS6fZ2pj1BPStIWXp62LqAbgddhDH14,21860
+dtflow/core.py,sha256=1bBPS1QJ6IB_qlXQeOmu4BSu2sFPdJxKekPL6U2c79c,27903
+dtflow/lineage.py,sha256=sCG-p70RTUb6PawMTiSoFSS-dM0DI2Jlf69_5yIt0mg,12146
+dtflow/pipeline.py,sha256=JbMMZn211v-ARFamFupS5GlRdmt8iTvgzTuymneWMAI,13701
+dtflow/presets.py,sha256=ZoTBWLAgCEGRZUPMRwBZ_4in6Gfb4u8_Avt0UCjF3C4,4970
+dtflow/streaming.py,sha256=KMWr9_YzmRXzRv-dI7BzJkWGS9u1Gf19yNHo11kQBu8,21618
+dtflow/tokenizers.py,sha256=ru1SCeiszmVyRBpQ3qoiBa1H2WSaT_1wc-Akj8_JaHw,17770
+dtflow/cli/__init__.py,sha256=2W6vhT9W7-woP8WWTtTLuksB0GfUaR-0X5KdCIA7aYc,319
+dtflow/cli/commands.py,sha256=DuQhoeu1x9OPZZKsl27yyX5WB1-a6vPcnCx6y7Bzdgc,81213
+dtflow/mcp/__init__.py,sha256=8yperojW-yc_40DnC-fRurYR2C_rutDbGdoMJaPeGww,895
+dtflow/mcp/__main__.py,sha256=BRki4AdGIIY5O1Ly1Sa4PKdFPlCTeLXTgecl6KG41tU,444
+dtflow/mcp/cli.py,sha256=GUM-QffXp_kuHVLPCN_LuhYnhLP1ZjSn99o3E_4mfnI,12952
+dtflow/mcp/docs.py,sha256=YQ9P7Kb45h1MSuNucw3hR4FDlbTAJgqIascytCdLrxA,8844
+dtflow/mcp/server.py,sha256=Nf0UlqDGhV55ndGuEglfr7VRjDWAC_9rRsNhdr0-ssM,4275
+dtflow/storage/__init__.py,sha256=8TZVXPpmz882OjLgoXEDeQQFLyPqZApX_GM0nFnxhlc,360
+dtflow/storage/io.py,sha256=7EnqeYt9iNZaIz1dPZweQaQAzXYnudAMYdkGXEHiBFI,21791
+dtflow/utils/__init__.py,sha256=NY_s-2r0R-199mpRLMk_jo5O-aDsKhRxEwRuZHRcTqs,113
+dtflow/utils/display.py,sha256=ZxojDIGYvQco9DnSsq7dE4NYLitX6FqspDLp9tuSUYM,6043
+dtflow-0.3.1.dist-info/METADATA,sha256=WwnC1hM0RVL7l_ctU7Y1G8UCwmuxthmRmohSTDslRBA,16326
+dtflow-0.3.1.dist-info/WHEEL,sha256=WLgqFyCfm_KASv4WHyYy0P3pM_m7J5L9k2skdKLirC8,87
+dtflow-0.3.1.dist-info/entry_points.txt,sha256=dadIDOK7Iu9pMxnMPBfpb4aAPe4hQbBOshpQYjVYpGc,44
+dtflow-0.3.1.dist-info/RECORD,,