mysphinx-forge 0.2.2__tar.gz → 0.2.2.1__tar.gz

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mysphinx-forge
-Version: 0.2.2
+Version: 0.2.2.1
 Summary: Data and model workflow toolkit for cleaning, clustering, generation, and evaluation
 Keywords: data-cleaning,deduplication,clustering,nlp,cli
 Classifier: Development Status :: 3 - Alpha
@@ -487,10 +487,10 @@ input_deduplicated_split_train_pa_1.jsonl   # 前 10000 条
 input_deduplicated_split_train_pa_2.jsonl   # 后 2000 条
 ```
 
-通过 `--sft-pa-max-records-per-file` 可自定义阈值：
+通过 `--sft-max-records-per-file` 可自定义阈值：
 
 ```bash
-mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-pa-max-records-per-file 5000
+mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-max-records-per-file 5000
 ```
 
 说明：

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/README.md

@@ -450,10 +450,10 @@ input_deduplicated_split_train_pa_1.jsonl   # 前 10000 条
 input_deduplicated_split_train_pa_2.jsonl   # 后 2000 条
 ```
 
-通过 `--sft-pa-max-records-per-file` 可自定义阈值：
+通过 `--sft-max-records-per-file` 可自定义阈值：
 
 ```bash
-mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-pa-max-records-per-file 5000
+mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-max-records-per-file 5000
 ```
 
 说明：

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/mysphinx_forge/cli.py

@@ -312,7 +312,7 @@ def main() -> int:
             resolved_sft_system_prompt,
             args.sft_system_column,
             args.sft_user_query_as_instruction,
-            args.sft_pa_max_records_per_file,
+            args.sft_max_records_per_file,
         )
 
     parser.print_help()
@@ -715,10 +715,10 @@ def _build_parser(
         help="为 true 时将用户输入作为 alpaca instruction 字段，input 字段留空；为 false 时保持原有行为（input 存用户输入，instruction 为固定文本）。默认 true。",
     )
     parser.add_argument(
-        "--sft-pa-max-records-per-file",
+        "--sft-max-records-per-file",
         type=int,
-        dest="sft_pa_max_records_per_file",
-        default=config_defaults.get("sft_pa_max_records_per_file", PA_MAX_RECORDS_PER_FILE),
+        dest="sft_max_records_per_file",
+        default=config_defaults.get("sft_max_records_per_file", PA_MAX_RECORDS_PER_FILE),
         help=f"pa 格式每个 JSONL 文件最大记录数，超出时自动切分为多个文件，默认 {PA_MAX_RECORDS_PER_FILE}。",
     )
     return parser
@@ -1818,7 +1818,7 @@ def _run_convert_sft(
     sft_system_prompt: str,
     sft_system_column: str,
     sft_user_query_as_instruction: bool = True,
-    sft_pa_max_records_per_file: int = PA_MAX_RECORDS_PER_FILE,
+    sft_max_records_per_file: int = PA_MAX_RECORDS_PER_FILE,
 ) -> int:
     input_path = Path(input_file)
     output_path = _resolve_sft_output_path(input_path, output_arg, sft_format)
@@ -1863,7 +1863,7 @@ def _run_convert_sft(
     run_stage("写出结果", logger=logger)
     if sft_format == PA_SFT_FORMAT:
         written_paths = write_pa_dataset(
-            records, output_path, max_records_per_file=sft_pa_max_records_per_file
+            records, output_path, max_records_per_file=sft_max_records_per_file
         )
     else:
         write_alpaca_dataset(records, output_path)
@@ -1880,7 +1880,7 @@ def _run_convert_sft(
             "sft_system_prompt": sft_system_prompt,
             "sft_system_column": sft_system_column,
             "sft_user_query_as_instruction": sft_user_query_as_instruction,
-            "sft_pa_max_records_per_file": sft_pa_max_records_per_file,
+            "sft_max_records_per_file": sft_max_records_per_file,
         },
         sft_conversion_stats=stats,
         extra_output_files={f"output_file_{i + 1}": p for i, p in enumerate(written_paths)}

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/mysphinx_forge/templates/mysphinx-forge.yaml

@@ -409,3 +409,7 @@ convert-sft:
   # 按行读取的 system 列。
   # 若提供且该行非空，则优先使用该列值覆盖 sft_system_prompt。
   sft_system_column: ""
+
+  # pa 格式每个 JSONL 文件最大记录数，超出时自动切分为多个文件。
+  # 仅 sft_format=pa 时生效。
+  sft_max_records_per_file: 10000

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/mysphinx_forge.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mysphinx-forge
-Version: 0.2.2
+Version: 0.2.2.1
 Summary: Data and model workflow toolkit for cleaning, clustering, generation, and evaluation
 Keywords: data-cleaning,deduplication,clustering,nlp,cli
 Classifier: Development Status :: 3 - Alpha
@@ -487,10 +487,10 @@ input_deduplicated_split_train_pa_1.jsonl   # 前 10000 条
 input_deduplicated_split_train_pa_2.jsonl   # 后 2000 条
 ```
 
-通过 `--sft-pa-max-records-per-file` 可自定义阈值：
+通过 `--sft-max-records-per-file` 可自定义阈值：
 
 ```bash
-mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-pa-max-records-per-file 5000
+mysphinx-forge --action convert-sft --sft-format pa --input-file data/input.xlsx --sft-max-records-per-file 5000
 ```
 
 说明：

{mysphinx_forge-0.2.2 → mysphinx_forge-0.2.2.1}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "mysphinx-forge"
-version = "0.2.2"
+version = "0.2.2.1"
 description = "Data and model workflow toolkit for cleaning, clustering, generation, and evaluation"
 readme = "README.md"
 requires-python = ">=3.12"