starforge-cli 0.1.7__tar.gz → 0.1.8__tar.gz

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: starforge-cli
-Version: 0.1.7
+Version: 0.1.8
 Summary: StarForge（星锻）命令行客户端：pip 安装后用 sf init 创建微调项目，再提交训练。
 Project-URL: Homepage, https://github.com/wccdev/starforge
 Project-URL: Documentation, https://github.com/wccdev/starforge
@@ -18,7 +18,7 @@ Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
 Requires-Python: >=3.10
 Requires-Dist: datasets>=2.18
 Requires-Dist: pyyaml>=6
-Requires-Dist: starforge-core==0.2.0
+Requires-Dist: starforge-core==0.2.1
 Requires-Dist: typer>=0.12
 Provides-Extra: dev
 Requires-Dist: fastapi>=0.110; extra == 'dev'

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "starforge-cli"
-version = "0.1.7"
+version = "0.1.8"
 description = "StarForge（星锻）命令行客户端：pip 安装后用 sf init 创建微调项目，再提交训练。"
 readme = "README.md"
 requires-python = ">=3.10"
@@ -17,7 +17,7 @@ classifiers = [
     "Topic :: Scientific/Engineering :: Artificial Intelligence",
 ]
 dependencies = [
-    "starforge-core==0.2.0",
+    "starforge-core==0.2.1",
     "typer>=0.12",
     "datasets>=2.18",
     "pyyaml>=6",

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/starforge_cli/__init__.py

@@ -1,3 +1,3 @@
 """starforge-cli：统一 CLI 包。命令入口见 starforge_cli.cli:app（安装后提供 `sf`）。"""
 
-__version__ = "0.1.7"
+__version__ = "0.1.8"

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/starforge_cli/cli.py

@@ -5,7 +5,8 @@
   实验资产    ls / new / methods / validate（纯本地 + SDK catalog）
   作业契约    submit / export / eval / clean（JobSpec + 清单式打包，经 Console）
   观测控制    status / job *（经 Console；集群细节客户端不可见）
-外加 dataset *（数据生命周期）、plugin *（插件中心）与 admin *（管理员）三个子组。
+外加 dataset *（数据生命周期）、corpus *（检索语料，只读列举）、plugin *（插件中心）
+与 admin *（管理员）四个子组。
 """
 from __future__ import annotations
 
@@ -14,6 +15,7 @@ import typer
 from starforge_cli.commands import (
     admin,
     bench,
+    corpus,
     dataset,
     exp,
     jobs,
@@ -66,6 +68,7 @@ app.add_typer(jobs.job_app, name="job")
 app.add_typer(recipe.recipe_app, name="recipe")
 app.add_typer(serve.serve_app, name="serve")
 app.add_typer(dataset.dataset_app, name="dataset")
+app.add_typer(corpus.corpus_app, name="corpus")
 app.add_typer(plugin.plugin_app, name="plugin")
 app.add_typer(admin.admin_app, name="admin")
 

starforge_cli-0.1.8/starforge_cli/commands/corpus.py

@@ -0,0 +1,38 @@
+"""检索语料：查看能引用哪些内部资料。
+
+**只有 ls，没有 pull/preview/push** —— 刻意的，不是没写完。语料是训练期只读的
+内部资料，开发人员需要的只是「我能引用哪些、有哪些版本」，把内容取到本地的能力
+一概不提供（这正是语料与数据集在下发方式上分道扬镳的原因，见服务端
+server/services/corpora.py 的模块注释）。
+
+往语料库里放资料是管理员的事：配了对象存储就推到 `corpora/` 前缀，否则直接维护
+FORGE_CORPUS_ROOT 下的目录。两种方式都在集合根放一个 meta.json 声明 owner 与
+可见性。
+"""
+from __future__ import annotations
+
+import typer
+
+from starforge_cli import api_client
+from starforge_cli.auth import gate
+
+corpus_app = typer.Typer(
+    no_args_is_help=True,
+    help="检索语料：查看可引用的内部资料及版本（提交时用 --corpus 引用）",
+    context_settings={"help_option_names": ["-h", "--help"]},
+)
+
+
+@corpus_app.command("ls", help="列出可见的语料（公开的 + 自己的）")
+def corpus_ls() -> None:
+    gate()
+    rows = api_client.api_get("/api/corpora")["corpora"]
+    if not rows:
+        typer.echo("（没有可见的语料；语料由管理员维护，未配置 FORGE_CORPUS_ROOT 时该功能不可用）")
+        return
+    for c in rows:
+        vis = "公开" if c["visibility"] == "public" else "私有"
+        versions = ", ".join(c["versions"]) or "（无版本）"
+        typer.echo(f"{c['id']:32s} [{vis}]  {versions}")
+    typer.echo("")
+    typer.echo("引用：sf submit <exp> --corpus <owner>/<name>[@version]")

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/starforge_cli/commands/submit.py

@@ -56,6 +56,12 @@ def submit(
         None, "--validation-dataset", metavar="<owner>/<name>[@version]",
         help="验证集的平台数据集引用；对应 config 的 data.validation.dataset",
     ),
+    corpus: Optional[str] = typer.Option(
+        None, "--corpus", metavar="<owner>/<name>[@version]",
+        help="检索语料引用（训练期只读的参考资料，非训练集）。平台校权后按版本"
+             "只读挂进容器并注入 DOCS_DIR；资料不进作业包、不签发下载直链。"
+             "用 `sf corpus ls` 查看可引用的语料",
+    ),
     image: Optional[str] = typer.Option(
         None,
         "--image",
@@ -121,6 +127,7 @@ def submit(
         model=model, train_data=train_data, validation_data=validation_data,
         train_dataset=train_dataset or cfg_train_ds,
         validation_dataset=validation_dataset or cfg_val_ds,
+        corpus=corpus or "",
         framework_version=framework_version,
         image=image,
         provenance=prov,
@@ -218,7 +225,7 @@ def _upgrade_recipe_or_exit(exp_path: str, *, method, framework_version) -> None
 def _build_spec_or_exit(exp_path: str, *, method, project, sets, pools, roles,
                         init_from, then, observability_url=None, model=None,
                         train_data=None, validation_data=None,
-                        train_dataset=None, validation_dataset=None,
+                        train_dataset=None, validation_dataset=None, corpus=None,
                         framework_version=None, image=None, provenance=None,
                         validate: bool):
     """构建强 JobSpec；缺少显式 recipe 时立即退出。"""
@@ -267,6 +274,7 @@ def _build_spec_or_exit(exp_path: str, *, method, project, sets, pools, roles,
             validation_data=validation_data or "",
             train_dataset=train_dataset or "",
             validation_dataset=validation_dataset or "",
+            corpus=corpus or "",
             image=image or "",
             provenance=provenance or packing.git_provenance(common.ROOT, exp_path),
             validate=validate,

{starforge_cli-0.1.7 → starforge_cli-0.1.8}/starforge_cli/spec_builder.py

@@ -31,6 +31,7 @@ from starforge_core.contract import (
     SourceSpec,
     SpecError,
     exp_basename,
+    safe_versioned_ref,
 )
 from starforge_core.recipes import RuntimeArtifact, get_recipe
 
@@ -197,6 +198,7 @@ def build_spec(
     validation_data: str = "",
     train_dataset: str = "",
     validation_dataset: str = "",
+    corpus: str = "",
     operation: str = "train",
     provenance: Optional[dict] = None,
     validate: bool = True,
@@ -250,6 +252,10 @@ def build_spec(
                 f"{flag} 必须是 <owner>/<name>[@version]（如 alice/gsm8k@v1），收到 {ref!r}；"
                 "用 `sf dataset ls` 查看完整 ID"
             )
+    if corpus.strip():
+        # 检索语料引用。三段（owner/name/version）都会变成对象键与宿主机目录名，
+        # 所以本地就按同一份规则校验 —— 与服务端用的是同一个函数。
+        safe_versioned_ref(corpus.strip(), field="--corpus")
 
     hyperparams = parse_set(sets or [])
     if validate:
@@ -327,6 +333,9 @@ def build_spec(
                     DataRef(dataset=validation_dataset.strip(), path=validation_data.strip())
                     if (validation_data.strip() or validation_dataset.strip()) else None
                 ),
+                # 语料只给引用、不给路径：容器内挂载点由平台注入（DOCS_DIR），
+                # 实验写死路径就绕开了那套校权。
+                corpus=corpus.strip(),
             ),
             resources=ResourceSpec(pools=pool_objs, roles=role_map),
             hyperparams=hyperparams,