instance-repo 1.3.5.dev1__tar.gz → 1.3.5.dev3__tar.gz

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: instance-repo
-Version: 1.3.5.dev1
+Version: 1.3.5.dev3
 Summary: InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/instance_repo/__init__.py

@@ -20,7 +20,7 @@ from .errors import (
     TransportError,
 )
 
-__version__ = "1.3.5.dev1"
+__version__ = "1.3.5.dev3"
 
 __all__ = [
     "Repo", "load_instances",

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/instance_repo/clients/instances.py

@@ -1175,6 +1175,7 @@ class InstancesClient:
         validate_instance_id(instance_id, source="pull()")
         expected = None
         fmt = None  # None = 未确定，需要探测
+        dir_manifest = None  # manifest 中的 directory 条目（如有）
         lay = self._layout()
         # 已下载的元数据字节（探测阶段下载一次，swe/custom 路径复用，避免二次网络往返）。
         meta_bytes: bytes | None = None
@@ -1192,15 +1193,27 @@ class InstancesClient:
                 raise
             if meta is not None and meta.manifest:
                 has_tgz = False
+                has_dir = False
                 for m in meta.manifest:
                     if m.content_format == "tgz":
                         expected = m.content_digest
                         has_tgz = True
                         break
+                    if m.content_type == "directory":
+                        has_dir = True
+                        dir_manifest = m
                 if has_tgz:
                     fmt = "harbor"
+                elif has_dir:
+                    # manifest 同时有 json 和 directory 条目 → custom 格式
+                    # （directory 条目指向 assets 目录，需逐文件下载）。
+                    fmt = "custom"
+                    for m in meta.manifest:
+                        if m.content_format == "json":
+                            expected = m.content_digest
+                            break
                 else:
-                    # manifest 有 json entry 但无 tgz → swe 或 custom（需进一步探测）。
+                    # manifest 有 json entry 但无 tgz 也无 directory → swe 或 custom（需进一步探测）。
                     # custom 推的 manifest 由 ingest 扫描生成，与 swe 同形态；
                     # 唯一区分手段是读 metadata JSON 检查 metadata_model 字段。
                     for m in meta.manifest:
@@ -1289,6 +1302,39 @@ class InstancesClient:
                 if isinstance(meta_doc, dict) and isinstance(
                         meta_doc.get("assets"), list):
                     asset_rels = [str(x) for x in meta_doc["assets"]]
+            # manifest 有 directory 条目但 JSON 无 assets 字段时，
+            # 用控制面 list_objects API 递归枚举目录下的全部文件作为 asset_rels。
+            if asset_rels is None and dir_manifest is not None:
+                try:
+                    env = getattr(self._p, "dataset_environment", None)
+                    mm = getattr(self._p, "metadata_model", None)
+                    # 递归列举：从根开始，遇到子目录继续深入
+                    asset_rels = []
+                    stack: list[str | None] = [None]  # None = 实例资产根
+                    # list_objects 返回的 f.path 包含完整前缀
+                    # （如 test-assets/105-creep-forecast/solution/solve.py），
+                    # 需要去掉 {split}-assets/{instance_id}/ 前缀得到相对路径。
+                    split_str = (split or "default").strip()
+                    assets_root = f"{split_str}-assets/{instance_id.strip()}/"
+                    while stack:
+                        cur_path = stack.pop()
+                        objs = self.list_objects(
+                            dataset, instance_id, split=split,
+                            version=version, path=cur_path,
+                            environment=env, metadata_model=mm)
+                        for f in objs.files:
+                            rel = f.path
+                            if rel.startswith(assets_root):
+                                rel = rel[len(assets_root):]
+                            asset_rels.append(rel)
+                        for d in objs.directories:
+                            # directory path 也含完整前缀，去掉后入栈
+                            d_path = d.path.rstrip("/")
+                            if d_path.startswith(assets_root):
+                                d_path = d_path[len(assets_root):]
+                            stack.append(d_path)
+                except Exception:  # noqa: BLE001
+                    asset_rels = None  # 枚举失败回退到 OSS LIST
             self._download_custom_assets(
                 dataset, instance_id, version, split, dest_dir, lay, sts_prefix,
                 asset_rels=asset_rels, path=path)
@@ -1300,11 +1346,50 @@ class InstancesClient:
                 # 已在探测阶段下载，直接写入本地。
                 dest.parent.mkdir(parents=True, exist_ok=True)
                 dest.write_bytes(meta_bytes)
-                return dest
-            return self._content.get_object(
-                idx_key, dest, expected_digest=expected,
-                sts_prefix=sts_prefix,
-                dataset=dataset)
+            else:
+                self._content.get_object(
+                    idx_key, dest, expected_digest=expected,
+                    sts_prefix=sts_prefix,
+                    dataset=dataset)
+            # swe 格式也可能附带 assets 目录（JSON + directory 混合格式）。
+            # 尝试用 list_objects 检查并下载目录内容。
+            try:
+                objs = self.list_objects(
+                    dataset, instance_id, split=split,
+                    version=version,
+                    environment=getattr(self._p, "dataset_environment", None),
+                    metadata_model=getattr(self._p, "metadata_model", None))
+                if objs.files or objs.directories:
+                    # 有 assets 内容 → 递归枚举并下载
+                    asset_rels: list[str] = []
+                    stack: list[str | None] = [None]
+                    split_str = (split or "default").strip()
+                    assets_root = f"{split_str}-assets/{instance_id.strip()}/"
+                    while stack:
+                        cur = stack.pop()
+                        page = self.list_objects(
+                            dataset, instance_id, split=split,
+                            version=version, path=cur,
+                            environment=getattr(self._p, "dataset_environment", None),
+                            metadata_model=getattr(self._p, "metadata_model", None))
+                        for f in page.files:
+                            rel = f.path
+                            if rel.startswith(assets_root):
+                                rel = rel[len(assets_root):]
+                            asset_rels.append(rel)
+                        for d in page.directories:
+                            d_path = d.path.rstrip("/")
+                            if d_path.startswith(assets_root):
+                                d_path = d_path[len(assets_root):]
+                            stack.append(d_path)
+                    if asset_rels:
+                        self._download_custom_assets(
+                            dataset, instance_id, version, split,
+                            dest_dir, lay, sts_prefix,
+                            asset_rels=asset_rels, path=path)
+            except Exception:  # noqa: BLE001
+                pass  # assets 目录不存在或枚举失败 → 仅保留 JSON
+            return dest
 
         # harbor：下载 content.tgz
         dest = Path(dest_dir) / instance_id / "content.tgz"

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/instance_repo/transport.py

@@ -327,12 +327,13 @@ class Transport:
                             dataset_id: str | None = None,
                             dataset_name: str | None = None,
                             permission: str | None = None,
-                            list_only: bool = False) -> dict:
+                            list_only: bool = False,
+                            dataset_source: str | None = None) -> dict:
         """换 OSS STS 三元组（收窄到 bucket+prefix）。返回归一化小写字段。
 
-        同 (bucket,prefix,duration,dataset,permission,list_only) 在有效期内复用缓存，
-        把 N 次签发降到 ~1 次。dataset_id / dataset_name 至少传一个（细粒度授权场景），
-        二者可并存，服务端校验一致性。
+        同 (bucket,prefix,duration,dataset,permission,list_only,dataset_source)
+        在有效期内复用缓存，把 N 次签发降到 ~1 次。dataset_id / dataset_name
+        至少传一个（细粒度授权场景），二者可并存，服务端校验一致性。
 
         ``permission``（可选，admin/writer/reader）是**权限封顶**：apiserver 取
         ``min(调用方真实角色, permission)``，**只能收窄不能提权**——传 admin 不会把
@@ -343,12 +344,20 @@ class Transport:
         ``list_only`` 是**发现模式开关**（与 permission 封顶正交）：True 时签发仅含
         oss:ListObjects + oss:GetBucketInfo 的令牌，跳过 DatasetRBAC 检查，用于未注册
         dataset 的 OSS 回退目录探测。二者可并存（list_only 分支优先）。
+
+        ``dataset_source``（可选，"db"/"oss"）指定数据集管理源：
+        - 空/"db"（默认）：走 MongoDB 注册 + RBAC 授权流程
+        - "oss"：纯 OSS 模式，跳过 RBAC，dataset_name/dataset_id 可不填，
+          直接按 bucket+prefix 签发 STS
         """
         # 空串与 None 一律视为"不封顶"（与 Go 的 Permission == "" 语义对齐）。
         if permission and permission not in PERMISSION_VALUES:
             raise SchemaError(
                 f"invalid permission '{permission}'; valid values: "
                 f"{', '.join(PERMISSION_VALUES)}")
+        if dataset_source and dataset_source not in ("db", "oss"):
+            raise SchemaError(
+                f"invalid dataset_source '{dataset_source}'; valid values: db, oss")
 
         def sign() -> dict:
             body: dict[str, Any] = {"resource": "oss",
@@ -363,6 +372,8 @@ class Transport:
                 body["permission"] = permission
             if list_only:
                 body["list_only"] = True
+            if dataset_source:
+                body["dataset_source"] = dataset_source
             r = self.post("/apis/v1/credentials", body, idempotent=True)
             return {
                 "access_key_id": self._require(r, "OSS_ACCESS_KEY_ID"),
@@ -376,11 +387,13 @@ class Transport:
             }
 
         ttl = float(min(duration_seconds or MIN_STS_DURATION, MAX_STS_DURATION))
-        # permission 与 list_only 都必须进缓存 key：否则请求 reader 封顶的调用方可能
+        # permission、list_only、dataset_source 都必须进缓存 key：否则请求 reader 封顶的调用方可能
         # 命中此前那份未封顶（可写）的缓存令牌，权限收窄被静默绕过；list-only 令牌
-        # 也可能被普通请求复用（反之亦然），发现模式与读写模式互相污染。
+        # 也可能被普通请求复用（反之亦然），发现模式与读写模式互相污染；
+        # oss 模式凭据不能被 db 模式复用（反之亦然）。
         cache_key = ("oss", bucket, prefix, duration_seconds,
-                     dataset_id, dataset_name, permission or None, list_only)
+                     dataset_id, dataset_name, permission or None, list_only,
+                     dataset_source or None)
         return self._cached_cred(cache_key, sign, fallback_ttl=ttl)
 
     def get_acr_credentials(self, acr_registry_url: str, *,

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/instance_repo.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: instance-repo
-Version: 1.3.5.dev1
+Version: 1.3.5.dev3
 Summary: InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown

{instance_repo-1.3.5.dev1 → instance_repo-1.3.5.dev3}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "instance-repo"
-version = "1.3.5.dev1"
+version = "1.3.5.dev3"
 description = "InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）"
 requires-python = ">=3.10"
 readme = "README.md"