instance-repo 1.3.5.dev2__tar.gz → 1.3.5.dev4__tar.gz

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: instance-repo
-Version: 1.3.5.dev2
+Version: 1.3.5.dev4
 Summary: InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/instance_repo/__init__.py

@@ -20,7 +20,7 @@ from .errors import (
     TransportError,
 )
 
-__version__ = "1.3.5.dev2"
+__version__ = "1.3.5.dev4"
 
 __all__ = [
     "Repo", "load_instances",

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/instance_repo/clients/instances.py

@@ -769,9 +769,11 @@ class InstancesClient:
             put = self._content.put(instance_id, dataset, version, split, tgz,
                                     meta.to_canonical_json(), overwrite=overwrite,
                                     layout=lay)
+            _tgz_size = tgz.stat().st_size
         skipped = bool(put.get("skipped"))
         _upload_elapsed = _time.monotonic() - _t0 - _pack_elapsed
-        _tgz_size = tgz.stat().st_size if not skipped else 0
+        if skipped:
+            _tgz_size = 0
         logger.info("push %s: pack=%.1fs (%d bytes) upload=%.1fs skipped=%s",
                     instance_id, _pack_elapsed, _tgz_size,
                     _upload_elapsed, skipped)
@@ -1444,7 +1446,7 @@ class InstancesClient:
             return []
         # path 非空时，LIST 直接用子前缀缩小范围
         list_prefix = asset_prefix + path_prefix if path_prefix else asset_prefix
-        keys = list_fn(list_prefix)
+        keys = list_fn(list_prefix, list_only=True, dataset=dataset)
         if not keys:
             return []
         for key in keys:

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/instance_repo/store/oss.py

@@ -629,7 +629,7 @@ class OssContentStore(BaseContentStore):
         if oss_prefix and not oss_prefix.endswith("/"):
             oss_prefix += "/"
 
-        keys = self.list_objects(oss_prefix)
+        keys = self.list_objects(oss_prefix, list_only=True, dataset=dataset)
 
         def _download_one(key: str) -> Path:
             rel = key[len(oss_prefix):]

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/instance_repo/transport.py

@@ -327,12 +327,13 @@ class Transport:
                             dataset_id: str | None = None,
                             dataset_name: str | None = None,
                             permission: str | None = None,
-                            list_only: bool = False) -> dict:
+                            list_only: bool = False,
+                            dataset_source: str | None = None) -> dict:
         """换 OSS STS 三元组（收窄到 bucket+prefix）。返回归一化小写字段。
 
-        同 (bucket,prefix,duration,dataset,permission,list_only) 在有效期内复用缓存，
-        把 N 次签发降到 ~1 次。dataset_id / dataset_name 至少传一个（细粒度授权场景），
-        二者可并存，服务端校验一致性。
+        同 (bucket,prefix,duration,dataset,permission,list_only,dataset_source)
+        在有效期内复用缓存，把 N 次签发降到 ~1 次。dataset_id / dataset_name
+        至少传一个（细粒度授权场景），二者可并存，服务端校验一致性。
 
         ``permission``（可选，admin/writer/reader）是**权限封顶**：apiserver 取
         ``min(调用方真实角色, permission)``，**只能收窄不能提权**——传 admin 不会把
@@ -343,12 +344,20 @@ class Transport:
         ``list_only`` 是**发现模式开关**（与 permission 封顶正交）：True 时签发仅含
         oss:ListObjects + oss:GetBucketInfo 的令牌，跳过 DatasetRBAC 检查，用于未注册
         dataset 的 OSS 回退目录探测。二者可并存（list_only 分支优先）。
+
+        ``dataset_source``（可选，"db"/"oss"）指定数据集管理源：
+        - 空/"db"（默认）：走 MongoDB 注册 + RBAC 授权流程
+        - "oss"：纯 OSS 模式，跳过 RBAC，dataset_name/dataset_id 可不填，
+          直接按 bucket+prefix 签发 STS
         """
         # 空串与 None 一律视为"不封顶"（与 Go 的 Permission == "" 语义对齐）。
         if permission and permission not in PERMISSION_VALUES:
             raise SchemaError(
                 f"invalid permission '{permission}'; valid values: "
                 f"{', '.join(PERMISSION_VALUES)}")
+        if dataset_source and dataset_source not in ("db", "oss"):
+            raise SchemaError(
+                f"invalid dataset_source '{dataset_source}'; valid values: db, oss")
 
         def sign() -> dict:
             body: dict[str, Any] = {"resource": "oss",
@@ -363,6 +372,8 @@ class Transport:
                 body["permission"] = permission
             if list_only:
                 body["list_only"] = True
+            if dataset_source:
+                body["dataset_source"] = dataset_source
             r = self.post("/apis/v1/credentials", body, idempotent=True)
             return {
                 "access_key_id": self._require(r, "OSS_ACCESS_KEY_ID"),
@@ -376,11 +387,13 @@ class Transport:
             }
 
         ttl = float(min(duration_seconds or MIN_STS_DURATION, MAX_STS_DURATION))
-        # permission 与 list_only 都必须进缓存 key：否则请求 reader 封顶的调用方可能
+        # permission、list_only、dataset_source 都必须进缓存 key：否则请求 reader 封顶的调用方可能
         # 命中此前那份未封顶（可写）的缓存令牌，权限收窄被静默绕过；list-only 令牌
-        # 也可能被普通请求复用（反之亦然），发现模式与读写模式互相污染。
+        # 也可能被普通请求复用（反之亦然），发现模式与读写模式互相污染；
+        # oss 模式凭据不能被 db 模式复用（反之亦然）。
         cache_key = ("oss", bucket, prefix, duration_seconds,
-                     dataset_id, dataset_name, permission or None, list_only)
+                     dataset_id, dataset_name, permission or None, list_only,
+                     dataset_source or None)
         return self._cached_cred(cache_key, sign, fallback_ttl=ttl)
 
     def get_acr_credentials(self, acr_registry_url: str, *,

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/instance_repo.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: instance-repo
-Version: 1.3.5.dev2
+Version: 1.3.5.dev4
 Summary: InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown

{instance_repo-1.3.5.dev2 → instance_repo-1.3.5.dev4}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "instance-repo"
-version = "1.3.5.dev2"
+version = "1.3.5.dev4"
 description = "InstanceRepo SDK — 评测 Instance 统一存储客户端（SDK-only；控制面由 apiserver 承载）"
 requires-python = ">=3.10"
 readme = "README.md"