openbayes-cli 0.28.0__tar.gz → 0.28.2__tar.gz

{openbayes_cli-0.28.0 → openbayes_cli-0.28.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: openbayes-cli
-Version: 0.28.0
+Version: 0.28.2
 Summary: A Python CLI for OpenBayes
 License: OpenBayes Public Source License
 Keywords: openbayes,cli,machine learning
@@ -20,7 +20,7 @@ Classifier: Programming Language :: Python :: 3.13
 Classifier: Programming Language :: Python :: 3.14
 Requires-Dist: aiohttp (>=3.10.2,<4.0.0)
 Requires-Dist: archiver (>=0.2.2,<0.3.0)
-Requires-Dist: boto3 (>=1.35,<2.0)
+Requires-Dist: boto3 (>=1.35,<1.43)
 Requires-Dist: click (>=8.1.7,<9)
 Requires-Dist: gql (>=3.5.0,<4.0.0)
 Requires-Dist: pathspec (>=0.12.1,<0.13.0)

{openbayes_cli-0.28.0 → openbayes_cli-0.28.2}/bayes/usercases/minio_storage_usecase.py

@@ -134,16 +134,27 @@ class ProgressPercentage:
 _S3_CLIENT_TO_SESSION = {}
 
 
-def _build_s3_client(endpoint: str, access_key: str, secret_key: str):
-    # 开启 botocore 自带的重试（自适应）作为底层兜底，应用层仍会再做显式重试
-    # 重要：为避免网络抖动/链接半断时“无限等待”，显式设置超时。
-    # connect_timeout：建立连接的最长等待
-    # read_timeout：等待服务端响应的最长等待（上传分片后服务端返回 ETag）
-    config = BotoCoreConfig(
+def _build_s3_client(endpoint: str, access_key: str, secret_key: str, read_timeout: int = 900):
+    config_kwargs = dict(
         retries={"max_attempts": 10, "mode": "adaptive"},
         connect_timeout=10,
-        read_timeout=900,
+        read_timeout=read_timeout,
     )
+    # botocore >= 1.36 默认 request_checksum_calculation="when_supported", 会给
+    # PutObject / UploadPart 自动附加 CRC32 校验和。在 HTTPS 的 S3 端点上, 这会让请求体
+    # 退化为 aws-chunked 流式上传 (X-Amz-Content-SHA256: STREAMING-UNSIGNED-PAYLOAD-TRAILER),
+    # 不再发送 Content-Length。许多 S3 兼容后端 (MinIO/Ceph 等) 不支持该模式, 会以
+    # MissingContentLength ("You must provide the Content-Length HTTP header") 拒绝上传。
+    # 这里显式退回 when_required 行为, 保证普通的带 Content-Length 的 PUT。
+    # 注意: 该参数在 botocore < 1.36 上不存在, 传入会抛 TypeError, 故做向后兼容降级。
+    try:
+        config = BotoCoreConfig(
+            request_checksum_calculation="when_required",
+            response_checksum_validation="when_required",
+            **config_kwargs,
+        )
+    except TypeError:
+        config = BotoCoreConfig(**config_kwargs)
     return boto3.client(
         "s3",
         endpoint_url=endpoint,
@@ -911,15 +922,26 @@ def upload_file_with_resume(s3_client, bucket_name, local_file_path, remote_file
                     )
             
             # 完成分块上传
-            print("\n所有分块已上传，正在请求服务端完成合并。")
-            print(
-                f"提示：这个步骤不会增加上传字节数，所以进度条可能看起来“不动”。"
-                f"服务端会进行对象完成/元数据写入与校验。"
-                f"（本次分片数：{total_parts}，分片大小：{_format_bytes_binary(part_size)}，约 {filesize.decimal(part_size)}）"
-            )
+            print("\n所有分块已上传，正在请求服务端完成合并...")
             completed_parts.sort(key=lambda x: x['PartNumber'])
+
+            # complete_multipart_upload 是纯元数据操作（body 极小），正常只需几秒。
+            # 但分片上传期间 TCP 连接可能已被 NAT/网关静默关掉，boto3 不知道还在傻等。
+            # 如果复用 read_timeout=900 的 client，要干等 15 分钟才超时。
+            # 解决：有 session 时用短超时（60s）的新 client，连接死了快速重试而非死等。
+            # （无 session 是 source code 上传路径，文件都很小，几乎不会走到这里，复用原 client 即可。）
+            _complete_client = (
+                _build_s3_client(
+                    session.policy.endpoint,
+                    session.policy.accessKey,
+                    session.policy.secretKey,
+                    read_timeout=60,
+                )
+                if session
+                else s3_client
+            )
             _call_with_retry(
-                _get_active_s3_client(s3_client, session),
+                _complete_client,
                 lambda c: c.complete_multipart_upload(
                     Bucket=bucket_name,
                     Key=remote_file_path,
@@ -927,6 +949,8 @@ def upload_file_with_resume(s3_client, bucket_name, local_file_path, remote_file
                     MultipartUpload={'Parts': completed_parts},
                 ),
                 session=session,
+                max_attempts=8,
+                initial_backoff=1.0,
             )
             
             # 关闭进度条
@@ -966,12 +990,10 @@ def upload_source_code(party_name: str, source_code_path: str, storageType: str)
         print("正在获取上传授权...")
         policy = get_source_code_upload_policy(party_name, storageType)
 
-        s3_client = boto3.client(
-            "s3",
-            endpoint_url=policy.endpoint,
-            aws_access_key_id=policy.accessKey,
-            aws_secret_access_key=policy.secretKey
-        )
+        # 复用 _build_s3_client, 确保源代码上传也带上 when_required 校验和配置;
+        # 否则 botocore >= 1.36 在 HTTPS 端点下会退化为 aws-chunked, 丢失 Content-Length,
+        # 导致 MinIO/Ceph 后端以 MissingContentLength 拒绝上传。
+        s3_client = _build_s3_client(policy.endpoint, policy.accessKey, policy.secretKey)
         
         bucket_name, minio_path = extract_bucket_and_path(policy.path)
         

{openbayes_cli-0.28.0 → openbayes_cli-0.28.2}/pyproject.toml

@@ -1,6 +1,6 @@
 [tool.poetry]
 name = "openbayes-cli"
-version = "0.28.0"
+version = "0.28.2"
 description = "A Python CLI for OpenBayes"
 authors = ["OpenBayes <dev@openbayes.com>"]
 readme = "README.md"
@@ -46,7 +46,7 @@ tuspy = "^1.0.3"
 tqdm = "^4.66.5"
 toml = "^0.10.2"
 pydantic = "^2.9.2"
-boto3 = "^1.35"
+boto3 = ">=1.35,<1.43"
 
 [tool.poetry.group.dev.dependencies]
 pytest = "^8.2.2"