mectl 0.1.0__tar.gz

mectl-0.1.0/PKG-INFO

@@ -0,0 +1,124 @@
+Metadata-Version: 2.4
+Name: mectl
+Version: 0.1.0
+Summary: A command line tool for downloading files from MinIO
+Author: luxu1220
+Author-email: luxu1220@gmail.com
+Requires-Python: >=3.10
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Programming Language :: Python :: 3.14
+Requires-Dist: click (>=8.0.0)
+Requires-Dist: minio (>=7.0.0)
+Description-Content-Type: text/markdown
+
+# mectl
+
+`mectl` 是一个命令行工具，用于辅助mindedge的模型开发，例如从 MinIO 服务器下载文件。
+
+## 功能特性
+
+- 通过命令行从 MinIO 服务器下载文件
+- 支持通过配置文件或环境变量设置连接参数
+- 灵活的输出路径配置
+- 支持指定存储桶名称
+- 自动从文件路径提取文件名
+- 自动检测并解压ZIP文件
+
+## 安装
+
+```bash
+# 使用 pip 安装
+pip install mectl
+```
+
+## 使用方法
+
+### 基本用法
+
+```bash
+mectl get [OPTIONS] FILE_KEY
+```
+
+### 参数说明
+
+- `FILE_KEY`: MinIO 对象路径，格式：`bucket_name/object_key`
+- `-o, --output`: 本地保存路径（默认为从 FILE_KEY 提取的文件名）
+- `-c, --config`: 配置文件路径（JSON，含 oss.accessKey 等）
+- `-b, --bucket`: MinIO 存储桶名称（默认为 `suanpan`）
+
+### 配置
+
+工具需要通过配置文件或环境变量提供 MinIO 连接信息。
+
+#### 配置文件示例 (config.json)
+
+```json
+{
+  "oss": {
+    "internalEndpoint": "your-minio-server.com:9000",
+    "accessKey": "your-access-key",
+    "accessSecret": "your-access-secret"
+  }
+}
+```
+
+#### 环境变量方式
+
+```bash
+export NODE_CONFIG='{"oss":{"internalEndpoint":"your-minio-server.com:9000","accessKey":"your-access-key","accessSecret":"your-access-secret"}}'
+mectl get bucket-name/file-path
+```
+
+### 使用示例
+
+```bash
+# 使用配置文件下载文件
+mectl get my-file.txt -c config.json -o ./local-file.txt
+
+# 使用环境变量下载文件（自动提取文件名）
+mectl get studio/100029/models/MindEdge.zip -c config.json
+
+# 指定特定存储桶
+mectl get my-file.txt -b another-bucket -c config.json
+```
+
+## 开发
+
+### 本地运行
+
+```bash
+# 克隆项目
+git clone <repository-url>
+
+# 安装依赖
+cd mectl
+pip install -e .
+```
+
+## 发布到 PyPI
+
+要发布新版本到 PyPI，请执行以下步骤：
+
+1. 更新 [pyproject.toml](file:///home/luxu/project/mindedge-model-tool/pyproject.toml) 中的版本号
+2. 运行测试确保一切正常
+3. 使用发布脚本发布：
+
+```bash
+# 运行发布脚本
+./release.sh
+```
+
+发布脚本将：
+- 检查环境和依赖
+- 构建包
+- 询问发布目标（测试PyPI或正式PyPI）
+- 执行发布
+
+## 依赖
+
+- Python >= 3.10
+- minio >= 7.0.0

mectl-0.1.0/README.md

@@ -0,0 +1,107 @@
+# mectl
+
+`mectl` 是一个命令行工具，用于辅助mindedge的模型开发，例如从 MinIO 服务器下载文件。
+
+## 功能特性
+
+- 通过命令行从 MinIO 服务器下载文件
+- 支持通过配置文件或环境变量设置连接参数
+- 灵活的输出路径配置
+- 支持指定存储桶名称
+- 自动从文件路径提取文件名
+- 自动检测并解压ZIP文件
+
+## 安装
+
+```bash
+# 使用 pip 安装
+pip install mectl
+```
+
+## 使用方法
+
+### 基本用法
+
+```bash
+mectl get [OPTIONS] FILE_KEY
+```
+
+### 参数说明
+
+- `FILE_KEY`: MinIO 对象路径，格式：`bucket_name/object_key`
+- `-o, --output`: 本地保存路径（默认为从 FILE_KEY 提取的文件名）
+- `-c, --config`: 配置文件路径（JSON，含 oss.accessKey 等）
+- `-b, --bucket`: MinIO 存储桶名称（默认为 `suanpan`）
+
+### 配置
+
+工具需要通过配置文件或环境变量提供 MinIO 连接信息。
+
+#### 配置文件示例 (config.json)
+
+```json
+{
+  "oss": {
+    "internalEndpoint": "your-minio-server.com:9000",
+    "accessKey": "your-access-key",
+    "accessSecret": "your-access-secret"
+  }
+}
+```
+
+#### 环境变量方式
+
+```bash
+export NODE_CONFIG='{"oss":{"internalEndpoint":"your-minio-server.com:9000","accessKey":"your-access-key","accessSecret":"your-access-secret"}}'
+mectl get bucket-name/file-path
+```
+
+### 使用示例
+
+```bash
+# 使用配置文件下载文件
+mectl get my-file.txt -c config.json -o ./local-file.txt
+
+# 使用环境变量下载文件（自动提取文件名）
+mectl get studio/100029/models/MindEdge.zip -c config.json
+
+# 指定特定存储桶
+mectl get my-file.txt -b another-bucket -c config.json
+```
+
+## 开发
+
+### 本地运行
+
+```bash
+# 克隆项目
+git clone <repository-url>
+
+# 安装依赖
+cd mectl
+pip install -e .
+```
+
+## 发布到 PyPI
+
+要发布新版本到 PyPI，请执行以下步骤：
+
+1. 更新 [pyproject.toml](file:///home/luxu/project/mindedge-model-tool/pyproject.toml) 中的版本号
+2. 运行测试确保一切正常
+3. 使用发布脚本发布：
+
+```bash
+# 运行发布脚本
+./release.sh
+```
+
+发布脚本将：
+- 检查环境和依赖
+- 构建包
+- 询问发布目标（测试PyPI或正式PyPI）
+- 执行发布
+
+## 依赖
+
+- Python >= 3.10
+- minio >= 7.0.0

mectl-0.1.0/pyproject.toml

@@ -0,0 +1,34 @@
+[project]
+name = "mectl"
+version = "0.1.0"
+description = "A command line tool for downloading files from MinIO"
+authors = [
+    {name = "luxu1220",email = "luxu1220@gmail.com"}
+]
+readme = "README.md"
+requires-python = ">=3.10"
+dependencies = [
+    "minio>=7.0.0",
+    "click>=8.0.0"
+]
+
+[project.scripts]
+mectl = "src.cli:main"
+
+[build-system]
+requires = ["poetry-core>=2.0.0,<3.0.0"]
+build-backend = "poetry.core.masonry.api"
+
+[tool.poetry]
+name = "mectl"
+version = "0.1.0"
+description = "A command line tool for downloading files from MinIO"
+packages = [{include = "src"}]
+
+[tool.poetry.dependencies]
+python = "^3.10"
+minio = "^7.0.0"
+click = "^8.0.0"
+
+[tool.poetry.scripts]
+mectl = "src.cli:main"

mectl-0.1.0/src/__init__.py

@@ -0,0 +1,5 @@
+"""
+mindedge-model-tool - 一个用于辅助mindedge的模型开发，用于从 MinIO 下载文件的命令行工具
+"""
+
+__version__ = "0.1.0"

mectl-0.1.0/src/cli.py

@@ -0,0 +1,179 @@
+# src/minio_downloader/cli.py
+import os
+import sys
+import json
+import argparse
+from minio import Minio
+from minio.error import S3Error
+from urllib.parse import urlparse
+import subprocess
+import click
+
+
+def load_node_config(config_path=None):
+    if config_path:
+        try:
+            with open(config_path, 'r', encoding='utf-8') as f:
+                return json.load(f)
+        except FileNotFoundError:
+            raise FileNotFoundError(f"配置文件不存在: {config_path}")
+        except json.JSONDecodeError as e:
+            raise ValueError(f"配置文件格式错误: {config_path} - {e}")
+    else:
+        node_config_str = os.getenv('NODE_CONFIG')
+        if not node_config_str:
+            raise ValueError("请通过 --config 指定配置文件，或设置 NODE_CONFIG 环境变量")
+        try:
+            return json.loads(node_config_str)
+        except json.JSONDecodeError as e:
+            raise ValueError(f"环境变量 NODE_CONFIG 格式错误: {e}")
+
+
+def parse_minio_url(endpoint):
+    if not endpoint.startswith(('http://', 'https://')):
+        endpoint = 'http://' + endpoint
+    parsed = urlparse(endpoint)
+    secure = parsed.scheme == 'https'
+    host = parsed.hostname
+    if not host:
+        # 如果hostname为None，尝试从netloc中提取（不包含端口）
+        host = parsed.netloc.split(':')[0] if parsed.netloc else None
+    if not host:
+        raise ValueError(f"无法从endpoint中解析主机名: {endpoint}")
+    
+    port = parsed.port
+    
+    if port:
+        host = f"{host}:{port}"
+    elif not port and parsed.scheme == 'https':
+        host = f"{host}:443"
+    elif not port:
+        host = f"{host}:9000"  # MinIO默认端口是9000，不是80
+        
+    return host, secure
+
+
+def download_file(file_key, output_path, config_path=None, bucket_name="suanpan"):
+    """实际的下载函数，供命令行工具调用"""
+    try:
+        config = load_node_config(config_path)
+        oss = config.get('oss', {})
+        
+        if not oss:
+            print("❌ 配置文件中未找到 'oss' 配置项", file=sys.stderr)
+            sys.exit(1)
+            
+        if 'internalEndpoint' not in oss:
+            print("❌ 配置文件中缺少 'internalEndpoint' 配置项", file=sys.stderr)
+            sys.exit(1)
+            
+        if 'accessKey' not in oss or 'accessSecret' not in oss:
+            print("❌ 配置文件中缺少 'accessKey' 或 'accessSecret' 配置项", file=sys.stderr)
+            sys.exit(1)
+
+        endpoint, secure = parse_minio_url(oss['internalEndpoint'])
+        client = Minio(
+            endpoint,
+            access_key=oss['accessKey'],
+            secret_key=oss['accessSecret'],
+            secure=secure
+        )
+
+        # 确保输出目录存在
+        output_dir = os.path.dirname(os.path.abspath(output_path))
+        if output_dir:
+            os.makedirs(output_dir, exist_ok=True)
+        
+        # 下载文件
+        client.fget_object(bucket_name, file_key, output_path)
+        print(f"✅ 已下载: {file_key} → {output_path}")
+        return output_path
+        
+    except S3Error as e:
+        print(f"❌ MinIO 错误: {e}", file=sys.stderr)
+        sys.exit(1)
+    except (FileNotFoundError, ValueError) as e:
+        print(f"❌ {e}", file=sys.stderr)
+        sys.exit(1)
+    except Exception as e:
+        print(f"❌ 错误: {e}", file=sys.stderr)
+        sys.exit(1)
+
+
+def extract_filename_from_key(file_key):
+    """从file_key中提取文件名"""
+    # 获取key的最后一部分作为文件名
+    return os.path.basename(file_key)
+
+
+def ask_unzip(file_path):
+    """询问用户是否需要解压ZIP文件"""
+    response = input(f"检测到文件 {file_path} 是ZIP格式，是否需要解压？[y/N]: ").strip().lower()
+    return response in ['y', 'yes', '是']
+
+
+def unzip_file(file_path):
+    """解压ZIP文件"""
+    try:
+        # 获取文件所在目录
+        dir_path = os.path.dirname(file_path)
+        if not dir_path:
+            dir_path = '.'
+        
+        # 使用unzip命令解压
+        result = subprocess.run(['unzip', '-o', file_path, '-d', dir_path], 
+                              stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
+        
+        if result.returncode == 0:
+            print(f"✅ 已解压: {file_path}")
+            return True
+        else:
+            print(f"❌ 解压失败: {result.stderr}")
+            return False
+    except FileNotFoundError:
+        print("❌ 系统未找到unzip命令，请安装unzip后再试")
+        return False
+    except Exception as e:
+        print(f"❌ 解压过程中出现错误: {e}")
+        return False
+
+
+def download_file_with_cli(file_key, output_path=None, config_path=None, bucket_name="suanpan"):
+    """命令行接口的下载函数"""
+    # 如果未指定输出路径，则从file_key中提取文件名
+    if not output_path:
+        filename = extract_filename_from_key(file_key)
+        output_path = os.path.join("./", filename)
+    
+    # 执行下载
+    downloaded_path = download_file(file_key, output_path, config_path, bucket_name)
+    
+    # 检查是否为zip文件，如果是则询问是否需要解压
+    if downloaded_path.lower().endswith('.zip'):
+        if ask_unzip(downloaded_path):
+            unzip_file(downloaded_path)
+
+
+@click.group()
+@click.version_option(version='1.0.0')
+def cli():
+    """MindEdge模型工具命令行"""
+    pass
+
+
+@cli.command()
+@click.argument('file_key')
+@click.option('-o', '--output', default=None, help='本地保存路径')
+@click.option('-c', '--config', help='配置文件路径（JSON，含 oss.accessKey 等）')
+@click.option('-b', '--bucket', default='suanpan', help='MinIO 存储桶名称，默认为 \'suanpan\'')
+def get(file_key, output, config, bucket):
+    """下载MinIO中的文件"""
+    download_file_with_cli(file_key, output, config, bucket)
+
+
+def main():
+    cli()
+
+
+if __name__ == "__main__":
+    main()