cmdbox 0.1.0__py3-none-any.whl

cmdbox/__init__.py

@@ -0,0 +1,3 @@
+from cmdbox.version import __version__
+
+__all__ = ['__version__']

cmdbox/__main__.py

@@ -0,0 +1,4 @@
+if __name__ == "__main__":
+    from cmdbox.app import app
+    exit_code = app.main()
+    exit(exit_code)

cmdbox/app/app.py

@@ -0,0 +1,116 @@
+from cmdbox import version
+from cmdbox.app import common, options
+from pathlib import Path
+from typing import List
+import argparse
+import argcomplete
+import logging
+import time
+import sys
+
+
+def main(args_list:list=None):
+    app = CmdBoxApp()
+    return app.main(args_list)[0]
+
+class CmdBoxApp:
+    def __init__(self, appid:str=version.__appid__, description:str=None, cli_features_packages:List[str]=None):
+        """
+        コンストラクタ
+
+        Args:
+            appid (str, optional): アプリケーションID. Defaults to version.__appid__.
+            description (str, optional): アプリケーションの説明. Defaults to None.
+            cli_package_name (str, optional): プラグインのパッケージ名. Defaults to None.
+        """
+        self.options = options.Options.getInstance()
+        self.appid = appid
+        self.description = description
+        self.cli_features_packages = cli_features_packages
+
+    def main(self, args_list:list=None, file_dict:dict=dict(), webcall:bool=False):
+        """
+        コマンドライン引数を処理し、サーバーまたはクライアントを起動し、コマンドを実行する。
+        """
+        parser = argparse.ArgumentParser(prog=self.appid, description=self.description, exit_on_error=False)
+
+        # プラグイン読込み
+        self.options.load_svcmd('cmdbox.app.features.cli')
+        if self.cli_features_packages is not None:
+            for cli_features_package in self.cli_features_packages:
+                self.options.load_svcmd(cli_features_package)
+        self.options.load_features_file('cli', self.options.load_svcmd)
+
+        # コマンド引数の生成
+        opts = self.options.list_options()
+        for opt in opts.values():
+            default = opt["default"] if opt["default"] is not None and opt["default"] != "" else None
+            if opt["action"] is None:
+                parser.add_argument(*opt["opts"], help=opt["help"], type=opt["type"], default=default, choices=opt["choices"])
+            else:
+                parser.add_argument(*opt["opts"], help=opt["help"], default=default, action=opt["action"])
+
+        argcomplete.autocomplete(parser)
+        # mainメソッドの起動時引数がある場合は、その引数を解析する
+        try:
+            if args_list is not None:
+                args = parser.parse_args(args=args_list)
+            else:
+                args = parser.parse_args()
+        except argparse.ArgumentError as e:
+            msg = {"error":f"ArgumentError: {e}"}
+            common.print_format(msg, False, 0, None, False)
+            return 1, msg, None
+        # 起動時引数で指定されたオプションをファイルから読み込んだオプションで上書きする
+        args_dict = vars(args)
+        for key, val in file_dict.items():
+            args_dict[key] = val
+        # useoptオプションで指定されたオプションファイルを読み込む
+        opt = common.loadopt(args.useopt)
+        # 最終的に使用するオプションにマージする
+        for key, val in args_dict.items():
+            args_dict[key] = common.getopt(opt, key, preval=args_dict, withset=True)
+        args = argparse.Namespace(**args_dict)
+
+        tm = time.perf_counter()
+        ret = {"success":f"Start command. {args}"}
+
+        if args.saveopt:
+            if args.useopt is None:
+                msg = {"warn":f"Please specify the --useopt option."}
+                common.print_format(msg, args.format, tm, args.output_json, args.output_json_append)
+                return 1, msg, None
+            common.saveopt(opt, args.useopt)
+            ret = {"success":f"Save options file. {args.useopt}"}
+
+        if args.version:
+            v = version.__logo__ + '\n' + version.__description__
+            common.print_format(v, False, tm, None, False)
+            return 0, v, None
+
+        if args.mode is None:
+            msg = {"warn":f"mode is None. Please specify the --help option."}
+            common.print_format(msg, args.format, tm, args.output_json, args.output_json_append)
+            return 1, msg, None
+
+        common.mklogdir(args.data)
+        common.copy_sample(args.data)
+        common.copy_sample(Path.cwd())
+
+        logger, _ = common.load_config(args.mode, debug=args.debug, data=args.data, webcall=webcall if args.cmd != 'webcap' else True)
+        if logger.level == logging.DEBUG:
+            logger.debug(f"args.mode={args.mode}, args.cmd={args.cmd}")
+            for m, mo in self.options._options["cmd"].items():
+                if type(mo) is not dict: continue
+                for c, co in mo.items():
+                    if type(co) is not dict: continue
+                    logger.debug(f"loaded features: mode={m}, cmd={c}, {co['feature']}")
+
+        feature = self.options.get_cmd_attr(args.mode, args.cmd, 'feature')
+        if feature is not None:
+            status, ret, obj = feature.apprun(logger, args, tm)
+            return status, ret, obj
+        else:
+            msg = {"warn":f"Unkown mode or cmd. mode={args.mode}, cmd={args.cmd}"}
+            common.print_format(msg, args.format, tm, args.output_json, args.output_json_append)
+            return 1, msg, None

cmdbox/app/client.py

@@ -0,0 +1,383 @@
+from pathlib import Path
+from cmdbox.app import filer
+from cmdbox.app.commons import convert, redis_client
+import base64
+import logging
+
+
+class Client(object):
+    def __init__(self, logger:logging.Logger, redis_host:str = "localhost", redis_port:int = 6379, redis_password:str = None, svname:str = 'server'):
+        """
+        Redisサーバーとの通信を行うクラス
+
+        Args:
+            logger (logging): ロガー
+            redis_host (str, optional): Redisサーバーのホスト名. Defaults to "localhost".
+            redis_port (int, optional): Redisサーバーのポート番号. Defaults to 6379.
+            redis_password (str, optional): Redisサーバーのパスワード. Defaults to None.
+            svname (str, optional): 推論サーバーのサービス名. Defaults to 'server'.
+        """
+        self.logger = logger
+        if svname is None or svname == "":
+            raise Exception("svname is empty.")
+        if svname.find('-') >= 0:
+            raise ValueError(f"Server name is invalid. '-' is not allowed. svname={svname}")
+        self.redis_cli = redis_client.RedisClient(logger, host=redis_host, port=redis_port, password=redis_password, svname=svname)
+        self.is_running = False
+
+    def __exit__(self, a, b, c):
+        pass
+
+    def stop_server(self, retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        Redisサーバーを停止する
+
+        Args:
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        res_json = self.redis_cli.send_cmd('stop_server', [], retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+        return res_json
+    
+    def file_list(self, svpath:str, recursive:bool, scope:str="client", client_data:Path = None,
+                  retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のファイルリストを取得する
+
+        Args:
+            svpath (Path): サーバー上のファイルパス
+            recursive (bool): 再帰的に取得するかどうか
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_list(svpath, recursive)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_list(svpath, recursive)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_list', [convert.str2b64str(str(svpath)), str(recursive)],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+
+    def file_mkdir(self, svpath:str, scope:str="client", client_data:Path = None,
+                   retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上にディレクトリを作成する
+
+        Args:
+            svpath (Path): サーバー上のディレクトリパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_mkdir(svpath)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_mkdir(svpath)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_mkdir', [convert.str2b64str(str(svpath))],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+    
+    def file_rmdir(self, svpath:str, scope:str="client", client_data:Path = None,
+                   retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のディレクトリを削除する
+
+        Args:
+            svpath (Path): サーバー上のディレクトリパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_rmdir(svpath)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_rmdir(svpath)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_rmdir', [convert.str2b64str(str(svpath))],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+    
+    def file_download(self, svpath:str, download_file:Path, scope:str="client", client_data:Path = None, rpath:str="", img_thumbnail:float=0.0,
+                      retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のファイルをダウンロードする
+
+        Args:
+            svpath (Path): サーバー上のファイルパス
+            download_file (Path): ローカルのファイルパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            rpath (str, optional): リクエストパス. Defaults to "".
+            img_thumbnail (float, optional): サムネイル画像のサイズ. Defaults to 0.0.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            bytes: ダウンロードファイルの内容
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_download(svpath, img_thumbnail)
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_download(svpath, img_thumbnail)
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_download', [convert.str2b64str(str(svpath)), str(img_thumbnail)],
+                                               retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+        if "success" in res_json:
+            res_json["success"]["rpath"] = rpath
+            res_json["success"]["svpath"] = svpath
+            if download_file is not None:
+                if download_file.is_dir():
+                    download_file = download_file / res_json["success"]["name"]
+                if download_file.exists():
+                    self.logger.warning(f"download_file {download_file} already exists.")
+                    return {"error": f"download_file {download_file} already exists."}
+                with open(download_file, "wb") as f:
+                    f.write(base64.b64decode(res_json["success"]["data"]))
+                    del res_json["success"]["data"]
+                    res_json["success"]["download_file"] = str(download_file.absolute())
+        return res_json
+    
+    def file_upload(self, svpath:str, upload_file:Path, scope:str="client", client_data:Path=None, mkdir:bool=False, orverwrite:bool=False,
+                    retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上にファイルをアップロードする
+
+        Args:
+            svpath (Path): サーバー上のファイルパス
+            upload_file (Path): ローカルのファイルパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            mkdir (bool, optional): ディレクトリを作成するかどうか. Defaults to False.
+            orverwrite (bool, optional): 上書きするかどうか. Defaults to False.
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if upload_file is None:
+            self.logger.warning(f"upload_file is empty.")
+            return {"error": f"upload_file is empty."}
+        if not upload_file.exists():
+            self.logger.warning(f"input_file {upload_file} does not exist.")
+            return {"error": f"input_file {upload_file} does not exist."}
+        if upload_file.is_dir():
+            self.logger.warning(f"input_file {upload_file} is directory.")
+            return {"error": f"input_file {upload_file} is directory."}
+        with open(upload_file, "rb") as f:
+            if scope == "client":
+                if client_data is not None:
+                    fi = filer.Filer(client_data, self.logger)
+                    _, res_json = fi.file_upload(svpath, upload_file.name, f.read(), mkdir, orverwrite)
+                    return res_json
+                else:
+                    self.logger.warning(f"client_data is empty.")
+                    return {"error": f"client_data is empty."}
+            elif scope == "current":
+                fi = filer.Filer(Path.cwd(), self.logger)
+                _, res_json = fi.file_upload(svpath, upload_file.name, f.read(), mkdir, orverwrite)
+                return res_json
+            elif scope == "server":
+                res_json = self.redis_cli.send_cmd('file_upload',
+                                    [convert.str2b64str(str(svpath)),
+                                    convert.str2b64str(upload_file.name),
+                                    convert.bytes2b64str(f.read()),
+                                    str(mkdir),
+                                    str(orverwrite)],
+                                    retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+                return res_json
+            else:
+                self.logger.warning(f"scope is invalid. {scope}")
+                return {"error": f"scope is invalid. {scope}"}
+
+    def file_remove(self, svpath:str, scope:str="client", client_data:Path = None,
+                    retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のファイルを削除する
+
+        Args:
+            svpath (Path): サーバー上のファイルパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_remove(svpath)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_remove(svpath)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_remove', [convert.str2b64str(str(svpath))],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+
+    def file_copy(self, from_path:str, to_path:str, orverwrite:bool=False, scope:str="client", client_data:Path = None,
+                    retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のファイルをコピーする
+
+        Args:
+            from_path (Path): コピー元のファイルパス
+            to_path (Path): コピー先のファイルパス
+            orverwrite (bool, optional): 上書きするかどうか. Defaults to False.
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+        
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_copy(from_path, to_path, orverwrite)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_copy(from_path, to_path, orverwrite)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_copy', [convert.str2b64str(str(from_path)), convert.str2b64str(str(to_path)), str(orverwrite)],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+
+    def file_move(self, from_path:str, to_path:str, scope:str="client", client_data:Path = None,
+                    retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバー上のファイルを移動する
+
+        Args:
+            from_path (Path): 移動元のファイルパス
+            to_path (Path): 移動先のファイルパス
+            scope (str, optional): 参照先のスコープ. Defaults to "client".
+            client_data (Path, optional): ローカルを参照させる場合のデータフォルダ. Defaults to None.
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+        
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        if scope == "client":
+            if client_data is not None:
+                f = filer.Filer(client_data, self.logger)
+                _, res_json = f.file_move(from_path, to_path)
+                return res_json
+            else:
+                self.logger.warning(f"client_data is empty.")
+                return {"error": f"client_data is empty."}
+        elif scope == "current":
+            f = filer.Filer(Path.cwd(), self.logger)
+            _, res_json = f.file_move(from_path, to_path)
+            return res_json
+        elif scope == "server":
+            res_json = self.redis_cli.send_cmd('file_move', [convert.str2b64str(str(from_path)), convert.str2b64str(str(to_path))],
+                                            retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+            return res_json
+        else:
+            self.logger.warning(f"scope is invalid. {scope}")
+            return {"error": f"scope is invalid. {scope}"}
+
+    def server_info(self, retry_count:int=3, retry_interval:int=5, timeout:int = 60):
+        """
+        サーバーの情報を取得する
+
+        Args:
+            retry_count (int, optional): リトライ回数. Defaults to 3.
+            retry_interval (int, optional): リトライ間隔. Defaults to 5.
+            timeout (int, optional): タイムアウト時間. Defaults to 60.
+
+        Returns:
+            dict: Redisサーバーからの応答
+        """
+        res_json = self.redis_cli.send_cmd('server_info', [], retry_count=retry_count, retry_interval=retry_interval, timeout=timeout)
+        return res_json