annofabcli 1.108.0__py3-none-any.whl → 1.110.0__py3-none-any.whl

annofabcli/project/put_project.py

@@ -1,151 +1,36 @@
 from __future__ import annotations
 
 import argparse
-import logging
 import sys
-import uuid
-from enum import Enum
-from typing import Any, Optional
-
-from annofabapi.models import InputDataType
-from annofabapi.plugin import EditorPluginId, ExtendSpecsPluginId
+from logging import getLogger
+from typing import Optional
 
 import annofabcli
-from annofabcli.common.cli import (
-    COMMAND_LINE_ERROR_STATUS_CODE,
-    CommandLine,
-    build_annofabapi_resource_and_login,
-    get_json_from_args,
-)
-from annofabcli.common.facade import AnnofabApiFacade
-
-logger = logging.getLogger(__name__)
-
-
-class CustomProjectType(Enum):
-    """
-    カスタムプロジェクトの種類
-    """
-
-    THREE_DIMENSION = "3d"
-    """3次元データ"""
-
-
-class PutProject(CommandLine):
-    def put_project(  # noqa: ANN201
-        self,
-        organization: str,
-        title: str,
-        input_data_type: InputDataType,
-        *,
-        project_id: Optional[str],
-        overview: Optional[str],
-        editor_plugin_id: Optional[str],
-        custom_project_type: Optional[CustomProjectType],
-        configuration: Optional[dict[str, Any]],
-    ):
-        new_project_id = project_id if project_id is not None else str(uuid.uuid4())
-        if configuration is None:
-            configuration = {}
-
-        if input_data_type == InputDataType.CUSTOM and custom_project_type is not None:
-            assert editor_plugin_id is None
-            editor_plugin_id = EditorPluginId.THREE_DIMENSION.value
-            configuration.update({"extended_specs_plugin_id": ExtendSpecsPluginId.THREE_DIMENSION.value})
-
-        configuration.update({"plugin_id": editor_plugin_id})
-
-        request_body = {
-            "title": title,
-            "organization_name": organization,
-            "input_data_type": input_data_type.value,
-            "overview": overview,
-            "status": "active",
-            "configuration": configuration,
-        }
-        new_project, _ = self.service.api.put_project(new_project_id, request_body=request_body)
-        logger.info(
-            f"'{organization}'組織に、project_id='{new_project['project_id']}'のプロジェクトを作成しました。 :: title='{new_project['title']}', input_data_type='{new_project['input_data_type']}'"
-        )
+from annofabcli.project import create_project
 
-    COMMON_MESSAGE = "annofabcli project put: error:"
-
-    def validate(self, args: argparse.Namespace) -> bool:
-        if args.input_data_type == InputDataType.CUSTOM.value:  # noqa: SIM102
-            if args.plugin_id is None and args.custom_project_type is None:
-                print(  # noqa: T201
-                    f"{self.COMMON_MESSAGE} '--input_data_type custom' を指定した場合は、'--plugin_id' または '--custom_project_type' が必須です。",
-                    file=sys.stderr,
-                )
-                return False
-
-        return True
-
-    def main(self) -> None:
-        args = self.args
-        if not self.validate(args):
-            sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
-
-        self.put_project(
-            args.organization,
-            args.title,
-            InputDataType(args.input_data_type),
-            project_id=args.project_id,
-            overview=args.overview,
-            editor_plugin_id=args.plugin_id,
-            custom_project_type=CustomProjectType(args.custom_project_type) if args.custom_project_type is not None else None,
-            configuration=get_json_from_args(args.configuration),
-        )
+logger = getLogger(__name__)
 
 
 def main(args: argparse.Namespace) -> None:
-    service = build_annofabapi_resource_and_login(args)
-    facade = AnnofabApiFacade(service)
-    PutProject(service, facade, args).main()
+    print("[DEPRECATED] :: `project put` コマンドは非推奨です。代わりに `project create` コマンドを使用してください。`project put` コマンドは2026年01月01日以降に廃止予定です。", file=sys.stderr)  # noqa: T201
+    # create_project.py の実装を使用
+    create_project.main(args)
 
 
 def parse_args(parser: argparse.ArgumentParser) -> None:
-    parser.add_argument("-org", "--organization", type=str, required=True, help="プロジェクトの所属先組織")
-
-    parser.add_argument("--title", type=str, required=True, help="作成するプロジェクトのタイトル")
-    parser.add_argument(
-        "--input_data_type",
-        type=str,
-        choices=[e.value for e in InputDataType],
-        required=True,
-        help=f"プロジェクトに登録する入力データの種類\n\n * {InputDataType.IMAGE.value} : 画像\n * {InputDataType.MOVIE.value} : 動画\n * {InputDataType.CUSTOM.value} : カスタム（点群など）",
-    )
-
-    parser.add_argument("-p", "--project_id", type=str, required=False, help="作成するプロジェクトのproject_id。未指定の場合はUUIDv4になります。")
-    parser.add_argument("--overview", type=str, help="作成するプロジェクトの概要")
-
-    group = parser.add_mutually_exclusive_group()
-    group.add_argument("--plugin_id", type=str, help="アノテーションエディタプラグインのplugin_id")
-    group.add_argument(
-        "--custom_project_type",
-        type=str,
-        choices=[e.value for e in CustomProjectType],
-        help="カスタムプロジェクトの種類。 ``--input_data_type custom`` を指定したときのみ有効です。"
-        "指定した値に対応するエディタプラグインが適用されるため、 `--plugin_id`` と同時には指定できません。\n"
-        " * 3d : 3次元データ",
-    )
-
-    parser.add_argument(
-        "--configuration",
-        type=str,
-        help="プロジェクトの設定情報。JSON形式で指定します。"
-        "JSONの構造については https://annofab.com/docs/api/#operation/putProject のリクエストボディを参照してください。\n"
-        "``file://`` を先頭に付けると、JSON形式のファイルを指定できます。",
-    )
-
+    # create_project.py のparse_argsと同じ実装を使用
+    create_project.parse_args(parser)
+    # main関数のみ差し替え
     parser.set_defaults(subcommand_func=main)
 
 
 def add_parser(subparsers: Optional[argparse._SubParsersAction] = None) -> argparse.ArgumentParser:
     subcommand_name = "put"
-    subcommand_help = "プロジェクトを作成します。"
+    subcommand_help = "[DEPRECATED] プロジェクトを作成します。"
+    subcommand_description = subcommand_help + "\n`project put` コマンドは非推奨です。代わりに 'project create'コマンドを使用してください。`project put` コマンドは2026年01月01日以降に廃止予定です。"
+
     epilog = "組織管理者、組織オーナを持つユーザで実行してください。"
 
-    parser = annofabcli.common.cli.add_parser(subparsers, subcommand_name, subcommand_help, epilog=epilog)
+    parser = annofabcli.common.cli.add_parser(subparsers, subcommand_name, subcommand_help, description=subcommand_description, epilog=epilog)
     parse_args(parser)
     return parser

annofabcli/project/subcommand_project.py

@@ -4,10 +4,12 @@ from typing import Optional
 import annofabcli.project.change_organization_of_project
 import annofabcli.project.change_project_status
 import annofabcli.project.copy_project
+import annofabcli.project.create_project
 import annofabcli.project.diff_projects
 import annofabcli.project.list_project
 import annofabcli.project.put_project
 import annofabcli.project.update_configuration
+import annofabcli.project.update_project
 from annofabcli.common.cli import add_parser as common_add_parser
 
 
@@ -18,10 +20,12 @@ def parse_args(parser: argparse.ArgumentParser) -> None:
     annofabcli.project.change_organization_of_project.add_parser(subparsers)
     annofabcli.project.change_project_status.add_parser(subparsers)
     annofabcli.project.copy_project.add_parser(subparsers)
+    annofabcli.project.create_project.add_parser(subparsers)
     annofabcli.project.diff_projects.add_parser(subparsers)
     annofabcli.project.list_project.add_parser(subparsers)
     annofabcli.project.put_project.add_parser(subparsers)
     annofabcli.project.update_configuration.add_parser(subparsers)
+    annofabcli.project.update_project.add_parser(subparsers)
 
 
 def add_parser(subparsers: Optional[argparse._SubParsersAction] = None) -> argparse.ArgumentParser:

annofabcli/project/update_project.py

@@ -0,0 +1,298 @@
+from __future__ import annotations
+
+import argparse
+import copy
+import enum
+import logging
+import multiprocessing
+import sys
+from enum import Enum
+from functools import partial
+from pathlib import Path
+from typing import Optional
+
+import annofabapi
+import pandas
+from pydantic import BaseModel
+
+import annofabcli
+import annofabcli.common.cli
+from annofabcli.common.cli import (
+    COMMAND_LINE_ERROR_STATUS_CODE,
+    PARALLELISM_CHOICES,
+    CommandLine,
+    CommandLineWithConfirm,
+    build_annofabapi_resource_and_login,
+    get_json_from_args,
+)
+from annofabcli.common.facade import AnnofabApiFacade
+
+logger = logging.getLogger(__name__)
+
+
+class UpdateResult(Enum):
+    """更新結果の種類"""
+
+    SUCCESS = enum.auto()
+    """更新に成功した"""
+    SKIPPED = enum.auto()
+    """更新を実行しなかった（存在しないproject_id、ユーザー拒否等）"""
+    FAILED = enum.auto()
+    """更新を試みたが例外で失敗"""
+
+
+class UpdatedProject(BaseModel):
+    """
+    更新されるプロジェクト
+    """
+
+    project_id: str
+    """更新対象のプロジェクトを表すID"""
+    title: Optional[str] = None
+    """変更後のプロジェクトタイトル（指定した場合のみ更新）"""
+    overview: Optional[str] = None
+    """変更後のプロジェクト概要（指定した場合のみ更新）"""
+
+
+class UpdateProjectMain(CommandLineWithConfirm):
+    def __init__(self, service: annofabapi.Resource, *, all_yes: bool = False) -> None:
+        self.service = service
+        CommandLineWithConfirm.__init__(self, all_yes)
+
+    def update_project(
+        self,
+        project_id: str,
+        *,
+        new_title: Optional[str] = None,
+        new_overview: Optional[str] = None,
+        project_index: Optional[int] = None,
+    ) -> UpdateResult:
+        """
+        1個のプロジェクトを更新します。
+        """
+        # ログメッセージの先頭の変数
+        log_prefix = f"project_id='{project_id}' :: "
+        if project_index is not None:
+            log_prefix = f"{project_index + 1}件目 :: {log_prefix}"
+
+        old_project = self.service.wrapper.get_project_or_none(project_id)
+        if old_project is None:
+            logger.warning(f"{log_prefix}プロジェクトは存在しません。")
+            return UpdateResult.SKIPPED
+
+        # 更新する内容の確認メッセージを作成
+        changes = []
+        if new_title is not None:
+            changes.append(f"title='{old_project['title']}'を'{new_title}'に変更")
+        if new_overview is not None:
+            changes.append(f"overview='{old_project['overview']}'を'{new_overview}'に変更")
+
+        if len(changes) == 0:
+            logger.warning(f"{log_prefix}更新する内容が指定されていません。")
+            return UpdateResult.SKIPPED
+
+        change_message = "、".join(changes)
+        if not self.confirm_processing(f"{log_prefix}{change_message}しますか？"):
+            return UpdateResult.SKIPPED
+
+        request_body = copy.deepcopy(old_project)
+        request_body["last_updated_datetime"] = old_project["updated_datetime"]
+        request_body["status"] = old_project["project_status"]
+
+        if new_title is not None:
+            request_body["title"] = new_title
+        if new_overview is not None:
+            request_body["overview"] = new_overview
+
+        self.service.api.put_project(project_id, request_body=request_body)
+        logger.debug(f"{log_prefix}プロジェクトを更新しました。 :: {change_message}")
+        return UpdateResult.SUCCESS
+
+    def update_project_list_sequentially(
+        self,
+        updated_project_list: list[UpdatedProject],
+    ) -> None:
+        """複数のプロジェクトを逐次的に更新します。"""
+        success_count = 0
+        skipped_count = 0  # 更新を実行しなかった個数
+        failed_count = 0  # 更新に失敗した個数
+
+        logger.info(f"{len(updated_project_list)} 件のプロジェクトを更新します。")
+
+        for project_index, updated_project in enumerate(updated_project_list):
+            current_num = project_index + 1
+
+            # 進捗ログ出力
+            if current_num % 100 == 0:
+                logger.info(f"{current_num} / {len(updated_project_list)} 件目のプロジェクトを処理中...")
+
+            try:
+                result = self.update_project(
+                    updated_project.project_id,
+                    new_title=updated_project.title,
+                    new_overview=updated_project.overview,
+                    project_index=project_index,
+                )
+                if result == UpdateResult.SUCCESS:
+                    success_count += 1
+                elif result == UpdateResult.SKIPPED:
+                    skipped_count += 1
+            except Exception:
+                logger.warning(f"{current_num}件目 :: project_id='{updated_project.project_id}'のプロジェクトを更新するのに失敗しました。", exc_info=True)
+                failed_count += 1
+                continue
+
+        logger.info(f"{success_count} / {len(updated_project_list)} 件のプロジェクトを更新しました。（成功: {success_count}件, スキップ: {skipped_count}件, 失敗: {failed_count}件）")
+
+    def _update_project_wrapper(self, args: tuple[int, UpdatedProject]) -> UpdateResult:
+        index, updated_project = args
+        try:
+            return self.update_project(
+                project_id=updated_project.project_id,
+                new_title=updated_project.title,
+                new_overview=updated_project.overview,
+                project_index=index,
+            )
+        except Exception:
+            logger.warning(f"{index + 1}件目 :: project_id='{updated_project.project_id}'のプロジェクトを更新するのに失敗しました。", exc_info=True)
+            return UpdateResult.FAILED
+
+    def update_project_list_in_parallel(
+        self,
+        updated_project_list: list[UpdatedProject],
+        parallelism: int,
+    ) -> None:
+        """複数のプロジェクトを並列的に更新します。"""
+
+        logger.info(f"{len(updated_project_list)} 件のプロジェクトを更新します。{parallelism}個のプロセスを使用して並列実行します。")
+
+        partial_func = partial(self._update_project_wrapper)
+        with multiprocessing.Pool(parallelism) as pool:
+            result_list = pool.map(partial_func, enumerate(updated_project_list))
+            success_count = len([e for e in result_list if e == UpdateResult.SUCCESS])
+            skipped_count = len([e for e in result_list if e == UpdateResult.SKIPPED])
+            failed_count = len([e for e in result_list if e == UpdateResult.FAILED])
+
+        logger.info(f"{success_count} / {len(updated_project_list)} 件のプロジェクトを更新しました。（成功: {success_count}件, スキップ: {skipped_count}件, 失敗: {failed_count}件）")
+
+
+def create_updated_project_list_from_dict(project_dict_list: list[dict[str, str]]) -> list[UpdatedProject]:
+    return [UpdatedProject.model_validate(e) for e in project_dict_list]
+
+
+def create_updated_project_list_from_csv(csv_file: Path) -> list[UpdatedProject]:
+    """プロジェクトの情報が記載されているCSVを読み込み、UpdatedProjectのlistを返します。
+    CSVには以下の列が存在します。
+    * project_id (必須)
+    * title (任意)
+    * overview (任意)
+
+    Args:
+        csv_file (Path): CSVファイルのパス
+
+    Returns:
+        更新対象のプロジェクトのlist
+    """
+    df_project = pandas.read_csv(
+        csv_file,
+        # 文字列として読み込むようにする
+        dtype={"project_id": "string", "title": "string", "overview": "string"},
+    )
+
+    project_dict_list = df_project.to_dict("records")
+    return [UpdatedProject.model_validate(e) for e in project_dict_list]
+
+
+CLI_COMMON_MESSAGE = "annofabcli project update: error:"
+
+
+class UpdateProject(CommandLine):
+    @staticmethod
+    def validate(args: argparse.Namespace) -> bool:
+        if args.parallelism is not None and not args.yes:
+            print(  # noqa: T201
+                f"{CLI_COMMON_MESSAGE} argument --parallelism: '--parallelism'を指定するときは、'--yes' も指定する必要があります。",
+                file=sys.stderr,
+            )
+            return False
+
+        return True
+
+    def main(self) -> None:
+        args = self.args
+        if not self.validate(args):
+            sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
+
+        main_obj = UpdateProjectMain(self.service, all_yes=self.all_yes)
+
+        if args.csv is not None:
+            updated_project_list = create_updated_project_list_from_csv(args.csv)
+
+        elif args.json is not None:
+            project_dict_list = get_json_from_args(args.json)
+            if not isinstance(project_dict_list, list):
+                print(f"{CLI_COMMON_MESSAGE} JSON形式が不正です。オブジェクトの配列を指定してください。", file=sys.stderr)  # noqa: T201
+                sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
+            updated_project_list = create_updated_project_list_from_dict(project_dict_list)
+        else:
+            raise RuntimeError("argparse により相互排他が保証されているため、ここには到達しません")
+
+        if args.parallelism is not None:
+            main_obj.update_project_list_in_parallel(updated_project_list=updated_project_list, parallelism=args.parallelism)
+        else:
+            main_obj.update_project_list_sequentially(updated_project_list=updated_project_list)
+
+
+def main(args: argparse.Namespace) -> None:
+    service = build_annofabapi_resource_and_login(args)
+    facade = AnnofabApiFacade(service)
+    UpdateProject(service, facade, args).main()
+
+
+def parse_args(parser: argparse.ArgumentParser) -> None:
+    file_group = parser.add_mutually_exclusive_group(required=True)
+    file_group.add_argument(
+        "--csv",
+        type=Path,
+        help=(
+            "更新対象のプロジェクトと更新後の値が記載されたCSVファイルのパスを指定します。\n"
+            "CSVのフォーマットは以下の通りです。"
+            "\n"
+            " * ヘッダ行あり, カンマ区切り\n"
+            " * project_id (required)\n"
+            " * title (optional)\n"
+            " * overview (optional)\n"
+            "更新しないプロパティは、セルの値を空欄にしてください。\n"
+        ),
+    )
+
+    JSON_SAMPLE = '[{"project_id":"prj1","title":"new_title1"},{"project_id":"prj2","overview":"new_overview2"}]'  # noqa: N806
+    file_group.add_argument(
+        "--json",
+        type=str,
+        help=(
+            "更新対象のプロジェクトと更新後の値をJSON形式で指定します。\n"
+            "JSONの各キーは ``--csv`` に渡すCSVの各列に対応しています。\n"
+            "``file://`` を先頭に付けるとjsonファイルを指定できます。\n"
+            f"(ex) ``{JSON_SAMPLE}`` \n"
+            "更新しないプロパティは、キーを記載しないか値をnullにしてください。\n"
+        ),
+    )
+
+    parser.add_argument(
+        "--parallelism",
+        type=int,
+        choices=PARALLELISM_CHOICES,
+        help="使用するプロセス数（並列度）。指定しない場合は、逐次的に処理します。指定する場合は ``--yes`` も一緒に指定する必要があります。",
+    )
+
+    parser.set_defaults(subcommand_func=main)
+
+
+def add_parser(subparsers: Optional[argparse._SubParsersAction] = None) -> argparse.ArgumentParser:
+    subcommand_name = "update"
+    subcommand_help = "プロジェクトのタイトルまたは概要を更新します。"
+    epilog = "プロジェクトオーナロールを持つユーザで実行してください。"
+    parser = annofabcli.common.cli.add_parser(subparsers, subcommand_name, subcommand_help, epilog=epilog)
+    parse_args(parser)
+    return parser

annofabcli/statistics/list_annotation_area.py

@@ -230,10 +230,9 @@ class ListAnnotationArea(CommandLine):
 
         def download_and_print_annotation_area(project_id: str, temp_dir: Path, *, is_latest: bool, annotation_path: Optional[Path]) -> None:
             if annotation_path is None:
-                annotation_path = temp_dir / f"{project_id}__annotation.zip"
-                downloading_obj.download_annotation_zip(
+                annotation_path = downloading_obj.download_annotation_zip_to_dir(
                     project_id,
-                    dest_path=annotation_path,
+                    temp_dir,
                     is_latest=is_latest,
                 )
             print_annotation_area(

annofabcli/statistics/list_annotation_attribute_filled_count.py

@@ -571,17 +571,15 @@ class ListAnnotationAttributeFilledCount(CommandLine):
 
         downloading_obj = DownloadingFile(self.service)
 
-        # `NamedTemporaryFile`を使わない理由: Windowsで`PermissionError`が発生するため
-        # https://qiita.com/yuji38kwmt/items/c6f50e1fc03dafdcdda0 参考
-        with tempfile.TemporaryDirectory() as str_temp_dir:
+        def download_and_process_annotation(temp_dir: Path, *, is_latest: bool, annotation_path: Optional[Path]) -> None:
             # タスク全件ファイルは、フレーム番号を参照するのに利用する
             if project_id is not None and group_by == GroupBy.INPUT_DATA_ID:
                 # group_byで条件を絞り込んでいる理由：
                 # タスクIDで集計する際は、フレーム番号は出力しないので、タスク全件ファイルをダウンロードする必要はないため
-                task_json_path = Path(str_temp_dir) / f"{project_id}__task.json"
-                downloading_obj.download_task_json(
+                task_json_path = downloading_obj.download_task_json_to_dir(
                     project_id,
-                    dest_path=str(task_json_path),
+                    temp_dir,
+                    is_latest=is_latest,
                 )
             else:
                 task_json_path = None
@@ -600,16 +598,37 @@ class ListAnnotationAttributeFilledCount(CommandLine):
 
             if annotation_path is None:
                 assert project_id is not None
-                annotation_path = Path(str_temp_dir) / f"{project_id}__annotation.zip"
-                downloading_obj.download_annotation_zip(
+                annotation_path = downloading_obj.download_annotation_zip_to_dir(
                     project_id,
-                    dest_path=str(annotation_path),
-                    is_latest=args.latest,
+                    temp_dir,
+                    is_latest=is_latest,
                 )
                 func(annotation_path=annotation_path)
             else:
                 func(annotation_path=annotation_path)
 
+        if project_id is not None:
+            if args.temp_dir is not None:
+                download_and_process_annotation(temp_dir=args.temp_dir, is_latest=args.latest, annotation_path=annotation_path)
+            else:
+                with tempfile.TemporaryDirectory() as str_temp_dir:
+                    download_and_process_annotation(temp_dir=Path(str_temp_dir), is_latest=args.latest, annotation_path=annotation_path)
+        else:
+            # プロジェクトIDが指定されていない場合は、アノテーションパスが必須なので、一時ディレクトリは不要
+            assert annotation_path is not None
+            func = partial(
+                main_obj.print_annotation_count,
+                project_id=project_id,
+                task_json_path=None,
+                group_by=group_by,
+                output_format=output_format,
+                output_file=output_file,
+                target_task_ids=task_id_list,
+                task_query=task_query,
+                include_flag_attribute=args.include_flag_attribute,
+            )
+            func(annotation_path=annotation_path)
+
 
 def main(args: argparse.Namespace) -> None:
     service = build_annofabapi_resource_and_login(args)
@@ -671,6 +690,12 @@ def parse_args(parser: argparse.ArgumentParser) -> None:
         help="``--annotation`` を指定しないとき、最新のアノテーションzipを参照します。このオプションを指定すると、アノテーションzipを更新するのに数分待ちます。",
     )
 
+    parser.add_argument(
+        "--temp_dir",
+        type=Path,
+        help="指定したディレクトリに、アノテーションZIPなどの一時ファイルをダウンロードします。",
+    )
+
     parser.set_defaults(subcommand_func=main)