annofabcli 1.114.0__py3-none-any.whl → 1.114.2__py3-none-any.whl

annofabcli/task/update_metadata_of_task.py

@@ -63,12 +63,13 @@ class UpdateMetadataOfTaskMain(CommandLineWithConfirm):
         task_index: int | None = None,
     ) -> bool:
         logging_prefix = f"{task_index + 1} 件目" if task_index is not None else ""
+        logging_prefix += f" task_id='{task_id}' :: "
         task = self.service.wrapper.get_task_or_none(project_id, task_id)
         if task is None:
-            logger.warning(f"{logging_prefix} タスク '{task_id}' は存在しないのでスキップします。")
+            logger.warning(f"{logging_prefix}タスクは存在しないのでスキップします。")
             return False
 
-        logger.debug(f"task_id='{task_id}', metadata='{json.dumps(task['metadata'])}'")
+        logger.debug(f"{logging_prefix}現在のmetadata='{json.dumps(task['metadata'])}'")
 
         if not self.confirm_processing(self.get_confirm_message(task_id, metadata)):
             return False
@@ -81,7 +82,7 @@ class UpdateMetadataOfTaskMain(CommandLineWithConfirm):
         request_body = {task_id: new_metadata}
         self.service.api.patch_tasks_metadata(project_id, request_body=request_body)
 
-        logger.debug(f"{logging_prefix} タスク '{task_id}' のメタデータを更新しました。")
+        logger.debug(f"{logging_prefix}タスクのメタデータを更新しました。 :: 新しいmetadata={json.dumps(new_metadata)}")
         return True
 
     def set_metadata_to_task_wrapper(self, tpl: tuple[int, TaskMetadataInfo], project_id: str) -> bool:

annofabcli/task_count/list_by_phase.py

@@ -1,6 +1,7 @@
 import argparse
 import json
 import logging
+import sys
 import tempfile
 from enum import Enum
 from pathlib import Path
@@ -14,6 +15,7 @@ from annofabapi.utils import get_number_of_rejections
 
 import annofabcli.common
 from annofabcli.common.cli import (
+    COMMAND_LINE_ERROR_STATUS_CODE,
     ArgumentParser,
     CommandLine,
     build_annofabapi_resource_and_login,
@@ -25,6 +27,21 @@ from annofabcli.common.type_util import assert_noreturn
 logger = logging.getLogger(__name__)
 
 
+class AggregationUnit(Enum):
+    """
+    集計の単位。
+    """
+
+    TASK = "task_count"
+    """タスク数"""
+    INPUT_DATA = "input_data_count"
+    """入力データ数"""
+    VIDEO_DURATION_HOUR = "video_duration_hour"
+    """動画の長さ（時間）"""
+    VIDEO_DURATION_MINUTE = "video_duration_minute"
+    """動画の長さ（分）"""
+
+
 def isoduration_to_second(duration: str) -> float:
     """
     ISO 8601 duration を 秒に変換する
@@ -160,13 +177,21 @@ def get_step_for_current_phase(task: Task, number_of_inspections: int) -> int:
 
 
 def create_df_task(
-    task_list: list[dict[str, Any]], task_history_dict: dict[str, list[dict[str, Any]]], not_worked_threshold_second: float = 0, metadata_keys: list[str] | None = None
+    task_list: list[dict[str, Any]],
+    task_history_dict: dict[str, list[dict[str, Any]]],
+    *,
+    not_worked_threshold_second: float = 0,
+    metadata_keys: list[str] | None = None,
+    input_data_dict: dict[str, dict[str, Any]] | None = None,
 ) -> pandas.DataFrame:
     """
     以下の列が含まれたタスクのDataFrameを生成します。
      * task_id
      * phase
      * task_status_for_summary
+     * input_data_count
+     * video_duration_hour
+     * video_duration_minute
      * metadata.{key} (metadata_keysで指定された各キー)
 
     Args:
@@ -174,36 +199,57 @@ def create_df_task(
         task_history_dict: タスクIDをキーとしたタスク履歴のdict
         not_worked_threshold_second: 作業していないとみなす作業時間の閾値（秒）
         metadata_keys: 集計対象のメタデータキーのリスト
+        input_data_dict: 入力データIDをキーとした入力データ情報のdict。動画時間を計算する場合に必要。
 
     Returns:
         タスク情報のDataFrame
     """
     metadata_keys = metadata_keys or []
+    input_data_dict = input_data_dict or {}
 
     for task in task_list:
         task_history = task_history_dict[task["task_id"]]
         task["task_status_for_summary"] = TaskStatusForSummary.from_task(task, task_history, not_worked_threshold_second).value
 
+        # 入力データ数を計算
+        task["input_data_count"] = len(task["input_data_id_list"])
+
+        # 動画の長さを計算
+        video_duration_hour = 0
+        video_duration_minute = 0
+        for input_data_id in task["input_data_id_list"]:
+            if input_data_id in input_data_dict:
+                duration = input_data_dict[input_data_id]["system_metadata"]["input_duration"]
+                video_duration_hour += duration / 3600
+                video_duration_minute += duration / 60
+
+        task["video_duration_hour"] = video_duration_hour
+        task["video_duration_minute"] = video_duration_minute
+
         # メタデータの値を抽出
-        metadata = task.get("metadata", {})
+        metadata = task["metadata"]
         for key in metadata_keys:
-            task[f"metadata.{key}"] = metadata.get(key, "")
+            task[f"metadata.{key}"] = metadata.get(key)
 
-    columns = ["task_id", "phase"] + [f"metadata.{key}" for key in metadata_keys] + ["task_status_for_summary"]
+    columns = ["task_id", "phase", "input_data_count", "video_duration_hour", "video_duration_minute"] + [f"metadata.{key}" for key in metadata_keys] + ["task_status_for_summary"]
     df = pandas.DataFrame(task_list, columns=columns)
     return df
 
 
-def aggregate_df(df: pandas.DataFrame, metadata_keys: list[str] | None = None) -> pandas.DataFrame:
+def aggregate_df(df: pandas.DataFrame, metadata_keys: list[str] | None = None, unit: AggregationUnit = AggregationUnit.TASK) -> pandas.DataFrame:
     """
-    タスク数を集計する。
+    タスクのフェーズとステータスごとに、指定された単位で集計する。
 
     Args:
         df: 以下の列を持つDataFrame
             * phase
             * task_status_for_summary
+            * input_data_count
+            * video_duration_hour
+            * video_duration_minute
             * metadata.{key} (metadata_keysで指定された各キー)
         metadata_keys: 集計対象のメタデータキーのリスト
+        unit: 集計の単位
 
     Returns:
         indexがphase(とmetadata.*列),列がtask_status_for_summaryであるDataFrame
@@ -211,9 +257,21 @@ def aggregate_df(df: pandas.DataFrame, metadata_keys: list[str] | None = None) -
     metadata_keys = metadata_keys or []
     metadata_columns = [f"metadata.{key}" for key in metadata_keys]
 
-    df["task_count"] = 1
+    # 集計対象の列を選択
+    match unit:
+        case AggregationUnit.TASK:
+            df["_aggregate_value"] = 1
+        case AggregationUnit.INPUT_DATA:
+            df["_aggregate_value"] = df["input_data_count"]
+        case AggregationUnit.VIDEO_DURATION_HOUR:
+            df["_aggregate_value"] = df["video_duration_hour"]
+        case AggregationUnit.VIDEO_DURATION_MINUTE:
+            df["_aggregate_value"] = df["video_duration_minute"]
+        case _ as unreachable:
+            assert_noreturn(unreachable)
+
     index_columns = ["phase", *metadata_columns]
-    df2 = df.pivot_table(values="task_count", index=index_columns, columns="task_status_for_summary", aggfunc="sum", fill_value=0)
+    df2 = df.pivot_table(values="_aggregate_value", index=index_columns, columns="task_status_for_summary", aggfunc="sum", fill_value=0)
 
     # 列数を固定する
     for status in TaskStatusForSummary:
@@ -263,11 +321,12 @@ class GettingTaskCountSummary:
         self,
         annofab_service: AnnofabResource,
         project_id: str,
+        temp_dir: Path,
         *,
-        temp_dir: Path | None = None,
         should_execute_get_tasks_api: bool = False,
         not_worked_threshold_second: float = 0,
         metadata_keys: list[str] | None = None,
+        unit: AggregationUnit = AggregationUnit.TASK,
     ) -> None:
         self.annofab_service = annofab_service
         self.project_id = project_id
@@ -275,6 +334,7 @@ class GettingTaskCountSummary:
         self.should_execute_get_tasks_api = should_execute_get_tasks_api
         self.not_worked_threshold_second = not_worked_threshold_second
         self.metadata_keys = metadata_keys or []
+        self.unit = unit
 
     def create_df_task(self) -> pandas.DataFrame:
         """
@@ -282,6 +342,9 @@ class GettingTaskCountSummary:
         * task_id
         * phase
         * task_status_for_summary
+        * input_data_count
+        * video_duration_hour
+        * video_duration_minute
         * metadata.{key} （metadata_keys で指定した各メタデータキーに対応する列）
         """
         if self.should_execute_get_tasks_api:
@@ -297,52 +360,60 @@ class GettingTaskCountSummary:
             task_list = self.get_task_list_with_downloading()
             task_history_dict = self.get_task_history_with_downloading()
 
-        df = create_df_task(task_list, task_history_dict, self.not_worked_threshold_second, self.metadata_keys)
+        # 動画時間を集計する場合は入力データJSONをダウンロード
+        input_data_dict = None
+        if self.unit in (AggregationUnit.VIDEO_DURATION_HOUR, AggregationUnit.VIDEO_DURATION_MINUTE):
+            input_data_dict = self.get_input_data_dict_with_downloading()
+
+        df = create_df_task(task_list, task_history_dict, not_worked_threshold_second=self.not_worked_threshold_second, metadata_keys=self.metadata_keys, input_data_dict=input_data_dict)
         return df
 
-    def _get_task_list_with_downloading(self, temp_dir: Path) -> list[dict[str, Any]]:
+    def get_task_list_with_downloading(self) -> list[dict[str, Any]]:
+        """
+        タスク全件ファイルをダウンロードしてタスク情報を取得する。
+        """
         downloading_obj = DownloadingFile(self.annofab_service)
-        task_json = downloading_obj.download_task_json_to_dir(self.project_id, temp_dir)
+        task_json = downloading_obj.download_task_json_to_dir(self.project_id, self.temp_dir)
         with task_json.open(encoding="utf-8") as f:
             return json.load(f)
 
-    def _get_task_history_with_downloading(self, temp_dir: Path) -> dict[str, list[dict[str, Any]]]:
+    def get_task_history_with_downloading(self) -> dict[str, list[dict[str, Any]]]:
+        """
+        タスク履歴全件ファイルをダウンロードしてタスク情報を取得する。
+        """
         downloading_obj = DownloadingFile(self.annofab_service)
-        task_history_json = downloading_obj.download_task_history_json_to_dir(self.project_id, temp_dir)
+        task_history_json = downloading_obj.download_task_history_json_to_dir(self.project_id, self.temp_dir)
         with task_history_json.open(encoding="utf-8") as f:
             return json.load(f)
 
-    def get_task_list_with_downloading(self) -> list[dict[str, Any]]:
-        """
-        タスク全件ファイルをダウンロードしてタスク情報を取得する。
-        """
-        if self.temp_dir is not None:
-            return self._get_task_list_with_downloading(self.temp_dir)
-        else:
-            with tempfile.TemporaryDirectory() as str_temp_dir:
-                return self._get_task_list_with_downloading(Path(str_temp_dir))
-
-    def get_task_history_with_downloading(self) -> dict[str, list[dict[str, Any]]]:
+    def get_input_data_dict_with_downloading(self) -> dict[str, dict[str, Any]]:
         """
-        タスク履歴全件ファイルをダウンロードしてタスク情報を取得する。
+        入力データJSONをダウンロードして、入力データIDをキーとした辞書を返す。
         """
-        if self.temp_dir is not None:
-            return self._get_task_history_with_downloading(self.temp_dir)
-        else:
-            with tempfile.TemporaryDirectory() as str_temp_dir:
-                return self._get_task_history_with_downloading(Path(str_temp_dir))
+        downloading_obj = DownloadingFile(self.annofab_service)
+        input_data_json = downloading_obj.download_input_data_json_to_dir(self.project_id, self.temp_dir)
+        with input_data_json.open(encoding="utf-8") as f:
+            input_data_list = json.load(f)
+        return {input_data["input_data_id"]: input_data for input_data in input_data_list}
 
 
 class ListTaskCountByPhase(CommandLine):
     """
-    フェーズごとのタスク数を一覧表示する。
+    フェーズごとにタスク数や入力データ数などを集計し、CSV形式で出力する。
     """
 
     def list_task_count_by_phase(
-        self, project_id: str, *, temp_dir: Path | None = None, should_execute_get_tasks_api: bool = False, not_worked_threshold_second: float = 0, metadata_keys: list[str] | None = None
+        self,
+        project_id: str,
+        *,
+        temp_dir: Path | None = None,
+        should_execute_get_tasks_api: bool = False,
+        not_worked_threshold_second: float = 0,
+        metadata_keys: list[str] | None = None,
+        unit: AggregationUnit = AggregationUnit.TASK,
     ) -> None:
         """
-        フェーズごとのタスク数をCSV形式で出力する。
+        フェーズごとにタスク数や入力データ数などを集計し、CSV形式で出力する。
 
         Args:
             project_id: プロジェクトID
@@ -350,15 +421,34 @@ class ListTaskCountByPhase(CommandLine):
             should_execute_get_tasks_api: getTasks APIを実行するかどうか
             not_worked_threshold_second: 作業していないとみなす作業時間の閾値（秒）
             metadata_keys: 集計対象のメタデータキーのリスト
+            unit: 集計の単位
         """
-        super().validate_project(project_id, project_member_roles=[ProjectMemberRole.OWNER, ProjectMemberRole.TRAINING_DATA_USER])
 
-        logger.info(f"project_id='{project_id}' :: フェーズごとのタスク数を集計します。")
-
-        getting_obj = GettingTaskCountSummary(
-            self.service, project_id, temp_dir=temp_dir, should_execute_get_tasks_api=should_execute_get_tasks_api, not_worked_threshold_second=not_worked_threshold_second, metadata_keys=metadata_keys
-        )
-        df_task = getting_obj.create_df_task()
+        logger.info(f"project_id='{project_id}' :: フェーズごとの'{unit.value}'を集計します。")
+
+        if temp_dir is not None:
+            getting_obj = GettingTaskCountSummary(
+                self.service,
+                project_id,
+                temp_dir,
+                should_execute_get_tasks_api=should_execute_get_tasks_api,
+                not_worked_threshold_second=not_worked_threshold_second,
+                metadata_keys=metadata_keys,
+                unit=unit,
+            )
+            df_task = getting_obj.create_df_task()
+        else:
+            with tempfile.TemporaryDirectory() as str_temp_dir:
+                getting_obj = GettingTaskCountSummary(
+                    self.service,
+                    project_id,
+                    Path(str_temp_dir),
+                    should_execute_get_tasks_api=should_execute_get_tasks_api,
+                    not_worked_threshold_second=not_worked_threshold_second,
+                    metadata_keys=metadata_keys,
+                    unit=unit,
+                )
+                df_task = getting_obj.create_df_task()
 
         if len(df_task) == 0:
             logger.info("タスクが0件ですが、ヘッダ行を出力します。")
@@ -377,22 +467,35 @@ class ListTaskCountByPhase(CommandLine):
             df_summary = pandas.DataFrame(columns=result_columns)
         else:
             logger.info(f"{len(df_task)} 件のタスクを集計しました。")
-            df_summary = aggregate_df(df_task, metadata_keys)
+            df_summary = aggregate_df(df_task, metadata_keys, unit)
 
         self.print_csv(df_summary)
-        logger.info(f"project_id='{project_id}' :: フェーズごとのタスク数をCSV形式で出力しました。")
+        logger.info(f"project_id='{project_id}' :: フェーズごとの'{unit.value}'をCSV形式で出力しました。")
 
     def main(self) -> None:
         args = self.args
         project_id = args.project_id
         temp_dir = Path(args.temp_dir) if args.temp_dir is not None else None
 
+        unit = AggregationUnit(args.unit)
+
+        super().validate_project(project_id, project_member_roles=[ProjectMemberRole.OWNER, ProjectMemberRole.TRAINING_DATA_USER])
+
+        # 動画時間で集計する場合は、プロジェクトが動画プロジェクトかどうかをチェック
+        if unit in [AggregationUnit.VIDEO_DURATION_HOUR, AggregationUnit.VIDEO_DURATION_MINUTE]:
+            project, _ = self.service.api.get_project(project_id)
+            input_data_type = project["input_data_type"]
+            if input_data_type != "movie":
+                print(f"コマンドライン引数'--unit {unit.value}' は動画プロジェクトでのみ使用できます。現在のプロジェクトの入力データタイプは'{input_data_type}'です。", file=sys.stderr)  # noqa: T201
+                sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
+
         self.list_task_count_by_phase(
             project_id,
             temp_dir=temp_dir,
             should_execute_get_tasks_api=args.execute_get_tasks_api,
             not_worked_threshold_second=args.not_worked_threshold_second,
             metadata_keys=args.metadata_key,
+            unit=unit,
         )
 
 
@@ -427,6 +530,14 @@ def parse_args(parser: argparse.ArgumentParser) -> None:
         help="集計対象のメタデータキーを指定します。指定したキーの値でグループ化してタスク数を集計します。",
     )
 
+    parser.add_argument(
+        "--unit",
+        type=str,
+        choices=[e.value for e in AggregationUnit],
+        default=AggregationUnit.TASK.value,
+        help="集計の単位を指定します。task_count: タスク数、input_data_count: 入力データ数、video_duration_hour: 動画の長さ（時間）、video_duration_minute: 動画の長さ（分）。",
+    )
+
     argument_parser.add_output()
 
     parser.set_defaults(subcommand_func=main)
@@ -440,7 +551,7 @@ def main(args: argparse.Namespace) -> None:
 
 def add_parser(subparsers: argparse._SubParsersAction | None = None) -> argparse.ArgumentParser:
     subcommand_name = "list_by_phase"
-    subcommand_help = "フェーズごとのタスク数をCSV形式で出力します。"
+    subcommand_help = "フェーズごとにタスク数や入力データ数などを集計し、CSV形式で出力します。"
     epilog = "オーナロールまたはアノテーションユーザーロールを持つユーザで実行してください。"
     parser = annofabcli.common.cli.add_parser(subparsers, subcommand_name, subcommand_help, epilog=epilog)
     parse_args(parser)

{annofabcli-1.114.0.dist-info → annofabcli-1.114.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: annofabcli
-Version: 1.114.0
+Version: 1.114.2
 Summary: Utility Command Line Interface for AnnoFab
 Author: Kurusugawa Computer Inc.
 License: MIT

{annofabcli-1.114.0.dist-info → annofabcli-1.114.2.dist-info}/RECORD

@@ -213,9 +213,9 @@ annofabcli/task/put_tasks.py,sha256=-v6JIXX0hGjwDWTkHLnRYr60hDHRg77Y86d-dfPymoo,
 annofabcli/task/put_tasks_by_count.py,sha256=6i7y-aH99pEDBQRWqsEQ5ESuSOL6v0SRNl3HddxLYnM,5979
 annofabcli/task/reject_tasks.py,sha256=lCpAfsU530O2TaYf8TbO4CeML7LoFgWwsCUCH6S_YC0,21924
 annofabcli/task/subcommand_task.py,sha256=vZIBXsHGc0203Q3yiSrQgNjov5MPSRyNLJ2qsFepVCA,2387
-annofabcli/task/update_metadata_of_task.py,sha256=Z0GF-LDt-brwgHhfz3aNYOsL4rHCf6qfzv-fzlnngOY,12817
+annofabcli/task/update_metadata_of_task.py,sha256=WECoFLJ_-LWdpJ1bvzDGMh459FoLUkT8gbeLDN0JCqY,12895
 annofabcli/task_count/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-annofabcli/task_count/list_by_phase.py,sha256=KkMfveSnks8Jqm_dSVzLaQMWSLIU8GAHWpOdzN7sIH4,19135
+annofabcli/task_count/list_by_phase.py,sha256=IytZ9U1jOfPh0vPBvhHDTaY-G6nNK4YCsUTDSpL0K_8,23818
 annofabcli/task_count/subcommand_task_count.py,sha256=DDys_Qa4TxJarqSkJQB3zjQipSvGA7-WDNoN2HA-_JQ,735
 annofabcli/task_history/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 annofabcli/task_history/download_task_history_json.py,sha256=mmQ0r0jGvQyeNahVeNXX8bUjOAYxP0vgBNA9Sf0QLu8,2424
@@ -227,8 +227,8 @@ annofabcli/task_history_event/download_task_history_event_json.py,sha256=lWyOoS2
 annofabcli/task_history_event/list_all_task_history_event.py,sha256=yNmvIEoNkfXXWPq9JZ3eAio82CrmELPSFg2M1yRHSzo,8017
 annofabcli/task_history_event/list_worktime.py,sha256=k6Hgy0pE2w5BtyUePN-LAyTbw0W2RMU4retwa6rC2uU,15497
 annofabcli/task_history_event/subcommand_task_history_event.py,sha256=dFllzpm8plnnwADwTV74h-R2LOA7rZW-xd2YnSkwTHo,1229
-annofabcli-1.114.0.dist-info/METADATA,sha256=RYGDYn-OLXZIpBecAIayJc1t3weitAg1gROOecrKXDE,4949
-annofabcli-1.114.0.dist-info/WHEEL,sha256=WLgqFyCfm_KASv4WHyYy0P3pM_m7J5L9k2skdKLirC8,87
-annofabcli-1.114.0.dist-info/entry_points.txt,sha256=C2uSUc-kkLJpoK_mDL5FEMAdorLEMPfwSf8VBMYnIFM,56
-annofabcli-1.114.0.dist-info/licenses/LICENSE,sha256=pcqWYfxFtxBzhvKp3x9MXNM4xciGb2eFewaRhXUNHlo,1081
-annofabcli-1.114.0.dist-info/RECORD,,
+annofabcli-1.114.2.dist-info/METADATA,sha256=UmgP3UTctIz_pkS4QLfuxEHW1Ae0WNQBWfK3-3n5ILI,4949
+annofabcli-1.114.2.dist-info/WHEEL,sha256=WLgqFyCfm_KASv4WHyYy0P3pM_m7J5L9k2skdKLirC8,87
+annofabcli-1.114.2.dist-info/entry_points.txt,sha256=C2uSUc-kkLJpoK_mDL5FEMAdorLEMPfwSf8VBMYnIFM,56
+annofabcli-1.114.2.dist-info/licenses/LICENSE,sha256=pcqWYfxFtxBzhvKp3x9MXNM4xciGb2eFewaRhXUNHlo,1081
+annofabcli-1.114.2.dist-info/RECORD,,