annofabcli 1.112.0__py3-none-any.whl → 1.113.1__py3-none-any.whl

annofabcli/annotation_zip/list_polygon_annotation.py

@@ -0,0 +1,390 @@
+import argparse
+import logging
+import sys
+import tempfile
+from collections.abc import Collection
+from pathlib import Path
+from typing import Any
+
+import pandas
+from annofabapi.models import InputDataType, ProjectMemberRole
+from pydantic import BaseModel, ConfigDict
+from shapely.errors import ShapelyError
+from shapely.geometry import Polygon
+
+import annofabcli.common.cli
+from annofabcli.common.annofab.annotation_zip import lazy_parse_simple_annotation_by_input_data
+from annofabcli.common.cli import COMMAND_LINE_ERROR_STATUS_CODE, ArgumentParser, CommandLine, build_annofabapi_resource_and_login, get_list_from_args
+from annofabcli.common.download import DownloadingFile
+from annofabcli.common.enums import FormatArgument
+from annofabcli.common.facade import (
+    AnnofabApiFacade,
+    TaskQuery,
+    match_annotation_with_task_query,
+)
+from annofabcli.common.utils import print_csv, print_json
+
+logger = logging.getLogger(__name__)
+
+
+class AnnotationPolygonInfo(BaseModel):
+    """
+    ポリゴンアノテーションの情報
+    """
+
+    model_config = ConfigDict(frozen=True)
+
+    project_id: str
+    task_id: str
+    task_status: str
+    task_phase: str
+    task_phase_stage: int
+
+    input_data_id: str
+    input_data_name: str
+
+    updated_datetime: str | None
+    """アノテーションJSONに格納されているアノテーションの更新日時"""
+
+    label: str
+    annotation_id: str
+    point_count: int
+    area: float | None
+    """ポリゴンの面積。2点のポリラインの場合はNone"""
+    centroid: dict[str, float] | None
+    """ポリゴンの重心座標。2点のポリラインの場合はNone"""
+    bounding_box_width: float | None
+    """外接矩形の幅。2点のポリラインの場合はNone"""
+    bounding_box_height: float | None
+    """外接矩形の高さ。2点のポリラインの場合はNone"""
+    attributes: dict[str, Any]
+    points: list[dict[str, int]]
+    """ポリゴンの頂点リスト。各頂点は整数座標 {"x": int, "y": int} の形式。
+    """
+
+
+def calculate_polygon_properties(points: list[dict[str, int]]) -> tuple[float | None, dict[str, float] | None, float | None, float | None]:
+    """
+    ポリゴンの面積、重心、外接矩形のサイズを計算する。
+
+    Args:
+        points: ポリゴンの頂点リスト。各頂点は整数座標 {"x": int, "y": int} の形式。
+
+    Returns:
+        (面積, 重心, 外接矩形の幅, 外接矩形の高さ) のタプル。
+        2点以下の場合はポリラインなので、(None, None, None, None) を返す。
+        無効なポリゴン（自己交差など）の場合も (None, None, None, None) を返す。
+    """
+    if len(points) < 3:
+        # 2点以下の場合はポリラインなので、NA扱い
+        return None, None, None, None
+
+    try:
+        # shapelyのPolygonオブジェクトを作成
+        coords = [(p["x"], p["y"]) for p in points]
+        polygon = Polygon(coords)
+
+        # 面積を計算
+        area = polygon.area
+
+        # 重心を計算
+        centroid = polygon.centroid
+        centroid_dict = {"x": centroid.x, "y": centroid.y}
+
+        # 外接矩形を取得
+        minx, miny, maxx, maxy = polygon.bounds
+        bbox_width = maxx - minx
+        bbox_height = maxy - miny
+    except (ValueError, ShapelyError):
+        # 無効なポリゴン（例：自己交差など）の場合はNA扱い
+        return None, None, None, None
+    else:
+        return area, centroid_dict, bbox_width, bbox_height
+
+
+def get_annotation_polygon_info_list(simple_annotation: dict[str, Any], *, target_label_names: Collection[str] | None = None) -> list[AnnotationPolygonInfo]:
+    result = []
+    target_label_names_set = set(target_label_names) if target_label_names is not None else None
+    for detail in simple_annotation["details"]:
+        if detail["data"]["_type"] == "Points":
+            label = detail["label"]
+            # ラベル名によるフィルタリング
+            if target_label_names_set is not None and label not in target_label_names_set:
+                continue
+
+            points = detail["data"]["points"]
+            point_count = len(points)
+
+            # ポリゴンのプロパティを計算
+            area, centroid, bbox_width, bbox_height = calculate_polygon_properties(points)
+
+            result.append(
+                AnnotationPolygonInfo(
+                    project_id=simple_annotation["project_id"],
+                    task_id=simple_annotation["task_id"],
+                    task_phase=simple_annotation["task_phase"],
+                    task_phase_stage=simple_annotation["task_phase_stage"],
+                    task_status=simple_annotation["task_status"],
+                    input_data_id=simple_annotation["input_data_id"],
+                    input_data_name=simple_annotation["input_data_name"],
+                    label=label,
+                    annotation_id=detail["annotation_id"],
+                    point_count=point_count,
+                    area=area,
+                    centroid=centroid,
+                    bounding_box_width=bbox_width,
+                    bounding_box_height=bbox_height,
+                    attributes=detail["attributes"],
+                    points=points,
+                    updated_datetime=simple_annotation["updated_datetime"],
+                )
+            )
+
+    return result
+
+
+def get_annotation_polygon_info_list_from_annotation_path(
+    annotation_path: Path,
+    *,
+    target_task_ids: Collection[str] | None = None,
+    task_query: TaskQuery | None = None,
+    target_label_names: Collection[str] | None = None,
+) -> list[AnnotationPolygonInfo]:
+    annotation_polygon_list = []
+    target_task_ids = set(target_task_ids) if target_task_ids is not None else None
+    iter_parser = lazy_parse_simple_annotation_by_input_data(annotation_path)
+    logger.info(f"アノテーションZIPまたはディレクトリ'{annotation_path}'を読み込みます。")
+    for index, parser in enumerate(iter_parser):
+        if (index + 1) % 10000 == 0:
+            logger.info(f"{index + 1}  件目のJSONを読み込み中")
+        if target_task_ids is not None and parser.task_id not in target_task_ids:
+            continue
+        dict_simple_annotation = parser.load_json()
+        if task_query is not None and not match_annotation_with_task_query(dict_simple_annotation, task_query):
+            continue
+        sub_annotation_polygon_list = get_annotation_polygon_info_list(dict_simple_annotation, target_label_names=target_label_names)
+        annotation_polygon_list.extend(sub_annotation_polygon_list)
+    return annotation_polygon_list
+
+
+def create_df(
+    annotation_polygon_list: list[AnnotationPolygonInfo],
+) -> pandas.DataFrame:
+    """
+    CSV出力用のDataFrameを作成する。
+
+    Notes:
+        points列は含めない。CSVに含めると列の長さが非常に大きくなるため。
+        attributes列は、キーごとに別々の列（attributes.<key>の形式）として出力する。
+        pandas.json_normalizeを使用してネストした辞書を自動的に展開する。
+
+    """
+    # 基本列の定義
+    base_columns = [
+        "project_id",
+        "task_id",
+        "task_status",
+        "task_phase",
+        "task_phase_stage",
+        "input_data_id",
+        "input_data_name",
+        "updated_datetime",
+        "label",
+        "annotation_id",
+        "point_count",
+        "area",
+        "centroid.x",
+        "centroid.y",
+        "bounding_box_width",
+        "bounding_box_height",
+    ]
+
+    if len(annotation_polygon_list) == 0:
+        # 件数が0件のときも列ヘッダを出力する
+        return pandas.DataFrame(columns=base_columns)
+
+    # pandas.json_normalizeを使用してネストした辞書を展開
+    # centroid（辞書）とattributes（辞書）が自動的に展開される
+    df = pandas.json_normalize([e.model_dump() for e in annotation_polygon_list])
+
+    # attributes列を抽出してソート
+    attributes_columns = sorted([col for col in df.columns if col.startswith("attributes.")])
+    # 列の順序を設定
+    columns = base_columns + attributes_columns
+
+    return df[columns]
+
+
+def print_annotation_polygon(
+    annotation_path: Path,
+    output_file: Path,
+    output_format: FormatArgument,
+    *,
+    target_task_ids: Collection[str] | None = None,
+    task_query: TaskQuery | None = None,
+    target_label_names: Collection[str] | None = None,
+) -> None:
+    annotation_polygon_list = get_annotation_polygon_info_list_from_annotation_path(
+        annotation_path,
+        target_task_ids=target_task_ids,
+        task_query=task_query,
+        target_label_names=target_label_names,
+    )
+
+    logger.info(f"{len(annotation_polygon_list)} 件のポリゴンアノテーションの情報を出力します。 :: output='{output_file}'")
+
+    if output_format == FormatArgument.CSV:
+        df = create_df(annotation_polygon_list)
+        print_csv(df, output_file)
+
+    elif output_format in [FormatArgument.PRETTY_JSON, FormatArgument.JSON]:
+        json_is_pretty = output_format == FormatArgument.PRETTY_JSON
+        # Pydantic BaseModelを使用したJSON処理
+        print_json(
+            [e.model_dump() for e in annotation_polygon_list],
+            is_pretty=json_is_pretty,
+            output=output_file,
+        )
+
+    else:
+        raise ValueError(f"出力形式 '{output_format}' はサポートされていません。")
+
+
+class ListAnnotationPolygon(CommandLine):
+    COMMON_MESSAGE = "annofabcli annotation_zip list_polygon_annotation: error:"
+
+    def validate(self, args: argparse.Namespace) -> bool:
+        if args.project_id is None and args.annotation is None:
+            print(  # noqa: T201
+                f"{self.COMMON_MESSAGE} argument --project_id: '--annotation'が未指定のときは、'--project_id' を指定してください。",
+                file=sys.stderr,
+            )
+            return False
+        return True
+
+    def main(self) -> None:
+        args = self.args
+
+        if not self.validate(args):
+            sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
+
+        project_id: str | None = args.project_id
+        if project_id is not None:
+            super().validate_project(project_id, project_member_roles=[ProjectMemberRole.OWNER, ProjectMemberRole.TRAINING_DATA_USER])
+            project, _ = self.service.api.get_project(project_id)
+            if project["input_data_type"] != InputDataType.IMAGE.value:
+                print(f"project_id='{project_id}'であるプロジェクトは画像プロジェクトでないので、終了します", file=sys.stderr)  # noqa: T201
+                sys.exit(COMMAND_LINE_ERROR_STATUS_CODE)
+
+        annotation_path = Path(args.annotation) if args.annotation is not None else None
+
+        task_id_list = get_list_from_args(args.task_id) if args.task_id is not None else None
+        task_query = TaskQuery.from_dict(annofabcli.common.cli.get_json_from_args(args.task_query)) if args.task_query is not None else None
+        label_name_list = get_list_from_args(args.label_name) if args.label_name is not None else None
+
+        output_file: Path = args.output
+        output_format = FormatArgument(args.format)
+
+        downloading_obj = DownloadingFile(self.service)
+
+        def download_and_print_annotation_polygon(project_id: str, temp_dir: Path, *, is_latest: bool) -> None:
+            local_annotation_path = temp_dir / f"{project_id}__annotation.zip"
+            downloading_obj.download_annotation_zip(
+                project_id,
+                dest_path=local_annotation_path,
+                is_latest=is_latest,
+            )
+            print_annotation_polygon(
+                local_annotation_path,
+                output_file,
+                output_format,
+                target_task_ids=task_id_list,
+                task_query=task_query,
+                target_label_names=label_name_list,
+            )
+
+        if project_id is not None:
+            if args.temp_dir is not None:
+                download_and_print_annotation_polygon(project_id=project_id, temp_dir=args.temp_dir, is_latest=args.latest)
+            else:
+                with tempfile.TemporaryDirectory() as str_temp_dir:
+                    download_and_print_annotation_polygon(
+                        project_id=project_id,
+                        temp_dir=Path(str_temp_dir),
+                        is_latest=args.latest,
+                    )
+        else:
+            assert annotation_path is not None
+            print_annotation_polygon(
+                annotation_path,
+                output_file,
+                output_format,
+                target_task_ids=task_id_list,
+                task_query=task_query,
+                target_label_names=label_name_list,
+            )
+
+
+def parse_args(parser: argparse.ArgumentParser) -> None:
+    argument_parser = ArgumentParser(parser)
+
+    group = parser.add_mutually_exclusive_group(required=True)
+    group.add_argument(
+        "--annotation",
+        type=str,
+        help="アノテーションzip、またはzipを展開したディレクトリを指定します。",
+    )
+
+    group.add_argument("-p", "--project_id", type=str, help="project_id。アノテーションZIPをダウンロードします。")
+
+    argument_parser.add_format(
+        choices=[FormatArgument.CSV, FormatArgument.JSON, FormatArgument.PRETTY_JSON],
+        default=FormatArgument.CSV,
+    )
+
+    argument_parser.add_output()
+
+    parser.add_argument(
+        "-tq",
+        "--task_query",
+        type=str,
+        help="集計対象タスクを絞り込むためのクエリ条件をJSON形式で指定します。使用できるキーは task_id, status, phase, phase_stage です。"
+        " ``file://`` を先頭に付けると、JSON形式のファイルを指定できます。",
+    )
+    argument_parser.add_task_id(required=False)
+
+    parser.add_argument(
+        "--label_name",
+        type=str,
+        nargs="+",
+        help="指定したラベル名のポリゴンアノテーションのみを対象にします。複数指定できます。",
+    )
+
+    parser.add_argument(
+        "--latest",
+        action="store_true",
+        help="``--annotation`` を指定しないとき、最新のアノテーションzipを参照します。このオプションを指定すると、アノテーションzipを更新するのに数分待ちます。",
+    )
+
+    parser.add_argument(
+        "--temp_dir",
+        type=Path,
+        help="指定したディレクトリに、アノテーションZIPなどの一時ファイルをダウンロードします。",
+    )
+
+    parser.set_defaults(subcommand_func=main)
+
+
+def main(args: argparse.Namespace) -> None:
+    service = build_annofabapi_resource_and_login(args)
+    facade = AnnofabApiFacade(service)
+    ListAnnotationPolygon(service, facade, args).main()
+
+
+def add_parser(subparsers: argparse._SubParsersAction | None = None) -> argparse.ArgumentParser:
+    subcommand_name = "list_polygon_annotation"
+    subcommand_help = "アノテーションZIPからポリゴンアノテーションの座標情報と属性情報を出力します。"
+    epilog = "アノテーションZIPをダウンロードする場合は、オーナロールまたはアノテーションユーザロールを持つユーザで実行してください。"
+    parser = annofabcli.common.cli.add_parser(subparsers, subcommand_name, subcommand_help, description=subcommand_help, epilog=epilog)
+    parse_args(parser)
+    return parser