magic-pocket-cli 0.28.0__tar.gz → 0.28.2__tar.gz

{magic_pocket_cli-0.28.0 → magic_pocket_cli-0.28.2}/PKG-INFO

@@ -1,13 +1,13 @@
 Metadata-Version: 2.5
 Name: magic-pocket-cli
-Version: 0.28.0
+Version: 0.28.2
 Summary: CLI and deploy tools for magic-pocket.
 Requires-Python: >=3.10
 Requires-Dist: awscrt>=0.19.0
 Requires-Dist: click>=8.1.7
 Requires-Dist: deepdiff>=6.7.1
 Requires-Dist: jinja2>=3.1.3
-Requires-Dist: magic-pocket<0.29,>=0.28.0
+Requires-Dist: magic-pocket<0.29,>=0.28.2
 Requires-Dist: pathspec>=1.0.4
 Requires-Dist: python-on-whales>=0.68.0
 Requires-Dist: pyyaml>=6.0.1

{magic_pocket_cli-0.28.0 → magic_pocket_cli-0.28.2}/pocket_cli/cli/deploy_cli.py

@@ -33,7 +33,9 @@ def _append_infra_resources(resources, context: Context, state_bucket: str):
         resources.append(Dsql(context.dsql))
     if context.rds:
         resources.append(Rds(context.rds))
-    if context.backup and context.backup.declared:
+    # declared でなくても組み込む (0.27 以前の旧形式 plan の掃除が
+    # ensure_post_deploy_state で走るため)
+    if context.backup and (context.backup.declared or context.backup.legacy_plan_names):
         resources.append(
             Backup(context.backup, dsql_context=context.dsql, rds_context=context.rds)
         )

{magic_pocket_cli-0.28.0 → magic_pocket_cli-0.28.2}/pocket_cli/resources/backup.py

@@ -93,6 +93,9 @@ class Backup:
 
     @property
     def description(self):
+        if not self.context.plans:
+            # legacy 掃除のためだけに組み込まれた場合 ([backup] 未宣言)
+            return "Clean up legacy AWS Backup plans"
         return "Configure AWS Backup plans: %s" % ", ".join(
             plan.plan_name for plan in self.context.plans
         )
@@ -132,9 +135,12 @@ class Backup:
     def ensure_post_deploy_state(self):
         """宣言されたエンジンごとに plan / selection を冪等に確保する。
 
-        未宣言なら何もしない (opt-in。宣言を外した後の既存 plan にも触らない。
-        plan の掃除は destroy の責務)。
+        未宣言なら plan を作らない (opt-in。宣言を外した後の既存 plan にも
+        触らない。plan の掃除は destroy の責務)。ただし 0.27 以前の旧形式名の
+        plan は例外で、宣言に依らず削除する (改名で孤児化しており、残存すると
+        新 plan と二重にバックアップが走るため)。
         """
+        self._cleanup_legacy_plans()
         if not self.context.plans:
             return
         try:
@@ -158,10 +164,33 @@ class Backup:
                 " provisioning をスキップしました: %s" % e
             )
             echo.warning(
-                "  deploy role に backup:* を付与してください"
-                " (`pocket permissions list` 参照)。"
+                "  deploy role に backup グループの権限 (backup:* と kms 系)"
+                " を付与してください (`pocket permissions list` 参照)。"
             )
 
+    def _cleanup_legacy_plans(self) -> None:
+        """0.27 以前の旧形式名 ({prefix}dsql-backup) の plan を削除する。
+
+        0.28.0 で plan 名が {prefix}backup-dsql に変わったため、旧名の plan は
+        どのコードからも参照されない孤児になり、放置すると新 plan と同じ
+        cluster に二重で走る。権限が無ければ警告に留める (deploy を落とさない)。
+        """
+        for plan_name in self.context.legacy_plan_names:
+            try:
+                plan_id = self._find_plan_id(plan_name)
+                if plan_id is None:
+                    continue
+                echo.log("Deleting legacy backup plan: %s" % plan_name)
+                self._delete_plan(plan_id)
+            except ClientError as e:
+                if e.response["Error"]["Code"] != "AccessDeniedException":
+                    raise
+                echo.warning(
+                    "旧形式の backup plan (%s) を確認する権限が無いため、"
+                    "掃除をスキップしました。plan が残っている場合は二重に"
+                    "バックアップが走るため、手動で削除してください。" % plan_name
+                )
+
     def _plan_document(self, plan: BackupPlanContext) -> dict:
         rules = []
         for rule in plan.rules:
@@ -273,14 +302,18 @@ class Backup:
                 return
             if plan_id is None:
                 continue
-            selections = self._backup.list_backup_selections(BackupPlanId=plan_id)
-            for item in selections["BackupSelectionsList"]:
-                self._backup.delete_backup_selection(
-                    BackupPlanId=plan_id, SelectionId=item["SelectionId"]
-                )
-            self._backup.delete_backup_plan(BackupPlanId=plan_id)
+            self._delete_plan(plan_id)
             echo.log("Deleted backup plan: %s" % plan_name)
 
+    def _delete_plan(self, plan_id: str) -> None:
+        """selection → plan の順に削除する (selection が残ると plan を消せない)。"""
+        selections = self._backup.list_backup_selections(BackupPlanId=plan_id)
+        for item in selections["BackupSelectionsList"]:
+            self._backup.delete_backup_selection(
+                BackupPlanId=plan_id, SelectionId=item["SelectionId"]
+            )
+        self._backup.delete_backup_plan(BackupPlanId=plan_id)
+
     def list_recovery_points(self) -> list[dict] | None:
         """対象 DB の recovery point 一覧 (pocket-backup vault 内のもの)。
 

{magic_pocket_cli-0.28.0 → magic_pocket_cli-0.28.2}/pocket_cli/resources/cloudfront.py

@@ -10,6 +10,7 @@ from pathlib import Path
 from typing import TYPE_CHECKING, Literal
 
 import boto3
+from boto3.s3.transfer import TransferConfig
 from botocore.exceptions import ClientError
 from pydantic import BaseModel
 
@@ -22,6 +23,14 @@ if TYPE_CHECKING:
     from pocket.context import CloudFrontContext, RouteContext
     from pocket_cli.mediator import Mediator
 
+# upload_dir の差分 skip (_is_unchanged) は ETag が素の MD5 であることに依存する。
+# boto3 既定の multipart 閾値 (8MB) を超えると ETag が `<md5-of-part-md5s>-<N>`
+# 形式になり、そのファイルは内容不変でも毎 deploy「変更あり」= 再アップロード +
+# route 全体の invalidation になってしまう。単一 PUT の上限 (5GB) に対して
+# 十分安全な 128MB まで multipart を使わない。これを超えるファイルは従来どおり
+# 常に再アップロードされる (_is_unchanged の docstring 参照)
+_UPLOAD_TRANSFER_CONFIG = TransferConfig(multipart_threshold=128 * 1024 * 1024)
+
 
 class OriginAccessControl(BaseModel):
     Id: str
@@ -334,6 +343,7 @@ class CloudFront:
                 self.context.bucket_name,
                 s3_key,
                 ExtraArgs=extra_args,
+                Config=_UPLOAD_TRANSFER_CONFIG,
             )
             uploaded += 1
             echo.log("アップロード: s3://%s/%s" % (self.context.bucket_name, s3_key))
@@ -562,6 +572,13 @@ def _is_unchanged(file: Path, etag: str | None) -> bool:
     分からないとローカルから再現できない。SSE-KMS 等でも ETag は MD5 に
     ならない。これらは「不明」= 変更ありとして扱い、常に再アップロードする。
 
+    このため upload 側は multipart 閾値を 128MB に引き上げている
+    (_UPLOAD_TRANSFER_CONFIG)。boto3 既定の 8MB のままでは、8MB 超のファイルが
+    1 個あるだけで毎 deploy 再アップロード + route 全体の invalidation が走る。
+    過去に multipart で上がった既存オブジェクトも、閾値以下なら次の deploy で
+    単一 PUT により上げ直され、以後は skip が効くようになる (自己回復)。
+    128MB 超のファイルだけは引き続き毎回再アップロードになる。
+
     サイズ比較での代替はしない。同じサイズで内容が違うファイルを「変更なし」と
     誤判定すると、そのファイルは以後どの deploy でも更新されなくなる。
     誤って skip する事故に比べれば、再アップロードのコストは安い。

{magic_pocket_cli-0.28.0 → magic_pocket_cli-0.28.2}/pyproject.toml

@@ -1,12 +1,12 @@
 [project]
 name = "magic-pocket-cli"
-version = "0.28.0"
+version = "0.28.2"
 description = "CLI and deploy tools for magic-pocket."
 requires-python = ">=3.10"
 dependencies = [
     # lib は同 minor に束縛する。0.x では minor が breaking の単位のため、
     # 上限なしだと cli を pin した消費者にも lib の破壊的変更が届いてしまう
-    "magic-pocket>=0.28.0,<0.29",
+    "magic-pocket>=0.28.2,<0.29",
     "click>=8.1.7",
     "jinja2>=3.1.3",
     "python-on-whales>=0.68.0",