magic-pocket-cli 0.11.0__tar.gz → 0.13.0__tar.gz

{magic_pocket_cli-0.11.0 → magic_pocket_cli-0.13.0}/PKG-INFO

@@ -1,13 +1,13 @@
 Metadata-Version: 2.4
 Name: magic-pocket-cli
-Version: 0.11.0
+Version: 0.13.0
 Summary: CLI and deploy tools for magic-pocket.
 Requires-Python: >=3.10
 Requires-Dist: awscrt>=0.19.0
 Requires-Dist: click>=8.1.7
 Requires-Dist: deepdiff>=6.7.1
 Requires-Dist: jinja2>=3.1.3
-Requires-Dist: magic-pocket>=0.11.0
+Requires-Dist: magic-pocket>=0.13.0
 Requires-Dist: pathspec>=1.0.4
 Requires-Dist: python-on-whales>=0.68.0
 Requires-Dist: pyyaml>=6.0.1

{magic_pocket_cli-0.11.0 → magic_pocket_cli-0.13.0}/pocket_cli/cli/deploy_cli.py

@@ -3,7 +3,7 @@ import webbrowser
 
 import click
 
-from pocket.context import Context
+from pocket.context import Context, deploy_hash_report
 from pocket.utils import echo
 from pocket_cli.mediator import Mediator
 from pocket_cli.resources.aws.state import StateStore
@@ -173,6 +173,11 @@ def _deploy_pipeline(context: Context, *, openpath=None, skip_frontend=False):
     promote 時は context.awscontainer.promote_commit_hash が設定済みで、
     deploy_init 内の image build が retag に置き換わる以外は deploy と同一。
     """
+    # DEPLOY_HASH の解決結果を deploy 時に 1 回可視化する (env 伝播漏れで
+    # 黙って git short hash に落ちる footgun の早期発見用)。
+    deploy_hash_message = deploy_hash_report(context)
+    if deploy_hash_message:
+        echo.info(deploy_hash_message)
     # CodeBuildがソースアップロードにstate bucketを必要とするため、先に作成
     state_store = _create_state_store(context)
     state_store.ensure_bucket()

magic_pocket_cli-0.13.0/pocket_cli/cli/migrate_cli.py

@@ -0,0 +1,310 @@
+"""pocket migrate: バージョン間のデータ/スタック移行をまとめて実行する。
+
+サブコマンド:
+
+- ``template-hash``: 旧バージョンでデプロイされたスタックに pocket:template_hash
+  タグを付与し、yaml_synced の判定をハッシュベースに移行する。
+- ``secret-paths``: stored user secret を旧キー基準パス ({pocket_key}-user/{key})
+  から新 type 基準パス ({pocket_key}-user/{type}) へ移設する (0.11→0.12)。
+
+サブコマンド無指定 (``pocket migrate``) なら全 migration を冪等に順次実行する。
+"""
+
+from __future__ import annotations
+
+import hashlib
+
+import click
+import yaml
+
+from pocket import __version__
+from pocket.context import Context
+from pocket.utils import echo
+from pocket_cli.cli.deploy_cli import get_resources
+
+# --- template-hash migration -------------------------------------------------
+
+
+def _get_existing_stacks(context: Context) -> list:
+    """デプロイ済みの全スタックを収集する"""
+    stacks = []
+    for resource in get_resources(context):
+        if hasattr(resource, "stack") and resource.stack.exists:
+            stacks.append(resource.stack)
+    return stacks
+
+
+def _compute_uploaded_hash(stack) -> str | None:
+    """uploaded template からハッシュを計算する"""
+    uploaded = stack.uploaded_template
+    if uploaded is None:
+        return None
+    if isinstance(uploaded, str):
+        return hashlib.sha256(uploaded.encode()).hexdigest()[:16]
+    return hashlib.sha256(
+        yaml.dump(dict(uploaded), sort_keys=True).encode()
+    ).hexdigest()[:16]
+
+
+def _backfill_tags(stacks: list) -> None:
+    """タグがないスタックに uploaded template のハッシュでタグを付与する"""
+    for stack in stacks:
+        if stack._deployed_template_hash is not None:
+            continue
+        h = _compute_uploaded_hash(stack)
+        if h is None:
+            continue
+        echo.log("タグ付与 (uploaded hash): %s (%s)" % (stack.name, h))
+        stack.client.update_stack(
+            StackName=stack.name,
+            UsePreviousTemplate=True,
+            Capabilities=stack.capabilities,
+            Tags=stack.stack_tags + [{"Key": "pocket:template_hash", "Value": h}],
+        )
+        stack.wait_status("COMPLETED", timeout=300, interval=5)
+        stack.clear_status()
+        echo.success("完了: %s" % stack.name)
+
+
+def _find_stacks_needing_update(stacks: list) -> list:
+    """ローカルテンプレートとハッシュが異なるスタックを返す"""
+    targets = []
+    for stack in stacks:
+        if stack._deployed_template_hash == stack._template_hash:
+            echo.info("%s: タグは最新です" % stack.name)
+            continue
+        targets.append(stack)
+    return targets
+
+
+def _apply_local_tags(targets: list) -> None:
+    """ローカルテンプレートのハッシュでタグを更新する"""
+    for stack in targets:
+        echo.log("タグ更新 (local hash): %s" % stack.name)
+        stack.client.update_stack(
+            StackName=stack.name,
+            UsePreviousTemplate=True,
+            Capabilities=stack.capabilities,
+            Tags=stack._build_tags(),
+        )
+        stack.wait_status("COMPLETED", timeout=300, interval=5)
+        echo.success("完了: %s" % stack.name)
+
+
+def _check_real_diffs(stacks: list) -> list[str]:
+    """非 ASCII 文字化け以外のテンプレート差分があるスタックを返す"""
+    needs_deploy = []
+    for stack in stacks:
+        diff = stack.yaml_diff
+        if diff == {}:
+            continue
+        if set(diff.keys()) == {"values_changed"}:
+            all_garbled = all(
+                isinstance(c.get("old_value"), str) and "??" in c["old_value"]
+                for c in diff["values_changed"].values()
+            )
+            if all_garbled:
+                continue
+        needs_deploy.append(stack.name)
+    return needs_deploy
+
+
+def _run_template_hash(stage: str, *, yes: bool) -> None:
+    """スタックのテンプレートハッシュタグを一括付与する (冪等)。
+
+    未 deploy のテンプレ差分がある場合は SystemExit(1) で中断する
+    (前提条件ガード: 先に deploy が必要)。
+    """
+    context = Context.from_toml(stage=stage)
+    stacks = _get_existing_stacks(context)
+
+    if not stacks:
+        echo.warning("template-hash: 対象のスタックがありません。")
+        return
+
+    # 1. タグがないスタックに uploaded template のハッシュで仮タグを付与
+    _backfill_tags(stacks)
+
+    # 2. ローカルとの差分チェック（非 ASCII 文字化け以外の差分があれば中断）
+    needs_deploy = _check_real_diffs(stacks)
+    if needs_deploy:
+        echo.danger("以下のスタックにテンプレートの差分があります:")
+        for name in needs_deploy:
+            echo.info("  - %s" % name)
+        echo.danger(
+            "先に pocket deploy --stage=%s で最新バージョンを"
+            "デプロイしてから再実行してください。" % stage
+        )
+        raise SystemExit(1)
+
+    # 3. ローカルテンプレートのハッシュでタグを更新
+    targets = _find_stacks_needing_update(stacks)
+    if not targets:
+        echo.success("template-hash: 全スタックのタグが最新です。")
+        return
+
+    echo.info("以下のスタックのタグをローカルハッシュに更新します:")
+    for stack in targets:
+        echo.info("  - %s" % stack.name)
+    if not yes:
+        click.confirm("実行しますか？", abort=True)
+
+    _apply_local_tags(targets)
+    echo.success("template-hash: 全スタックの移行が完了しました。")
+
+
+# --- secret-paths migration (0.11 -> 0.12) -----------------------------------
+
+_SECRET_PATH_LABELS = {
+    "would-migrate": "移設予定 (copy→旧削除)",
+    "would-clean": "旧パス削除予定 (移行済)",
+    "migrated": "移設完了",
+    "cleaned": "旧パス削除 (移行済)",
+    "already": "移行不要",
+    "missing": "未 provision (store-url で作成してください)",
+    "skip-name": "name モード (対象外)",
+}
+
+
+def _report_secret_path(info: dict) -> None:
+    status = info["status"]
+    label = _SECRET_PATH_LABELS.get(status, status)
+    if status in ("migrated", "cleaned"):
+        echo.success(
+            "%s: %s (%s → %s)" % (info["key"], label, info["old"], info["new"])
+        )
+    elif status in ("would-migrate", "would-clean"):
+        echo.info("%s: %s (%s → %s)" % (info["key"], label, info["old"], info["new"]))
+    elif status == "missing":
+        echo.warning("%s: %s (%s)" % (info["key"], label, info.get("new")))
+    else:
+        echo.info("%s: %s" % (info["key"], label))
+
+
+def _warn_runtime_bump_required(stage: str) -> None:
+    """secret-paths 移設で旧パスが削除されることの事前警告。
+
+    移設は copy→旧削除を一括で行うため、この stage に deploy 済みの Lambda runtime
+    (magic-pocket[django]) が古いままだと、旧パス (削除済) を参照して DATABASE_URL を
+    解決できず cold start の INIT で落ちる。移設後に runtime を CLI と同版へ bump して
+    再デプロイするまで stage が黙って壊れる footgun を、移設前に明示する
+    (template-hash が「先に deploy」で中断するのと同じ思想の事前ガード)。
+    """
+    echo.warning(
+        "⚠ 移設すると旧パスは削除されます (copy→旧削除は一括)。この stage に "
+        "deploy 済みの Lambda runtime (magic-pocket[django]) が古いままだと、"
+        "旧パスを参照して DATABASE_URL を解決できず cold start の INIT で落ちます。"
+    )
+    echo.warning(
+        "  移設後は速やかに runtime を CLI と同版へ上げて再デプロイしてください:\n"
+        "    uv add 'magic-pocket[django]>=%s'\n"
+        "    pocket deploy --stage=%s  (Django なら pocket django deploy --stage=%s)"
+        % (__version__, stage, stage)
+    )
+    echo.warning(
+        "  ※ copy と旧削除が一括のため完全な無停止移行にはなりません。warm instance は "
+        "recycle まで生存するので、移設直後に再デプロイすれば影響を最小化できます。"
+    )
+
+
+def _run_secret_paths(stage: str, *, yes: bool, dry_run: bool) -> None:
+    """stored user secret を旧キー基準→新 type 基準パスへ移設する (冪等)。"""
+    from pocket_cli.mediator import Mediator
+
+    context = Context.from_toml(stage=stage)
+    sc = context.awscontainer.secrets if context.awscontainer else None
+    type_specs = (
+        [(k, s) for k, s in sc.user.items() if s.type is not None] if sc else []
+    )
+    if not type_specs:
+        echo.info("secret-paths: type-mode の user secret がありません。")
+        return
+
+    mediator = Mediator(context)
+
+    # まず dry-run で計画を出す (AWS への書込みなし)
+    plans = [
+        mediator.migrate_user_secret_path(k, s, dry_run=True) for k, s in type_specs
+    ]
+    for info in plans:
+        _report_secret_path(info)
+    to_act = [p for p in plans if p["status"] in ("would-migrate", "would-clean")]
+    if not to_act:
+        echo.success(
+            "secret-paths: 移設対象はありません (全て移行済み or 未 provision)。"
+        )
+        return
+    _warn_runtime_bump_required(stage)
+    if dry_run:
+        echo.info("secret-paths: --dry-run のため実行はしません。")
+        return
+    if not yes:
+        click.confirm("上記の移設を実行しますか？", abort=True)
+
+    for key, spec in type_specs:
+        info = mediator.migrate_user_secret_path(key, spec, dry_run=False)
+        _report_secret_path(info)
+    echo.success("secret-paths: 移設が完了しました。")
+
+
+# --- CLI 配線 -----------------------------------------------------------------
+
+
+@click.group(invoke_without_command=True)
+@click.option("--stage", envvar="POCKET_DEPLOY_STAGE", default=None)
+@click.option(
+    "--yes", "-y", is_flag=True, default=False, help="確認プロンプトをスキップ"
+)
+@click.pass_context
+def migrate(ctx: click.Context, stage: str | None, yes: bool):
+    """バージョン間の移行をまとめて実行する。
+
+    サブコマンド無指定なら全 migration (secret-paths → template-hash) を
+    冪等に順次実行する。
+    """
+    if ctx.invoked_subcommand is not None:
+        return
+    # bare 実行: 全 migration を冪等実行
+    from pocket_cli.cli.aws_auth import check_aws_credentials
+
+    check_aws_credentials()
+    resolved_stage: str = stage or click.prompt("Stage")
+    # secret-paths を先に (高速・ガードで中断しない)、template-hash を後に。
+    _run_secret_paths(resolved_stage, yes=yes, dry_run=False)
+    try:
+        _run_template_hash(resolved_stage, yes=yes)
+    except SystemExit:
+        echo.warning(
+            "template-hash はテンプレ差分のため中断しました "
+            "(secret-paths は完了済み)。pocket deploy --stage=%s の後に "
+            "pocket migrate を再実行してください。" % resolved_stage
+        )
+
+
+@migrate.command(name="template-hash")
+@click.option("--stage", envvar="POCKET_DEPLOY_STAGE", prompt=True)
+@click.option(
+    "--yes", "-y", is_flag=True, default=False, help="確認プロンプトをスキップ"
+)
+def template_hash(stage: str, yes: bool):
+    """スタックのテンプレートハッシュタグを一括付与する。"""
+    from pocket_cli.cli.aws_auth import check_aws_credentials
+
+    check_aws_credentials()
+    _run_template_hash(stage, yes=yes)
+
+
+@migrate.command(name="secret-paths")
+@click.option("--stage", envvar="POCKET_DEPLOY_STAGE", prompt=True)
+@click.option(
+    "--yes", "-y", is_flag=True, default=False, help="確認プロンプトをスキップ"
+)
+@click.option(
+    "--dry-run", is_flag=True, default=False, help="移設内容を表示のみ (書込みなし)"
+)
+def secret_paths(stage: str, yes: bool, dry_run: bool):
+    """stored user secret を旧キー基準→新 type 基準パスへ移設する (0.11→0.12)。"""
+    from pocket_cli.cli.aws_auth import check_aws_credentials
+
+    check_aws_credentials()
+    _run_secret_paths(stage, yes=yes, dry_run=dry_run)

{magic_pocket_cli-0.11.0 → magic_pocket_cli-0.13.0}/pocket_cli/cli/url_helper.py

@@ -63,19 +63,24 @@ def run_get_url(
 
 
 def _read_stored_url(context: Context, secret_type: str) -> str | None:
-    """``type=<secret_type>`` の stored user secret を 1 件だけ特定して値を読む。
+    """``type=<secret_type>`` の stored URL を読む。未 provision なら None。
 
-    宣言が 0 件なら None (→ live fallback)、複数なら曖昧として ClickException。
+    consumer の user secret 宣言が在れば ``spec.store`` override を尊重して読む。
+    宣言が無くても (dual-declaration で DATABASE_URL が別 backend を指す等)、
+    type 基準の正準パスを直接構築して読む — つまり「その backend の stored URL」を
+    consumer 宣言の有無と無関係に引ける。両方無ければ None (→ live fallback)。
     """
     sc = context.awscontainer.secrets if context.awscontainer else None
     if sc is None:
         return None
+    mediator = Mediator(context)
     specs = [spec for spec in sc.user.values() if spec.type == secret_type]
-    if not specs:
-        return None
     if len(specs) > 1:
+        # 通常は settings の check_user_type_unique で弾かれる (防御的)。
         raise click.ClickException(
             "type=%s の stored user secret が複数宣言されているため曖昧です。"
             % secret_type
         )
-    return Mediator(context).read_user_secret(specs[0])
+    if specs:
+        return mediator.read_user_secret(specs[0])
+    return mediator.read_stored_url_by_type(secret_type)

{magic_pocket_cli-0.11.0 → magic_pocket_cli-0.13.0}/pocket_cli/mediator.py

@@ -144,52 +144,92 @@ class Mediator:
         store = spec.store or sc.store
         return self._stored_secret_exists(spec.name, store, sc.region)
 
-    def store_user_secret(self, spec, value: str) -> None:
-        """stored mode user secret の正準名 (spec.name) に単一値を書き込む。
+    def _require_secrets(self):
+        """awscontainer.secrets (SecretsContext) を返す。未設定なら raise。"""
+        ac = self.context.awscontainer
+        if ac is None or ac.secrets is None:
+            raise RuntimeError("awscontainer secrets is not configured")
+        return ac.secrets
 
-        `pocket <db> store-url` から使う。pocket_store (managed 集約) ではなく
-        user secret の導出名 ({pocket_key}-user/{KEY}) に直接 put する。
-        読み側 _stored_secret_exists と対称。
-        """
+    def _put_stored_value(self, name: str, store: str, value: str, region: str) -> None:
+        """正準名 (name) に単一値を書き込む (ssm=SecureString / sm=create|put)。"""
         import boto3
         from botocore.exceptions import ClientError
 
-        if (
-            self.context.awscontainer is None
-            or self.context.awscontainer.secrets is None
-        ):
-            raise RuntimeError("awscontainer secrets is not configured")
-        sc = self.context.awscontainer.secrets
-        if spec.name is None:
-            raise RuntimeError("user secret name is not resolved")
-        store = spec.store or sc.store
         if store == "ssm":
-            boto3.client("ssm", region_name=sc.region).put_parameter(
-                Name=spec.name, Value=value, Type="SecureString", Overwrite=True
+            boto3.client("ssm", region_name=region).put_parameter(
+                Name=name, Value=value, Type="SecureString", Overwrite=True
             )
             return
-        client = boto3.client("secretsmanager", region_name=sc.region)
+        client = boto3.client("secretsmanager", region_name=region)
         try:
             client.create_secret(
-                Name=spec.name,
+                Name=name,
                 SecretString=value,
-                Tags=[{"Key": "Name", "Value": spec.name}],
+                Tags=[{"Key": "Name", "Value": name}],
             )
         except ClientError as e:
             if e.response["Error"]["Code"] == "ResourceExistsException":
-                client.put_secret_value(SecretId=spec.name, SecretString=value)
+                client.put_secret_value(SecretId=name, SecretString=value)
             else:
                 raise
 
+    def _read_stored_value(self, name: str, store: str, region: str) -> str | None:
+        """正準名 (name) の値を読む。未 provision (NotFound) なら None。"""
+        import boto3
+        from botocore.exceptions import ClientError
+
+        try:
+            if store == "ssm":
+                res = boto3.client("ssm", region_name=region).get_parameter(
+                    Name=name, WithDecryption=True
+                )
+                return res["Parameter"]["Value"]
+            res = boto3.client("secretsmanager", region_name=region).get_secret_value(
+                SecretId=name
+            )
+            return res["SecretString"]
+        except ClientError as e:
+            code = e.response.get("Error", {}).get("Code", "")
+            if code in ("ParameterNotFound", "ResourceNotFoundException"):
+                return None
+            raise
+
+    def _delete_stored_value(self, name: str, store: str, region: str) -> None:
+        """正準名 (name) を削除する (migrate の旧パス cleanup 用)。"""
+        import boto3
+
+        if store == "ssm":
+            boto3.client("ssm", region_name=region).delete_parameter(Name=name)
+        else:
+            boto3.client("secretsmanager", region_name=region).delete_secret(
+                SecretId=name
+            )
+
+    def store_user_secret(self, spec, value: str) -> None:
+        """stored mode user secret の正準名 (spec.name) に単一値を書き込む。
+
+        `pocket <db> store-url` から使う。pocket_store (managed 集約) ではなく
+        user secret の type 基準導出名 ({pocket_key}-user/{type}) に直接 put する。
+        読み側 _stored_secret_exists と対称。
+        """
+        if (
+            self.context.awscontainer is None
+            or self.context.awscontainer.secrets is None
+        ):
+            raise RuntimeError("awscontainer secrets is not configured")
+        sc = self.context.awscontainer.secrets
+        if spec.name is None:
+            raise RuntimeError("user secret name is not resolved")
+        store = spec.store or sc.store
+        self._put_stored_value(spec.name, store, value, sc.region)
+
     def read_user_secret(self, spec) -> str | None:
         """stored mode user secret (spec.name) の値を読む。未 provision なら None。
 
         store_user_secret / _stored_secret_exists と対称の読み取り。
         `pocket <db> url` の stored-first 解決に使う。管理 API は叩かない。
         """
-        import boto3
-        from botocore.exceptions import ClientError
-
         if (
             self.context.awscontainer is None
             or self.context.awscontainer.secrets is None
@@ -198,21 +238,79 @@ class Mediator:
             return None
         sc = self.context.awscontainer.secrets
         store = spec.store or sc.store
-        try:
-            if store == "ssm":
-                res = boto3.client("ssm", region_name=sc.region).get_parameter(
-                    Name=spec.name, WithDecryption=True
-                )
-                return res["Parameter"]["Value"]
-            res = boto3.client(
-                "secretsmanager", region_name=sc.region
-            ).get_secret_value(SecretId=spec.name)
-            return res["SecretString"]
-        except ClientError as e:
-            code = e.response.get("Error", {}).get("Code", "")
-            if code in ("ParameterNotFound", "ResourceNotFoundException"):
-                return None
-            raise
+        return self._read_stored_value(spec.name, store, sc.region)
+
+    def read_stored_url_by_type(self, secret_type: str) -> str | None:
+        """type 基準の正準パスを (consumer 宣言なしで) 構築して stored URL を読む。
+
+        dual-declaration で consumer (DATABASE_URL) が別 backend を指していても、
+        「その backend の stored URL」を type から直接引ける。store は secrets.store
+        既定 (per-type override は宣言でしか表現できないため)。
+        """
+        if (
+            self.context.awscontainer is None
+            or self.context.awscontainer.secrets is None
+        ):
+            return None
+        sc = self.context.awscontainer.secrets
+        name = sc.stored_url_name(secret_type)
+        return self._read_stored_value(name, sc.store, sc.region)
+
+    def migrate_user_secret_path(
+        self, key: str, spec, *, dry_run: bool = False
+    ) -> dict:
+        """0.11→0.12: user secret を旧キー基準パス→新 type 基準パスへ移設する。
+
+        旧 /{pocket_key}-user/{key} の値を新 /{pocket_key}-user/{type} へ copy し、
+        verify 後に旧を delete する。冪等 (新在+旧在なら旧のみ delete して cleanup を
+        完了)。戻り値の status: ``migrated`` / ``cleaned`` / ``already`` / ``missing``
+        / ``skip-name`` (dry_run では ``would-migrate`` / ``would-clean``)。
+        """
+        from pocket.context import user_secret_path
+
+        sc = self._require_secrets()
+        if spec.type is None:  # name モードは移設対象外
+            return {"status": "skip-name", "key": key}
+        store = spec.store or sc.store
+        old_name = user_secret_path(sc.pocket_key, key, store)
+        new_name = sc.stored_url_name(spec.type, store)
+        info = {
+            "status": None,
+            "key": key,
+            "type": spec.type,
+            "old": old_name,
+            "new": new_name,
+        }
+        if old_name == new_name:  # 既に type == key (レア) なら移設不要
+            info["status"] = "already"
+            return info
+        region = sc.region
+        new_exists = self._stored_secret_exists(new_name, store, region)
+        old_exists = self._stored_secret_exists(old_name, store, region)
+        if new_exists:
+            if old_exists:
+                if not dry_run:
+                    self._delete_stored_value(old_name, store, region)
+                info["status"] = "would-clean" if dry_run else "cleaned"
+            else:
+                info["status"] = "already"
+            return info
+        if not old_exists:
+            info["status"] = "missing"
+            return info
+        if dry_run:
+            info["status"] = "would-migrate"
+            return info
+        value = self._read_stored_value(old_name, store, region)
+        if value is None:
+            info["status"] = "missing"
+            return info
+        self._put_stored_value(new_name, store, value, region)
+        if self._read_stored_value(new_name, store, region) != value:
+            raise RuntimeError("copy verify failed: %s" % new_name)
+        self._delete_stored_value(old_name, store, region)
+        info["status"] = "migrated"
+        return info
 
     def _cleanup_orphaned_secrets(self):
         """SSM/SM にあるが managed 定義にないシークレットを削除する"""