magic-pocket-cli 0.40.0__tar.gz → 0.41.1__tar.gz

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/PKG-INFO

@@ -1,13 +1,13 @@
 Metadata-Version: 2.5
 Name: magic-pocket-cli
-Version: 0.40.0
+Version: 0.41.1
 Summary: CLI and deploy tools for magic-pocket.
 Requires-Python: >=3.10
 Requires-Dist: awscrt>=0.19.0
 Requires-Dist: click>=8.1.7
 Requires-Dist: deepdiff>=6.7.1
 Requires-Dist: jinja2>=3.1.3
-Requires-Dist: magic-pocket<0.41,>=0.40.0
+Requires-Dist: magic-pocket<0.42,>=0.41.1
 Requires-Dist: pathspec>=1.0.4
 Requires-Dist: python-on-whales>=0.68.0
 Requires-Dist: pyyaml>=6.0.1

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/pocket_cli/cli/deploy_cli.py

@@ -1,5 +1,6 @@
 import inspect
 import webbrowser
+from collections.abc import Callable
 
 import click
 
@@ -12,6 +13,7 @@ from pocket_cli.mediator import Mediator
 from pocket_cli.resources.aws.builders.context_check import (
     resummarize_world_read_warnings,
 )
+from pocket_cli.resources.aws.stage_roles import verify_stage_roles
 from pocket_cli.resources.aws.state import StateStore, create_state_store
 from pocket_cli.resources.backup import Backup
 from pocket_cli.resources.cloudfront import CloudFront
@@ -112,15 +114,53 @@ def deploy_init_resources(context: Context, *, state_bucket: str = ""):
         resource.deploy_init()
 
 
-def deploy_frontend(context: Context, *, skip_build: bool = False):
+def deploy_frontend(
+    context: Context,
+    *,
+    skip_build: bool = False,
+    exclude: frozenset[tuple[str, str]] = frozenset(),
+):
+    """uploadable な route を upload する。
+
+    exclude は upload 済みの (cloudfront, route) で、対象から外す。
+    """
     for _name, cf_ctx in context.cloudfront.items():
-        cf = CloudFront(cf_ctx)
-        if not cf_ctx.uploadable_routes:
+        routes = [
+            r for r in cf_ctx.uploadable_routes if (cf_ctx.name, r.name) not in exclude
+        ]
+        if not routes:
             continue
+        cf = CloudFront(cf_ctx)
         if cf.status == "NOEXIST":
             echo.warning("CloudFront '%s' が未作成です。スキップします。" % cf_ctx.name)
             continue
-        cf.upload(skip_build=skip_build)
+        cf.upload(skip_build=skip_build, routes=routes)
+
+
+def deploy_versioned_frontend(context: Context) -> frozenset[tuple[str, str]]:
+    """versioning route を Lambda 更新より先に upload する。
+
+    Lambda が新しい版の URL を出し始めた後に upload すると、その間に読まれた
+    ファイルは upload 前の内容 (新規ファイルなら 403) が新しい URL のキャッシュに入り、
+    ブラウザに versioned_max_age の間残る (KN1676)。versioning route の URL は版ごとに
+    変わるので、先に upload しても稼働中の版の表示は壊れない。
+
+    SPA など versioning の無い route は対象外 (HTML が Lambda より先に切り替わる)。
+    CloudFront が未作成 (初回 deploy) の場合は upload せず、deploy_frontend に任せる。
+    戻り値は upload した (cloudfront, route) で、deploy_frontend の exclude に渡す。
+    """
+    uploaded: set[tuple[str, str]] = set()
+    for _name, cf_ctx in context.cloudfront.items():
+        routes = [r for r in cf_ctx.uploadable_routes if r.versioning]
+        if not routes:
+            continue
+        cf = CloudFront(cf_ctx)
+        if cf.status == "NOEXIST":
+            continue
+        echo.log("versioning route を Lambda 更新より先に upload します...")
+        cf.upload(routes=routes)
+        uploaded.update((cf_ctx.name, r.name) for r in routes)
+    return frozenset(uploaded)
 
 
 def upload_managed_assets(context: Context):
@@ -215,11 +255,20 @@ def build_image(context: Context, *, tag: str) -> list[str]:
     return targets
 
 
-def _deploy_pipeline(context: Context, *, openpath=None, skip_frontend=False):
+def _deploy_pipeline(
+    context: Context,
+    *,
+    openpath=None,
+    skip_frontend=False,
+    before_lambda_update: Callable[[], None] | None = None,
+):
     """deploy / promote 共通のパイプライン本体。
 
     promote 時は各 container の promote_commit_hash が設定済みで、
     deploy_init 内の image build が retag に置き換わる以外は deploy と同一。
+
+    before_lambda_update は image build の後・Lambda 更新 (deploy_resources) の前に
+    呼ばれる。`pocket django deploy` が static を先に upload するのに使う。
     """
     # DEPLOY_HASH の解決結果を deploy 時に 1 回可視化する (env 伝播漏れで
     # 黙って git short hash に落ちる footgun の早期発見用)。
@@ -230,12 +279,20 @@ def _deploy_pipeline(context: Context, *, openpath=None, skip_frontend=False):
     deploy_hash_message = deploy_hash_report(context)
     if deploy_hash_message:
         echo.info(deploy_hash_message)
+    # [iam] external_roles: 事前に作られた role を、何かを変更する前に検査する
+    verify_stage_roles(context)
     # CodeBuildがソースアップロードにstate bucketを必要とするため、先に作成
     state_store = _create_state_store(context)
     state_store.ensure_bucket()
     state_bucket = state_store.bucket_name
     check_removed_inbound(context, state_store)
     deploy_init_resources(context, state_bucket=state_bucket)
+    # static は Lambda が新しい版の URL を出し始める前に upload する (KN1676)
+    uploaded_routes: frozenset[tuple[str, str]] = frozenset()
+    if not skip_frontend:
+        uploaded_routes = deploy_versioned_frontend(context)
+    if before_lambda_update is not None:
+        before_lambda_update()
     deploy_resources(context, state_bucket=state_bucket)
     cleanup_unused_inbound_domains(context, state_store)
     # リリース跨ぎ移行の掃除フェーズ (旧配置の削除は deploy 成功後にしか
@@ -243,7 +300,7 @@ def _deploy_pipeline(context: Context, *, openpath=None, skip_frontend=False):
     migrations.run_deploy_cleanup(context)
     upload_managed_assets(context)
     if not skip_frontend:
-        deploy_frontend(context)
+        deploy_frontend(context, exclude=uploaded_routes)
     # build 時の other-read 警告はログに埋もれて気付けないため最後に再掲する
     resummarize_world_read_warnings()
     # DLQ アラートの email 購読が未確認のままだと通知が届かないため、
@@ -269,12 +326,29 @@ def _deploy_pipeline(context: Context, *, openpath=None, skip_frontend=False):
 )
 @removed_skip_check_existing
 def deploy(stage: str, openpath, skip_frontend, yes):
+    run_deploy(stage, openpath=openpath, skip_frontend=skip_frontend, yes=yes)
+
+
+def run_deploy(
+    stage: str,
+    *,
+    openpath=None,
+    skip_frontend: bool = False,
+    yes: bool = False,
+    before_lambda_update: Callable[[], None] | None = None,
+):
+    """`pocket deploy` の本体。`pocket django deploy` からも呼ばれる。"""
     from pocket_cli.cli.aws_auth import check_aws_credentials
 
     interaction.set_assume_yes(yes)
     check_aws_credentials()
     context = Context.from_toml(stage=stage)
-    _deploy_pipeline(context, openpath=openpath, skip_frontend=skip_frontend)
+    _deploy_pipeline(
+        context,
+        openpath=openpath,
+        skip_frontend=skip_frontend,
+        before_lambda_update=before_lambda_update,
+    )
 
 
 @click.command()
@@ -292,6 +366,21 @@ def promote(stage: str, commit_hash, openpath, skip_frontend, yes):
     `pocket build` で push した image に :<stage> タグを移し、
     インフラ/Lambda を更新する。image build は行わない (build once の昇格)。
     """
+    run_promote(
+        stage, commit_hash, openpath=openpath, skip_frontend=skip_frontend, yes=yes
+    )
+
+
+def run_promote(
+    stage: str,
+    commit_hash: str,
+    *,
+    openpath=None,
+    skip_frontend: bool = False,
+    yes: bool = False,
+    before_lambda_update: Callable[[], None] | None = None,
+):
+    """`pocket promote` の本体。`pocket django promote` からも呼ばれる。"""
     from pocket_cli.cli.aws_auth import check_aws_credentials
 
     interaction.set_assume_yes(yes)
@@ -301,7 +390,12 @@ def promote(stage: str, commit_hash, openpath, skip_frontend, yes):
         raise click.ClickException("container がこの stage に設定されていません。")
     for c_ctx in context.container.values():
         c_ctx.promote_commit_hash = commit_hash
-    _deploy_pipeline(context, openpath=openpath, skip_frontend=skip_frontend)
+    _deploy_pipeline(
+        context,
+        openpath=openpath,
+        skip_frontend=skip_frontend,
+        before_lambda_update=before_lambda_update,
+    )
 
 
 def _get_deploy_url(context: Context) -> str | None:

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/pocket_cli/cli/destroy_cli.py

@@ -45,6 +45,7 @@ def _create_codebuild_builder(context: Context) -> CodeBuildBuilder | None:
         resource_prefix=resource_prefix,
         state_bucket=f"{resource_prefix}state",
         permissions_boundary=permissions_boundary,
+        external_roles=context.external_roles,
     )
 
 

magic_pocket_cli-0.41.1/pocket_cli/cli/permissions_cli.py

@@ -0,0 +1,96 @@
+"""`pocket permissions` サブコマンド群。
+
+- `list`: `pocket.toml` の構成から deploy に必要な AWS IAM Action を出力する。
+  外部の IAM Role プロビジョニング処理が GitHub Actions デプロイ用 IAM Role を
+  作る際の inline policy 生成に使用することを想定。
+- `roles`: pocket の Lambda / scheduler / CodeBuild / AWS Backup が使う IAM role
+  の定義を出力する。`[iam] external_roles = true` で role を事前に作る用途。
+"""
+
+from __future__ import annotations
+
+import json
+
+import boto3
+import click
+
+from pocket.context import Context
+from pocket.permissions import compute_actions
+from pocket.settings import Settings
+from pocket_cli.resources.aws.stage_roles import stage_role_specs
+
+
+@click.group()
+def permissions():
+    """IAM 権限関連のサブコマンド。"""
+
+
+@permissions.command("list")
+@click.option("--stage", envvar="POCKET_DEPLOY_STAGE", prompt=True)
+@click.option(
+    "--format",
+    "format_",
+    type=click.Choice(["text", "json"]),
+    default="text",
+    show_default=True,
+    help='出力形式。text: 1 行 1 Action / json: {"actions": [...]}',
+)
+def list_(stage: str, format_: str):
+    """pocket.toml から必要な AWS Action 一覧を出力する。
+
+    docs/permissions/aws.md のテーブルに基づき、`[cloudfront]` / `[rds]` /
+    `[ses]` などの設定有無に応じて必要 Action を組み立てる。粒度は
+    ワイルドカード中心 (`cloudformation:*` 等)。
+    """
+    settings = Settings.from_toml(stage=stage)
+    actions = compute_actions(settings)
+    if format_ == "json":
+        click.echo(json.dumps({"actions": actions}, indent=2))
+    else:
+        for action in actions:
+            click.echo(action)
+
+
+@permissions.command("roles")
+@click.option("--stage", envvar="POCKET_DEPLOY_STAGE", prompt=True)
+@click.option(
+    "--account-id",
+    help="role の ARN と policy に埋め込む AWS account ID。省略時は"
+    " sts:GetCallerIdentity で取得する。",
+)
+def roles(stage: str, account_id: str | None):
+    """pocket が使う IAM role の定義を JSON で出力する。
+
+    role ごとに名前・ARN・信頼ポリシー・managed policy・inline policy を出す。
+    policy 中の CloudFormation 変数 (${AWS::Region} 等) は展開済みなので、
+    そのまま IAM の CreateRole / PutRolePolicy に渡せる。`[iam] external_roles
+    = true` の stage では、deploy がこの定義と実際の role を突き合わせる。
+    """
+    context = Context.from_toml(stage=stage)
+    if not context.general:
+        raise click.ClickException("[general] が見つかりません")
+    region = context.general.region
+    account = (
+        account_id
+        or (boto3.client("sts", region_name=region).get_caller_identity()["Account"])
+    )
+    specs = stage_role_specs(context, account_id=account)
+    output = {
+        "stage": stage,
+        "region": region,
+        "account_id": account,
+        "external_roles": context.external_roles,
+        "roles": [
+            {
+                "name": spec.name,
+                "arn": f"arn:aws:iam::{account}:role/{spec.name}",
+                "assume_role_policy": spec.assume_role_policy,
+                "managed_policy_arns": spec.managed_policy_arns,
+                "inline_policies": spec.resolved_inline_policies(
+                    region=region, account_id=account
+                ),
+            }
+            for spec in specs
+        ],
+    }
+    click.echo(json.dumps(output, indent=2, ensure_ascii=False))

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/pocket_cli/django_cli.py

@@ -16,8 +16,10 @@ from pocket.django.utils import get_storages, resolve_django_container
 from pocket.utils import echo
 from pocket_cli.cli import interaction
 from pocket_cli.cli.build_cli import build
+from pocket_cli.cli.deploy_cli import run_deploy, run_promote
 from pocket_cli.cli.removed_flags import removed_skip_check_existing
 from pocket_cli.resources.container import Container
+from pocket_cli.resources.s3 import S3
 
 
 @click.group()
@@ -92,23 +94,65 @@ def _update_dotenv(jinja2_env: Environment):
 )
 @removed_skip_check_existing
 def deploy(stage: str, openpath, yes, skip_migrate):
-    from pocket_cli.cli.deploy_cli import deploy as pocket_deploy
-
     # pocket deploy を実行（インフラ + SPA フロントエンド）
-    ctx = click.Context(pocket_deploy)
-    ctx.invoke(
-        pocket_deploy,
-        stage=stage,
+    static_handled: list[bool] = []
+    run_deploy(
+        stage,
         openpath=None,
         skip_frontend=False,
         yes=yes,
+        before_lambda_update=lambda: static_handled.append(
+            _deploystatic_before_lambda_update(stage)
+        ),
+    )
+    _django_post_deploy(
+        stage,
+        yes=yes,
+        openpath=openpath,
+        skip_migrate=skip_migrate,
+        static_handled=any(static_handled),
     )
-    _django_post_deploy(stage, yes=yes, openpath=openpath, skip_migrate=skip_migrate)
 
 
-def _django_post_deploy(stage: str, *, yes: bool, openpath, skip_migrate: bool = False):
+def _deploystatic_before_lambda_update(stage: str) -> bool:
+    """static を Lambda 更新より先に upload する。deploystatic を済ませたら True。
+
+    Lambda が新しい版の URL を出し始めた後に upload すると、その間に読まれた
+    ファイルは upload 前の内容が新しい URL のキャッシュに入り、ブラウザに長期間残る
+    (KN1676)。collectstatic の失敗も Lambda を更新する前に分かる。
+
+    bucket が未作成 (初回 deploy) の場合と、staticfiles が S3 でない場合は False を
+    返し、従来どおり deploy 後の `_django_post_deploy` に任せる。確認に No と
+    答えた場合も True を返す (deploy 後にもう一度聞かない)。
+    """
+    context = Context.from_toml(stage=stage)
+    if _staticfiles_publish_mode(context) == "command":
+        return False
+    c = resolve_django_container(context)
+    storage = c.django.storages.get("staticfiles") if c and c.django else None
+    if not storage or storage.store != "s3":
+        return False
+    if not context.s3 or not S3(context.s3).exists():
+        return False
+    if interaction.confirm("deploystatic?", default=True):
+        collectstatic_locally(stage, link=_staticfiles_link(context))
+        upload_collected_staticfiles(stage)
+    return True
+
+
+def _django_post_deploy(
+    stage: str,
+    *,
+    yes: bool,
+    openpath,
+    skip_migrate: bool = False,
+    static_handled: bool = False,
+):
     """deploy / promote 共通の Django 固有後処理 (collectstatic + migrate + URL)。
 
+    static_handled=True は、Lambda 更新の前に deploystatic を済ませた
+    (`_deploystatic_before_lambda_update`) ことを表し、ここでは繰り返さない。
+
     skip_migrate=True なら migrate は確認ごと省く。`-y` は「聞かれたことに全部
     yes」の意味を保ちたいので、非対話で migrate を外す手段はフラグ側に置く
     (DB が到達不能でもインフラ更新だけ通したい、という状況が実在する)。
@@ -116,7 +160,9 @@ def _django_post_deploy(stage: str, *, yes: bool, openpath, skip_migrate: bool =
     if yes:
         interaction.set_assume_yes(True)
     context = Context.from_toml(stage=stage)
-    if _staticfiles_publish_mode(context) == "command":
+    if static_handled:
+        pass
+    elif _staticfiles_publish_mode(context) == "command":
         echo.info(
             'staticfiles is publish = "command": skipping deploystatic. '
             "Publish with `pocket django deploystatic --stage %s`." % stage
@@ -163,18 +209,24 @@ def promote(stage: str, commit_hash, openpath, yes, skip_migrate):
     を更新する。image build は行わない (build once の昇格)。静的アセットは deploy 時
     と同様にローカルでビルドして upload する。
     """
-    from pocket_cli.cli.deploy_cli import promote as pocket_promote
-
-    ctx = click.Context(pocket_promote)
-    ctx.invoke(
-        pocket_promote,
-        stage=stage,
-        commit_hash=commit_hash,
+    static_handled: list[bool] = []
+    run_promote(
+        stage,
+        commit_hash,
         openpath=None,
         skip_frontend=False,
         yes=yes,
+        before_lambda_update=lambda: static_handled.append(
+            _deploystatic_before_lambda_update(stage)
+        ),
+    )
+    _django_post_deploy(
+        stage,
+        yes=yes,
+        openpath=openpath,
+        skip_migrate=skip_migrate,
+        static_handled=any(static_handled),
     )
-    _django_post_deploy(stage, yes=yes, openpath=openpath, skip_migrate=skip_migrate)
 
 
 # 旧コマンドは同じ Click command の別名として維持する。

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/pocket_cli/resources/aws/builders/__init__.py

@@ -27,6 +27,7 @@ def create_builder(
     resource_prefix: str,
     state_bucket: str,
     permissions_boundary: str | None = None,
+    external_roles: bool = False,
 ) -> Builder:
     backend = build_context.backend
 
@@ -44,6 +45,7 @@ def create_builder(
             state_bucket=state_bucket,
             compute_type=build_context.compute_type,
             permissions_boundary=permissions_boundary,
+            external_roles=external_roles,
         )
 
     if backend == "depot":

{magic_pocket_cli-0.40.0 → magic_pocket_cli-0.41.1}/pocket_cli/resources/aws/builders/codebuild.py

@@ -50,6 +50,7 @@ class CodeBuildBuilder:
         state_bucket: str,
         compute_type: str = "BUILD_GENERAL1_MEDIUM",
         permissions_boundary: str | None = None,
+        external_roles: bool = False,
     ) -> None:
         self.region = region
         self.resource_prefix = resource_prefix
@@ -58,6 +59,8 @@ class CodeBuildBuilder:
         self.permissions_boundary = (
             os.environ.get("CODEBUILD_PERMISSIONS_BOUNDARY") or permissions_boundary
         )
+        # [iam] external_roles。role は利用者が事前に作り、pocket は作成も削除もしない
+        self.external_roles = external_roles
 
         self.codebuild = boto3.client("codebuild", region_name=region)
         self.iam = boto3.client("iam", region_name=region)
@@ -91,7 +94,8 @@ class CodeBuildBuilder:
         role_arn = self._ensure_role(account_id)
         self._ensure_project(platform, role_arn)
         # project の serviceRole を新ロールへ付け替えた後なので、旧名ロールは孤児
-        self._delete_role(self._legacy_role_name)
+        if not self.external_roles:
+            self._delete_role(self._legacy_role_name)
         self._upload_source(dockerfile_path)
 
         build_id = self._start_build(
@@ -106,26 +110,29 @@ class CodeBuildBuilder:
         print("CodeBuild ビルド完了")
 
     def delete(self) -> None:
-        """CodeBuildプロジェクトとIAMロールを削除"""
+        """CodeBuildプロジェクトとIAMロールを削除 (external_roles の role は残す)"""
         self._delete_project()
+        if self.external_roles:
+            return
         self._delete_role(self._role_name)
         self._delete_role(self._legacy_role_name)
 
     # --- IAM ロール ---
 
-    def _ensure_role(self, account_id: str) -> str:
-        return iam_roles.ensure_role(
-            self.iam,
-            iam_roles.codebuild_role(
-                name=self._role_name,
-                region=self.region,
-                account_id=account_id,
-                state_bucket=self.state_bucket,
-                project_name=self._project_name,
-                permissions_boundary=self.permissions_boundary,
-            ),
+    def role_spec(self, account_id: str) -> iam_roles.RoleSpec:
+        return iam_roles.codebuild_role(
+            name=self._role_name,
+            region=self.region,
+            account_id=account_id,
+            state_bucket=self.state_bucket,
+            project_name=self._project_name,
+            permissions_boundary=self.permissions_boundary,
+            external=self.external_roles,
         )
 
+    def _ensure_role(self, account_id: str) -> str:
+        return iam_roles.ensure_role(self.iam, self.role_spec(account_id))
+
     def _delete_role(self, role_name: str) -> None:
         iam_roles.delete_role(self.iam, role_name)