addashboard-cli 0.5.1 → 0.6.2

package/skills/ad-ops/scripts/refs_import.py

@@ -0,0 +1,348 @@
+#!/usr/bin/env python3
+"""実アカウントから参照表（見出し・説明文・オーディエンス・配置面）を取り込む。
+
+`adops.sh refs-import <platform> <accountId> [--write]` から呼ばれる。単体でも動く:
+
+    python3 refs_import.py yda 1002811292 [--write] [--campaign-id 32430712]
+
+`webgram list` を campaigns / ads / resources の3系統で叩き、
+`アカウント/<platform>/<name>.json` にマージする。--write なしは差分表示のみ。
+
+━━ 採番アルゴリズム（最重要）━━
+既存の番号は **絶対に振り直さない**。既存番号は過去の入稿計画・広告名・
+`creative` パラメータに焼き込まれており、renumber は計測を壊す。
+
+  1. 比較用 norm(s): NFKC → trim → 連続空白畳み込み。**比較にのみ使い、保存は原文**
+  2. 既存 refs.titles を {norm(値): 番号} に反転
+  3. 取得した headline が既存に一致 → その番号を再利用
+  4. 未知は max(既存の整数キー)+1 から (adGroupId, adId) 昇順の初出順で採番（決定的）
+  5. 同一テキストが複数広告に出たら1番号に名寄せ
+  6. descriptions も同手順（独立した番号空間）
+  7. 消えた audiences / placements の ID は **削除せず "stale": true** を付ける
+"""
+import argparse
+import glob
+import json
+import os
+import re
+import subprocess
+import sys
+import unicodedata
+import urllib.parse
+
+SKILL_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
+CLI = os.environ.get("ADOPS_CLI", "npx -y addashboard-cli@latest")
+
+
+# ---------------------------------------------------------------- 共通
+def norm(s: object) -> str:
+    """比較専用の正規化。保存するのは常に原文であることに注意。"""
+    t = unicodedata.normalize("NFKC", str(s or "")).strip()
+    return re.sub(r"\s+", " ", t)
+
+
+def int_keys(d: dict) -> list[int]:
+    out = []
+    for k in d or {}:
+        try:
+            out.append(int(k))
+        except (TypeError, ValueError):
+            pass
+    return out
+
+
+def run_list(resource: str, account_id: str, **opts) -> dict:
+    """webgram list を1回叩いて JSON を返す。失敗したら空dict + stderr に理由。"""
+    cmd = [*CLI.split(), "list", "--platform", opts.pop("platform", "yda"),
+           "--resource", resource, "--account-id", account_id]
+    for k, v in opts.items():
+        if v:
+            cmd += [f"--{k}", str(v)]
+    print(f"▸ {resource} を取得中...", file=sys.stderr)
+    try:
+        proc = subprocess.run(cmd, capture_output=True, text=True, timeout=300)
+    except Exception as e:  # noqa: BLE001
+        print(f"  ✗ {resource} の取得に失敗: {e}", file=sys.stderr)
+        return {}
+    if proc.returncode != 0:
+        print(f"  ✗ {resource} の取得に失敗 (exit {proc.returncode}): "
+              f"{proc.stderr.strip()[:400]}", file=sys.stderr)
+        return {}
+    try:
+        return json.loads(proc.stdout)
+    except Exception as e:  # noqa: BLE001
+        print(f"  ✗ {resource} の応答を解釈できません: {e}", file=sys.stderr)
+        return {}
+
+
+def find_account(platform: str, account_id: str) -> tuple[str | None, dict]:
+    """accountId からアカウントJSONのパスと内容を引く（sample_account は最後に回す）。"""
+    paths = [p for p in glob.glob(os.path.join(SKILL_DIR, "アカウント", platform, "*.json"))
+             if os.path.basename(p) != "index.json"]
+    paths.sort(key=lambda p: os.path.basename(p) == "sample_account.json")
+    for path in paths:
+        try:
+            data = json.load(open(path, encoding="utf-8"))
+        except Exception:  # noqa: BLE001
+            continue
+        if str(data.get("accountId", "")) == str(account_id):
+            return path, data
+    return None, {}
+
+
+# --------------------------------------------------- 採番（既存を絶対に守る）
+def assign_numbers(existing: dict, incoming: list[str]) -> tuple[dict, dict]:
+    """既存番号を保ったまま未知テキストへ採番する。
+
+    existing: {"1": "見出し", ...}（原文）
+    incoming: 出現順（(adGroupId, adId) 昇順）のテキスト列。重複を含んでよい。
+
+    returns (merged, stats)
+      merged: 既存 + 追加ぶん（既存の番号・原文は不変）
+      stats : {"reused": n, "added": n, "merged": n}
+    """
+    merged = dict(existing or {})
+    by_norm: dict[str, str] = {}
+    for k, v in merged.items():
+        by_norm.setdefault(norm(v), str(k))
+
+    nxt = (max(int_keys(merged)) + 1) if int_keys(merged) else 1
+    stats = {"reused": 0, "added": 0, "merged": 0}
+    seen_this_run: set[str] = set()
+
+    for text in incoming:
+        if not str(text or "").strip():
+            continue
+        n = norm(text)
+        if n in by_norm:
+            # 既存番号を再利用（振り直さない）。同一 run で2回目なら名寄せ扱い。
+            if n in seen_this_run:
+                stats["merged"] += 1
+            else:
+                stats["reused"] += 1
+            seen_this_run.add(n)
+            continue
+        merged[str(nxt)] = text          # 保存は原文
+        by_norm[n] = str(nxt)
+        seen_this_run.add(n)
+        nxt += 1
+        stats["added"] += 1
+    return merged, stats
+
+
+# ------------------------------------------------------------- 取り込み本体
+def import_yda(account_id: str, campaign_id: str | None) -> dict:
+    """YDA から取り込んだ生データを {ads, placements, audiences, campaigns} で返す。"""
+    out: dict = {"ads": [], "placements": {}, "audiences": [], "campaigns": {}}
+
+    camp = run_list("campaigns", account_id, platform="yda")
+    out["campaigns"] = camp or {}
+
+    ad_kwargs = {}
+    if campaign_id:
+        ad_kwargs["campaign-id"] = campaign_id
+    else:
+        # campaignId が無いと backend が 400 を返すので、campaigns から全CPを回す
+        ids = [str(c.get("campaignId") or c.get("id") or "")
+               for c in (camp.get("campaigns") or []) if (c.get("campaignId") or c.get("id"))]
+        ads: list = []
+        for cid in ids:
+            r = run_list("ads", account_id, platform="yda", **{"campaign-id": cid})
+            ads += r.get("ads") or []
+        out["ads"] = ads
+        res = run_list("resources", account_id, platform="yda")
+        out["placements"] = res.get("placements") or {}
+        out["audiences"] = res.get("audiences") or []
+        return out
+
+    out["ads"] = (run_list("ads", account_id, platform="yda", **ad_kwargs)).get("ads") or []
+    res = run_list("resources", account_id, platform="yda")
+    out["placements"] = res.get("placements") or {}
+    out["audiences"] = res.get("audiences") or []
+    return out
+
+
+def sort_key(ad: dict) -> tuple:
+    """(adGroupId, adId) 昇順。数値化できないものは末尾へ。"""
+    def num(v):
+        try:
+            return (0, int(v))
+        except (TypeError, ValueError):
+            return (1, 0)
+    return (num(ad.get("adGroupId")), num(ad.get("adId")))
+
+
+def merge(account: dict, fetched: dict) -> tuple[dict, list[str]]:
+    """アカウントJSON（v1/v2 どちらでも）へマージし、(新しいdict, レポート行) を返す。"""
+    acc = json.loads(json.dumps(account))  # deep copy
+    refs = acc.setdefault("refs", {})
+    report: list[str] = []
+
+    ads = sorted(fetched.get("ads") or [], key=sort_key)
+
+    # --- 見出し / 説明文（既存番号は不変）
+    # backend の /yda/ads は複数形の配列 (headlines / descriptions) で返す。
+    # レスポンシブ広告は実測で1件だが、媒体側が複数返す形に変わっても取りこぼさない
+    # よう配列を平坦化して全件を採番対象にする（単数キーは旧レスポンスの後方互換）。
+    def texts(key_plural: str, key_singular: str) -> list:
+        out = []
+        for a in ads:
+            v = a.get(key_plural)
+            if isinstance(v, list):
+                out.extend(v)
+            elif v:
+                out.append(v)
+            else:
+                out.append(a.get(key_singular))
+        return out
+
+    titles, t_stats = assign_numbers(refs.get("titles") or {},
+                                     texts("headlines", "headline"))
+    descs, d_stats = assign_numbers(refs.get("descriptions") or {},
+                                    texts("descriptions", "description"))
+    refs["titles"], refs["descriptions"] = titles, descs
+    report.append(f"見出し     追加 {t_stats['added']} / 既存一致 {t_stats['reused']}"
+                  f" / 名寄せ統合 {t_stats['merged']}（合計 {len(titles)}）")
+    report.append(f"説明文     追加 {d_stats['added']} / 既存一致 {d_stats['reused']}"
+                  f" / 名寄せ統合 {d_stats['merged']}（合計 {len(descs)}）")
+
+    # --- キャンペーン: ID → name（プランナーの「既存キャンペーン呼び出し」が引く）
+    cps = refs.setdefault("campaigns", {})
+    cp_added = 0
+    for c in (fetched.get("campaigns") or {}).get("campaigns") or []:
+        cid = str(c.get("campaignId") or c.get("id") or "")
+        if not cid:
+            continue
+        if cid not in cps:
+            cps[cid] = {}
+            cp_added += 1
+        if c.get("name"):
+            cps[cid]["name"] = str(c["name"])
+    report.append(f"キャンペーン 新規 {cp_added}（合計 {len(cps)}）")
+
+    # --- 広告グループ: campaignId / finalUrlSample / paramCode 補完
+    #     ⚠ campaignId を必ず入れる。無いとプランナーの「既存広告グループ呼び出し」が親CPを
+    #        特定できず、**プラン末尾の無関係なキャンペーン配下にぶら下がる**。
+    #     ⚠ AG名は /yda/ads が返さないので新規行は name 無しになる（一覧では ID 表示）。
+    #        件数をレポートに出して、名前が要るなら手で足せると分かるようにする。
+    ag = refs.setdefault("adGroups", {})
+    url_added = code_added = cid_added = 0
+    new_ags: list[str] = []
+    for a in ads:
+        gid = str(a.get("adGroupId") or "")
+        if not gid:
+            continue
+        if gid not in ag:
+            ag[gid] = {}
+            new_ags.append(gid)
+        row = ag[gid]
+        cid = str(a.get("campaignId") or "")
+        if cid and not row.get("campaignId"):
+            row["campaignId"] = cid
+            cid_added += 1
+        url = a.get("finalUrl") or ""
+        if not url:
+            continue
+        if not row.get("finalUrlSample"):
+            row["finalUrlSample"] = url
+            url_added += 1
+        if not row.get("paramCode"):
+            q = urllib.parse.parse_qs(urllib.parse.urlparse(url).query)
+            code = (q.get("ad") or [""])[0]
+            if not code:
+                m = re.search(r"【([^】]+)】", str(row.get("name") or ""))
+                code = m.group(1) if m else ""
+            if code:
+                row["paramCode"] = code
+                code_added += 1
+    report.append(f"広告グループ 新規 {len(new_ags)} / campaignId 補完 {cid_added}"
+                  f" / finalUrlSample 補完 {url_added} / paramCode 補完 {code_added}"
+                  + ("　※新規行は AG名 が未設定です（/yda/ads は広告グループ名を返しません）。"
+                     "プランナーの一覧では ID 表示になるので、必要なら name を手で足してください"
+                     if new_ags else ""))
+
+    # --- baseArticleUrl 候補（提示のみ・自動上書きしない）
+    urls = [a.get("finalUrl") for a in ads if str(a.get("finalUrl") or "").startswith("http")]
+    if urls:
+        pre = os.path.commonprefix([u.split("?")[0] for u in urls])
+        pre = pre[: pre.rfind("/") + 1] if "/" in pre else pre
+        cur = acc.get("baseArticleUrl") or ""
+        if pre and pre != cur:
+            report.append(f"baseArticleUrl 候補: {pre}（現在: {cur or '未設定'}）"
+                          " ※自動では上書きしません")
+
+    # --- audiences / placements（消えたIDは削除せず stale マーク）
+    for key, incoming in (
+        ("audiences", [{"id": str(x.get("id")), "name": x.get("name"), "kind": "audienceList"}
+                       for x in (fetched.get("audiences") or []) if x.get("id")]),
+        ("placements", [
+            {"id": str(x.get("id")), "name": x.get("name"), "kind": kind}
+            for kind, arr in (("standard", (fetched.get("placements") or {}).get("standard") or []),
+                              ("exclusion", (fetched.get("placements") or {}).get("exclusions") or []))
+            for x in arr if x.get("id")
+        ]),
+    ):
+        table = refs.setdefault(key, {})
+        live_ids = {r["id"] for r in incoming}
+        added = 0
+        for r in incoming:
+            if r["id"] not in table:
+                added += 1
+            row = table.setdefault(r["id"], {})
+            row["name"], row["kind"] = r["name"], r["kind"]
+            row.pop("stale", None)
+        stale = 0
+        for i in table:
+            if i not in live_ids:
+                table[i]["stale"] = True
+                stale += 1
+        report.append(f"{key:<10} {len(live_ids)}件（新規 {added} / stale {stale}）"
+                      + (" ※stale は過去プランが参照している可能性があるため削除しません"
+                         if stale else ""))
+
+    acc["accountJsonVersion"] = 2
+    return acc, report
+
+
+# ---------------------------------------------------------------- main
+def main() -> int:
+    ap = argparse.ArgumentParser(description="実アカウントから参照表を取り込む")
+    ap.add_argument("platform")
+    ap.add_argument("account_id")
+    ap.add_argument("--write", action="store_true", help="アカウントJSONへ書き込む（既定は dry-run）")
+    ap.add_argument("--campaign-id", dest="campaign_id", default=None,
+                    help="対象キャンペーンを絞る（省略時は全CP）")
+    args = ap.parse_args()
+
+    if args.platform != "yda":
+        sys.exit(f"✗ refs-import は現状 yda のみ対応です（指定: {args.platform}）")
+
+    path, account = find_account(args.platform, args.account_id)
+    if not path:
+        sys.exit(f"✗ accountId {args.account_id} のアカウントJSONが "
+                 f"アカウント/{args.platform}/ にありません。先に作成してください")
+    print(f"📄 {path}")
+
+    fetched = import_yda(args.account_id, args.campaign_id)
+    if not fetched["ads"] and not fetched["audiences"] and not fetched["placements"]:
+        sys.exit("✗ 取得できたデータがありません（ログイン状態・accountId を確認してください）")
+
+    merged, report = merge(account, fetched)
+
+    print("\n── 取り込み結果 ──")
+    for line in report:
+        print(f"  {line}")
+
+    if not args.write:
+        print("\n（dry-run: 書き込んでいません。反映するには --write を付けてください）")
+        return 0
+
+    with open(path, "w", encoding="utf-8") as f:
+        json.dump(merged, f, indent=1, ensure_ascii=False)
+        f.write("\n")
+    print(f"\n✓ 書き込みました: {path}（accountJsonVersion=2）")
+    return 0
+
+
+if __name__ == "__main__":
+    sys.exit(main())

package/skills/ad-ops//343/202/242/343/202/253/343/202/246/343/203/263/343/203/210/yda/sample_account.json

@@ -1,10 +1,13 @@
 {
- "accountJsonVersion": 1,
+ "accountJsonVersion": 2,
  "accountId": "1002811292",
+ "mccId": "1002811292",
  "name": "sample_account",
  "principal": "サンプル主体者",
  "projectName": "サンプル案件",
  "baseArticleUrl": "https://example.com/lp/",
+ "urlParamsEnabled": true,
+ "adNamePolicy": "imageNo",
  "refs": {
   "titles": {
    "1": "サンプル見出し その1（訴求ポイントA）",
@@ -27,14 +30,22 @@
    "10000003": { "name": "サンプルキャンペーンC" }
   },
   "adGroups": {
-   "20000001": { "name": "【sample_a1】サンプル広告グループA1", "campaignId": "10000001", "paramCode": "sample_a1" },
-   "20000002": { "name": "【sample_b1】サンプル広告グループB1", "campaignId": "10000002", "paramCode": "sample_b1" },
+   "20000001": { "name": "【sample_a1】サンプル広告グループA1", "campaignId": "10000001", "paramCode": "sample_a1", "finalUrlSample": "https://example.com/lp/sample-a?ad=sample_a1&creative=sample_a1-1c-1L1-sample_a1" },
+   "20000002": { "name": "【sample_b1】サンプル広告グループB1", "campaignId": "10000002", "paramCode": "sample_b1", "finalUrlSample": "https://example.com/lp/sample-b?ad=sample_b1&creative=sample_b1-2c-2L2-sample_b1" },
    "20000003": { "name": "【sample_c1】サンプル広告グループC1", "campaignId": "10000003", "paramCode": "sample_c1" }
   },
   "groups": {
    "sample_a1": { "campaignId": "10000001", "adGroupId": "20000001", "groupName": "【sample_a1】サンプル広告グループA1" },
    "sample_b1": { "campaignId": "10000002", "adGroupId": "20000002", "groupName": "【sample_b1】サンプル広告グループB1" },
    "sample_c1": { "campaignId": "10000003", "adGroupId": "20000003", "groupName": "【sample_c1】サンプル広告グループC1" }
+  },
+  "audiences": {
+   "30000001": { "name": "サンプルオーディエンス（サイト訪問30日）", "kind": "audienceList" },
+   "30000002": { "name": "サンプルオーディエンス（購入者除外用）", "kind": "audienceList" }
+  },
+  "placements": {
+   "40000001": { "name": "サンプル配信面リスト（標準）", "kind": "standard" },
+   "40000002": { "name": "サンプル除外面リスト", "kind": "exclusion" }
   }
  }
 }