@genn-inc/cluebase-frontend-sdk 0.0.1

package/dist/_generated/ingest-privacy-tables.js

@@ -0,0 +1,890 @@
+// 自動生成です。**手で編集しないでください。**
+//
+// 正本: packages/cluebase-shared/src/ingest/ingest-privacy-policy.v1.json
+// 出し直す: node scripts/generate-shared-contract-tables.mjs
+//
+// 正本を直したらこの file も一緒に commit してください。CI が
+// `node scripts/generate-shared-contract-tables.mjs --check` で照合し、ずれていれば落とします。
+/** 受付側が、どの許可設定によらず必ず落とす項目名。 */
+export const INGEST_HARD_DENY_KEYS = [
+    "authorization",
+    "cookie",
+    "set_cookie",
+    "password",
+    "passwd",
+    "token",
+    "access_token",
+    "refresh_token",
+    "secret",
+    "api_key",
+    "apikey",
+    "private_key",
+    "session_token",
+    "x_csrf_token",
+    "x_xsrf_token",
+    "email",
+    "phone",
+    "ssn",
+    "date_of_birth",
+    "dob",
+    "drivers_license",
+    "passport",
+    "national_id",
+    "tax_id",
+    "credit_card",
+    "card_number",
+    "cvv",
+    "cvc",
+    "account_number",
+    "routing_number",
+    "iban",
+    "raw_sql",
+    "sql_query",
+    "sql_statement",
+    "bind_value",
+    "bind_values",
+    "bindings",
+    "row_value",
+    "row_values",
+    "raw_row",
+    "request_body",
+    "response_body",
+    "request_headers",
+    "response_headers",
+    "auth_headers",
+    "cookies",
+    "prompt_body",
+    "raw_prompt",
+    "completion_body",
+    "raw_completion",
+    "raw_ai_output",
+];
+/**
+ * 配る部品が送り出す前に落とす項目名。
+ *
+ * 必ず {@link INGEST_HARD_DENY_KEYS} を含みます（同じ正本の配列を先頭に
+ * 並べて出しているため、包含関係は**構造で保証**されます。試験の主張ではありません）。
+ */
+export const SDK_ALWAYS_DENIED_KEYS = [
+    "authorization",
+    "cookie",
+    "set_cookie",
+    "password",
+    "passwd",
+    "token",
+    "access_token",
+    "refresh_token",
+    "secret",
+    "api_key",
+    "apikey",
+    "private_key",
+    "session_token",
+    "x_csrf_token",
+    "x_xsrf_token",
+    "email",
+    "phone",
+    "ssn",
+    "date_of_birth",
+    "dob",
+    "drivers_license",
+    "passport",
+    "national_id",
+    "tax_id",
+    "credit_card",
+    "card_number",
+    "cvv",
+    "cvc",
+    "account_number",
+    "routing_number",
+    "iban",
+    "raw_sql",
+    "sql_query",
+    "sql_statement",
+    "bind_value",
+    "bind_values",
+    "bindings",
+    "row_value",
+    "row_values",
+    "raw_row",
+    "request_body",
+    "response_body",
+    "request_headers",
+    "response_headers",
+    "auth_headers",
+    "cookies",
+    "prompt_body",
+    "raw_prompt",
+    "completion_body",
+    "raw_completion",
+    "raw_ai_output",
+    "set-cookie",
+    "session",
+];
+/**
+ * 受付側が**計測の属性**（OpenTelemetry の span 属性）を畳む時に落とす項目名。
+ *
+ * この面は顧客の任意の属性が丸ごと来るので、本文・問い合わせ文・見出しの類を
+ * 面ごと落とします。広すぎて利用者の項目名の面へは広げられないため、面ごとの
+ * 追加として持ちます。{@link INGEST_HARD_DENY_KEYS} を必ず含みます（同じ正本の
+ * 配列を先頭に並べて出しているため、包含関係は**構造で保証**されます）。
+ */
+export const INGEST_SIGNAL_DENIED_KEYS = [
+    "authorization",
+    "cookie",
+    "set_cookie",
+    "password",
+    "passwd",
+    "token",
+    "access_token",
+    "refresh_token",
+    "secret",
+    "api_key",
+    "apikey",
+    "private_key",
+    "session_token",
+    "x_csrf_token",
+    "x_xsrf_token",
+    "email",
+    "phone",
+    "ssn",
+    "date_of_birth",
+    "dob",
+    "drivers_license",
+    "passport",
+    "national_id",
+    "tax_id",
+    "credit_card",
+    "card_number",
+    "cvv",
+    "cvc",
+    "account_number",
+    "routing_number",
+    "iban",
+    "raw_sql",
+    "sql_query",
+    "sql_statement",
+    "bind_value",
+    "bind_values",
+    "bindings",
+    "row_value",
+    "row_values",
+    "raw_row",
+    "request_body",
+    "response_body",
+    "request_headers",
+    "response_headers",
+    "auth_headers",
+    "cookies",
+    "prompt_body",
+    "raw_prompt",
+    "completion_body",
+    "raw_completion",
+    "raw_ai_output",
+    "body",
+    "query",
+    "headers",
+    "statement",
+    "db_statement",
+];
+/**
+ * 自分たちが出す**追跡情報（trace）の属性**で落とす項目名。
+ *
+ * この面は開発者が書いた属性がそのまま外へ出るので、広く落として困りません。
+ * `session` はこの面だけです。取り込みの面へ広げると、相関に使う
+ * `cluebase.session_id` まで落ちます。**面ごとに違うのは落とす語の一覧だけで、
+ * 突き合わせ方は 1 つ**です。
+ */
+export const INGEST_TRACE_DENIED_KEYS = [
+    "authorization",
+    "cookie",
+    "set_cookie",
+    "password",
+    "passwd",
+    "token",
+    "access_token",
+    "refresh_token",
+    "secret",
+    "api_key",
+    "apikey",
+    "private_key",
+    "session_token",
+    "x_csrf_token",
+    "x_xsrf_token",
+    "email",
+    "phone",
+    "ssn",
+    "date_of_birth",
+    "dob",
+    "drivers_license",
+    "passport",
+    "national_id",
+    "tax_id",
+    "credit_card",
+    "card_number",
+    "cvv",
+    "cvc",
+    "account_number",
+    "routing_number",
+    "iban",
+    "raw_sql",
+    "sql_query",
+    "sql_statement",
+    "bind_value",
+    "bind_values",
+    "bindings",
+    "row_value",
+    "row_values",
+    "raw_row",
+    "request_body",
+    "response_body",
+    "request_headers",
+    "response_headers",
+    "auth_headers",
+    "cookies",
+    "prompt_body",
+    "raw_prompt",
+    "completion_body",
+    "raw_completion",
+    "raw_ai_output",
+    "bearer",
+    "session",
+];
+/**
+ * 見た目が同じ別の文字を ASCII へ畳む表。
+ *
+ * NFKC はこれらを畳みません（互換分解ではなく別の文字だからです）。畳まないと
+ * \`τօκen\` のような綴りが \`token\` に一致せず、資格情報が伏せられないまま
+ * 送出されます。
+ *
+ * **畳んだ先はすべて小文字です。これは正しい形です。** Unicode の規格（UTS #39）は、
+ * 見た目が同じ文字を畳んだ結果について「大文字小文字を保つ形ではない」「項目名の
+ * 正規化として使ってはならない」と明記しています。したがって**畳んだ後の大文字小文字を
+ * 当てにする突き合わせを書いてはいけません**（下の突き合わせ用の形は、大文字小文字も
+ * 区切りも捨てます）。
+ */
+export const ASCII_CONFUSABLES_FOLD = {
+    "×": "x",
+    "þ": "p",
+    "ı": "i",
+    "Ƅ": "b",
+    "ƍ": "g",
+    "ƒ": "f",
+    "Ɩ": "l",
+    "Ʀ": "r",
+    "Ƨ": "2",
+    "Ʒ": "3",
+    "Ƽ": "5",
+    "ƽ": "s",
+    "ƿ": "p",
+    "ǀ": "l",
+    "Ȝ": "3",
+    "Ȣ": "8",
+    "ȣ": "8",
+    "ɑ": "a",
+    "ɡ": "g",
+    "ɣ": "y",
+    "ɩ": "i",
+    "ɪ": "i",
+    "ɯ": "w",
+    "ʋ": "u",
+    "ʏ": "y",
+    "Ϳ": "j",
+    "Α": "a",
+    "Β": "b",
+    "Ε": "e",
+    "Ζ": "z",
+    "Η": "h",
+    "Ι": "l",
+    "Κ": "k",
+    "Μ": "m",
+    "Ν": "n",
+    "Ο": "o",
+    "Ρ": "p",
+    "Τ": "t",
+    "Υ": "y",
+    "Χ": "x",
+    "α": "a",
+    "β": "b",
+    "γ": "y",
+    "ε": "e",
+    "ι": "i",
+    "κ": "k",
+    "ν": "v",
+    "ο": "o",
+    "ρ": "p",
+    "σ": "o",
+    "τ": "t",
+    "υ": "u",
+    "χ": "x",
+    "Ϝ": "f",
+    "Ϩ": "2",
+    "Ϭ": "6",
+    "ϭ": "o",
+    "ϳ": "j",
+    "ϸ": "p",
+    "Ϻ": "m",
+    "Ѕ": "s",
+    "І": "l",
+    "Ј": "j",
+    "А": "a",
+    "В": "b",
+    "Е": "e",
+    "З": "3",
+    "К": "k",
+    "М": "m",
+    "Н": "h",
+    "О": "o",
+    "Р": "p",
+    "С": "c",
+    "Т": "t",
+    "У": "y",
+    "Х": "x",
+    "Ь": "b",
+    "а": "a",
+    "б": "6",
+    "в": "b",
+    "г": "r",
+    "е": "e",
+    "м": "m",
+    "н": "h",
+    "о": "o",
+    "р": "p",
+    "с": "c",
+    "т": "t",
+    "у": "y",
+    "х": "x",
+    "ш": "w",
+    "ѕ": "s",
+    "і": "i",
+    "ј": "j",
+    "ѡ": "w",
+    "Ѵ": "v",
+    "ѵ": "v",
+    "Ү": "y",
+    "ү": "y",
+    "Һ": "h",
+    "һ": "h",
+    "ҽ": "e",
+    "Ӏ": "l",
+    "ӏ": "l",
+    "Ӡ": "3",
+    "ԁ": "d",
+    "Ԍ": "g",
+    "ԛ": "q",
+    "Ԝ": "w",
+    "ԝ": "w",
+    "Ս": "u",
+    "Տ": "s",
+    "Օ": "o",
+    "ա": "w",
+    "գ": "q",
+    "զ": "q",
+    "հ": "h",
+    "ո": "n",
+    "ռ": "n",
+    "ս": "u",
+    "ց": "g",
+    "ւ": "i",
+    "ք": "f",
+    "օ": "o",
+    "׀": "l",
+    "ו": "l",
+    "ט": "v",
+    "ן": "l",
+    "ס": "o",
+    "ا": "l",
+    "ه": "o",
+    "١": "l",
+    "٥": "o",
+    "٧": "v",
+    "ھ": "o",
+    "ہ": "o",
+    "ە": "o",
+    "۱": "l",
+    "۵": "o",
+    "۷": "v",
+    "߀": "o",
+    "ߊ": "l",
+    "०": "o",
+    "३": "3",
+    "০": "o",
+    "৪": "8",
+    "৭": "9",
+    "੦": "o",
+    "੧": "9",
+    "੪": "8",
+    "૦": "o",
+    "૩": "3",
+    "ଃ": "8",
+    "ଠ": "o",
+    "୦": "o",
+    "୨": "9",
+    "௦": "o",
+    "ం": "o",
+    "౦": "o",
+    "ಂ": "o",
+    "೦": "o",
+    "ം": "o",
+    "ട": "s",
+    "ഠ": "o",
+    "൦": "o",
+    "൭": "9",
+    "ං": "o",
+    "๐": "o",
+    "໐": "o",
+    "င": "c",
+    "ဝ": "o",
+    "၀": "o",
+    "ၚ": "c",
+    "ყ": "y",
+    "ჿ": "o",
+    "ሀ": "u",
+    "ዐ": "o",
+    "Ꭰ": "d",
+    "Ꭱ": "r",
+    "Ꭲ": "t",
+    "Ꭵ": "i",
+    "Ꭹ": "y",
+    "Ꭺ": "a",
+    "Ꭻ": "j",
+    "Ꭼ": "e",
+    "Ꮃ": "w",
+    "Ꮇ": "m",
+    "Ꮋ": "h",
+    "Ꮍ": "y",
+    "Ꮐ": "g",
+    "Ꮒ": "h",
+    "Ꮓ": "z",
+    "Ꮞ": "4",
+    "Ꮟ": "b",
+    "Ꮢ": "r",
+    "Ꮤ": "w",
+    "Ꮥ": "s",
+    "Ꮩ": "v",
+    "Ꮪ": "s",
+    "Ꮮ": "l",
+    "Ꮯ": "c",
+    "Ꮲ": "p",
+    "Ꮶ": "k",
+    "Ꮷ": "d",
+    "Ꮾ": "6",
+    "Ᏻ": "g",
+    "Ᏼ": "b",
+    "ᐯ": "v",
+    "ᑌ": "u",
+    "ᑭ": "p",
+    "ᑯ": "d",
+    "ᑲ": "b",
+    "ᒍ": "j",
+    "ᒪ": "l",
+    "ᒿ": "2",
+    "ᕁ": "x",
+    "ᕼ": "h",
+    "ᕽ": "x",
+    "ᖇ": "r",
+    "ᖯ": "b",
+    "ᖴ": "f",
+    "ᗅ": "a",
+    "ᗞ": "d",
+    "ᗪ": "d",
+    "ᗰ": "m",
+    "ᗷ": "b",
+    "᙭": "x",
+    "᙮": "x",
+    "ᚷ": "x",
+    "ᛁ": "l",
+    "ᛕ": "k",
+    "ᛖ": "m",
+    "០": "o",
+    "ᴄ": "c",
+    "ᴏ": "o",
+    "ᴑ": "o",
+    "ᴜ": "u",
+    "ᴠ": "v",
+    "ᴡ": "w",
+    "ᴢ": "z",
+    "ᴦ": "r",
+    "ᶃ": "g",
+    "ᶌ": "y",
+    "ẝ": "f",
+    "ỿ": "y",
+    "℮": "e",
+    "∣": "l",
+    "∨": "v",
+    "∪": "u",
+    "⊤": "t",
+    "⋁": "v",
+    "⋃": "u",
+    "⋿": "e",
+    "⍳": "i",
+    "⍴": "p",
+    "⍺": "a",
+    "⏽": "l",
+    "╳": "x",
+    "⟙": "t",
+    "⤫": "x",
+    "⤬": "x",
+    "⨯": "x",
+    "Ⲃ": "b",
+    "ⲅ": "r",
+    "Ⲏ": "h",
+    "Ⲓ": "l",
+    "ⲓ": "i",
+    "Ⲕ": "k",
+    "Ⲙ": "m",
+    "Ⲛ": "n",
+    "Ⲝ": "3",
+    "Ⲟ": "o",
+    "ⲟ": "o",
+    "Ⲣ": "p",
+    "ⲣ": "p",
+    "Ⲥ": "c",
+    "ⲥ": "c",
+    "Ⲧ": "t",
+    "Ⲩ": "y",
+    "ⲩ": "y",
+    "Ⲭ": "x",
+    "ⲽ": "w",
+    "Ⳅ": "3",
+    "Ⳋ": "9",
+    "ⳋ": "9",
+    "Ⳍ": "3",
+    "Ⳏ": "p",
+    "ⳏ": "p",
+    "Ⳑ": "l",
+    "Ⳓ": "6",
+    "ⳓ": "6",
+    "Ⳝ": "6",
+    "ⴸ": "v",
+    "ⴹ": "e",
+    "ⵏ": "l",
+    "ⵔ": "o",
+    "ⵕ": "q",
+    "ⵝ": "x",
+    "〇": "o",
+    "ꓐ": "b",
+    "ꓑ": "p",
+    "ꓒ": "d",
+    "ꓓ": "d",
+    "ꓔ": "t",
+    "ꓖ": "g",
+    "ꓗ": "k",
+    "ꓙ": "j",
+    "ꓚ": "c",
+    "ꓜ": "z",
+    "ꓝ": "f",
+    "ꓟ": "m",
+    "ꓠ": "n",
+    "ꓡ": "l",
+    "ꓢ": "s",
+    "ꓣ": "r",
+    "ꓦ": "v",
+    "ꓧ": "h",
+    "ꓪ": "w",
+    "ꓫ": "x",
+    "ꓬ": "y",
+    "ꓮ": "a",
+    "ꓰ": "e",
+    "ꓲ": "l",
+    "ꓳ": "o",
+    "ꓴ": "u",
+    "Ꙅ": "2",
+    "ꙇ": "i",
+    "ꛟ": "v",
+    "ꛯ": "2",
+    "ꜱ": "s",
+    "Ꝛ": "2",
+    "Ꝫ": "3",
+    "Ꝯ": "9",
+    "Ꞙ": "f",
+    "ꞙ": "f",
+    "ꞟ": "u",
+    "Ɜ": "3",
+    "Ʝ": "j",
+    "Ꭓ": "x",
+    "Ꞵ": "b",
+    "ꬲ": "e",
+    "ꬵ": "f",
+    "ꬽ": "o",
+    "ꭇ": "r",
+    "ꭈ": "r",
+    "ꭎ": "u",
+    "ꭒ": "u",
+    "ꭚ": "y",
+    "ꭵ": "i",
+    "ꮁ": "r",
+    "ꮃ": "w",
+    "ꮓ": "z",
+    "ꮩ": "v",
+    "ꮪ": "s",
+    "ꮯ": "c",
+    "𐊂": "b",
+    "𐊆": "e",
+    "𐊇": "f",
+    "𐊊": "l",
+    "𐊐": "x",
+    "𐊒": "o",
+    "𐊕": "p",
+    "𐊖": "s",
+    "𐊗": "t",
+    "𐊠": "a",
+    "𐊡": "b",
+    "𐊢": "c",
+    "𐊥": "f",
+    "𐊫": "o",
+    "𐊰": "m",
+    "𐊱": "t",
+    "𐊲": "y",
+    "𐊴": "x",
+    "𐋏": "h",
+    "𐋵": "z",
+    "𐌁": "b",
+    "𐌂": "c",
+    "𐌉": "l",
+    "𐌑": "m",
+    "𐌕": "t",
+    "𐌗": "x",
+    "𐌚": "8",
+    "𐌠": "l",
+    "𐌢": "x",
+    "𐐄": "o",
+    "𐐕": "c",
+    "𐐛": "l",
+    "𐐠": "s",
+    "𐐬": "o",
+    "𐐽": "c",
+    "𐑈": "s",
+    "𐒴": "r",
+    "𐓂": "o",
+    "𐓎": "u",
+    "𐓒": "7",
+    "𐓪": "o",
+    "𐓶": "u",
+    "𐔓": "n",
+    "𐔖": "o",
+    "𐔘": "k",
+    "𐔜": "c",
+    "𐔝": "v",
+    "𐔥": "f",
+    "𐔦": "l",
+    "𐔧": "x",
+    "𑓐": "o",
+    "𑜆": "v",
+    "𑜊": "w",
+    "𑜎": "w",
+    "𑜏": "w",
+    "𑢠": "v",
+    "𑢢": "f",
+    "𑢣": "l",
+    "𑢤": "y",
+    "𑢦": "e",
+    "𑢩": "z",
+    "𑢬": "9",
+    "𑢮": "e",
+    "𑢯": "4",
+    "𑢲": "l",
+    "𑢵": "o",
+    "𑢸": "u",
+    "𑢻": "5",
+    "𑢼": "t",
+    "𑣀": "v",
+    "𑣁": "s",
+    "𑣂": "f",
+    "𑣃": "i",
+    "𑣄": "z",
+    "𑣆": "7",
+    "𑣈": "o",
+    "𑣊": "3",
+    "𑣌": "9",
+    "𑣕": "6",
+    "𑣖": "9",
+    "𑣗": "o",
+    "𑣘": "u",
+    "𑣜": "y",
+    "𑣠": "o",
+    "𑣥": "z",
+    "𑣦": "w",
+    "𑣩": "c",
+    "𑣬": "x",
+    "𑣯": "w",
+    "𑣲": "c",
+    "𑷚": "l",
+    "𑷠": "o",
+    "𑷡": "l",
+    "𖺪": "l",
+    "𖺶": "b",
+    "𖼈": "v",
+    "𖼊": "t",
+    "𖼖": "l",
+    "𖼨": "l",
+    "𖼵": "r",
+    "𖼺": "s",
+    "𖼻": "3",
+    "𖽀": "a",
+    "𖽂": "u",
+    "𖽃": "y",
+    "𝈆": "3",
+    "𝈍": "v",
+    "𝈒": "7",
+    "𝈓": "f",
+    "𝈖": "r",
+    "𝈪": "l",
+    "𞣇": "l",
+    "𞣋": "8",
+    "🝌": "c",
+    "🝨": "t",
+};
+export const foldAsciiConfusables = (value) => {
+    let out = "";
+    for (const character of value) {
+        out += ASCII_CONFUSABLES_FOLD[character] ?? character;
+    }
+    return out;
+};
+/**
+ * 項目名を、区切りの見える形にします。
+ *
+ * \`userEmail\` / \`user_email\` / \`user-email\` / \`USER_EMAIL\` / \`User.Email\`
+ * はすべて \`user_email\` になります。**この形は「経路っぽい項目名か」の判定に使います。**
+ * 落とすかどうかの突き合わせには使いません（下の {@link toPrivacyMatchKey} を使います）。
+ */
+export const normalizePrivacyLookupKey = (key) => foldAsciiConfusables(key.normalize("NFKC"))
+    .trim()
+    .replace(/([a-z0-9])([A-Z])/g, "$1_$2")
+    .toLowerCase()
+    .replace(/[^a-z0-9]+/g, "_")
+    .replace(/^_+|_+$/g, "");
+/**
+ * 突き合わせる形。**区切りを落として詰めます。**
+ *
+ * 区切りを残してはいけません。区切りの位置は**送ってくる側が決められる**からです。
+ * 上の形は大文字の位置から区切りを補いますが、大文字を「見た目が同じ小文字の別文字」
+ * に替えられると、その区切りが消えます（\`accessтoken\` の \`т\` はキリル文字の小文字）。
+ * ASCII だけでも \`accesstoken\` \`ACCESSTOKEN\` のように区切りを 1 つも書かない綴りが
+ * 普通にあり、これらは**同形異字を使わなくても**素通りしていました。
+ *
+ * したがって**区切りに頼らない形にしてから突き合わせます。**
+ */
+export const toPrivacyMatchKey = (key) => normalizePrivacyLookupKey(key).replace(/_/g, "");
+/**
+ * 落とす語を含むが、落としてはいけないと決めた項目名。
+ *
+ * 部分一致で落とす方式は必ず巻き添えを出すので、業界の既定は逃し口を
+ * **完全一致**の一覧として持つことです（Sentry の Safe Fields も完全一致）。
+ * 中身は「トークンの個数」だけです。資格情報ではなく数量で、生成 AI の費用の
+ * 分析に要ります。
+ */
+export const INGEST_DENY_EXEMPT_KEYS = [
+    "input_tokens",
+    "output_tokens",
+    "total_tokens",
+    "max_tokens",
+    "prompt_tokens",
+    "completion_tokens",
+    "token_count",
+    "cache_read_input_tokens",
+    "cache_creation_input_tokens",
+    "gen_ai.usage.input_tokens",
+    "gen_ai.usage.output_tokens",
+    "gen_ai.usage.total_tokens",
+    "gen_ai.request.max_tokens",
+    "ai_input_tokens",
+    "ai_output_tokens",
+    "ai_total_tokens",
+    "ai_request_max_tokens",
+];
+const DENY_EXEMPT_MATCH_KEYS = new Set(INGEST_DENY_EXEMPT_KEYS.map(toPrivacyMatchKey));
+/** 落とす項目名の一覧を、突き合わせ用の集合にします。空になるものは捨てます。 */
+export const toDeniedLookupKeySet = (deniedKeys) => {
+    const set = new Set();
+    for (const entry of deniedKeys) {
+        const matchKey = toPrivacyMatchKey(entry);
+        if (matchKey)
+            set.add(matchKey);
+    }
+    return set;
+};
+/**
+ * 詰めた形への部分一致で突き合わせる、落とす語の最短の長さ。
+ *
+ * これ未満の語は、区切りの塊の**端に接している**時だけ落とします。
+ */
+export const PRIVACY_SUBSTRING_MATCH_MIN_LENGTH = 4;
+/** 既に伏せてある値の綴り（そのまま一致する分）。 */
+export const MASKED_VALUE_EXACT = [
+    "__cluebase_masked__",
+];
+/** 既に伏せてある値の綴り（先頭が一致する分）。後ろは指紋です。 */
+export const MASKED_VALUE_PREFIXES = [
+    "cluebase_pii_hashed:",
+];
+/**
+ * 連絡先（メール）の形。**指紋にする前に小文字へ畳んでよいかだけを決めます。**
+ *
+ * 合えば前後の空白を落として小文字にしてから指紋にし、合わなければ元の値のまま
+ * 指紋にします。**両側で同じ規則でなければ、同じ人の同じメールが経路ごとに別の
+ * 指紋になり、突き合わせが 0 件で返ります。**
+ */
+export const CONTACT_EMAIL_SHAPE = "^[^\\s@]+@[^\\s@]+\\.[^\\s@]+$";
+/** その値は、指紋にする前に小文字へ畳んでよい形か。 */
+export const isContactEmailShaped = (value) => new RegExp(CONTACT_EMAIL_SHAPE).test(value);
+/**
+ * この項目名を落とすか。**落とす語の長さで、突き合わせ方を分けます。**
+ *
+ * | 落とす語 | 突き合わせ | 例 |
+ * |---|---|---|
+ * | 4 文字以上 | 詰めた形への**部分一致** | `token` が `accesstoken` `ACCESSTOKEN` `myAccessToken` `accessтoken` に当たる |
+ * | 4 文字未満 | 区切りの塊の**端に接する**か、塊を繋いだ形と一致 | `ssn` が `user_ssn` `ssnLast4` `userssn` `s.s.n` に当たり、`class_snapshot` には当たらない |
+ *
+ * **部分一致は業界の既定ですが、3 文字の頭字語に当てると顧客の正当な項目名を
+ * 無言で捨てます。** 実測（2026-08-14）: 辞書由来の項目名 160 万件のうち
+ * **50,041 件**が誤って落ち、`class_snapshot`（`classsnapshot` の中の `ssn`）・
+ * `boss_snapshot`・`cross_snapshot`・`business_snapshot`・`press_note`・
+ * `adobe_id`（`adobe` の中の `dob`）が消えていました。
+ *
+ * **業界が同じことをしていない、とは書けません。** Rails の
+ * `ActiveSupport::ParameterFilter` は既定で `ssn` `cvv` `cvc` を持ち、部分一致で
+ * 当てています。Rails で許されるのは対象が**ログ出力**だけで、誤爆しても
+ * `[FILTERED]` と出るだけで元データが残るからです。**こちらは取り込みで項目
+ * そのものを捨てるので復元できません。**釣り合いが違うので、Rails の許容は
+ * こちらへ持ち込めません。
+ *
+ * **両方は満たせません。** 部分一致をやめた分だけ、詰めた綴り（`xssnvalue`）は
+ * 通ります。攻撃綴り 11,627 件での素通りは、この案で 560 件です（塊とちょうど
+ * 一致させる案は 984 件）。この案は**現行が落とすものしか落とさない**ので、
+ * 誤爆を新たに増やしません。
+ */
+export const isDeniedLookupKey = (key, deniedSet) => {
+    const matchKey = toPrivacyMatchKey(key);
+    if (!matchKey)
+        return false;
+    // 逃し口は**完全一致**です。前に語を足した綴り（\`my_max_tokens\`）は逃しません。
+    if (DENY_EXEMPT_MATCH_KEYS.has(matchKey))
+        return false;
+    let segments = null;
+    for (const denied of deniedSet) {
+        if (denied.length >= PRIVACY_SUBSTRING_MATCH_MIN_LENGTH) {
+            if (matchKey.includes(denied))
+                return true;
+            continue;
+        }
+        // 短い語は、区切りの塊の端に接している時だけ落とします。\`class_snapshot\` の
+        // \`ssn\` は塊をまたいだ位置にあるので当たりません。\`s.s.n\` のように 1 文字ずつ
+        // 区切っても、続いた塊を繋げば当たります。
+        segments ?? (segments = normalizePrivacyLookupKey(key).split("_").filter(Boolean));
+        for (let start = 0; start < segments.length; start += 1) {
+            const segment = segments[start];
+            if (segment.startsWith(denied) || segment.endsWith(denied))
+                return true;
+            let run = "";
+            for (let end = start; end < segments.length; end += 1) {
+                run += segments[end];
+                if (run.length > denied.length)
+                    break;
+                if (run === denied)
+                    return true;
+            }
+        }
+    }
+    return false;
+};