@sns-parse/core 0.4.0-alpha.8 → 0.5.0-alpha.1

package/lib/engine/fetcher.js

@@ -13,7 +13,6 @@ const common_1 = require("../utils/common");
 const format_1 = require("../utils/format");
 const parser_1 = require("./parser");
 const platform_config_1 = require("./platform-config");
-const twitter_1 = require("./twitter");
 const translate_1 = require("./translate");
 const tls_client_1 = require("../utils/tls-client");
 const gateway_1 = require("./gateway");
@@ -26,35 +25,35 @@ async function fetchApi(rt, url, type, fieldMapping, platformConf) {
         return cached.data;
     }
     const { apiUrl: dedicatedUrl, dedicatedFirst, apiKey, authHeaderType, customHeaderName, customProxy } = platformConf || (0, platform_config_1.getPlatformConfig)(rt, type);
-    // X / Twitter：统一网关均走原生 syndication 解析（除非用户自定义了 API）
-    if (type === 'twitter' && !dedicatedUrl) {
-        (0, logger_1.debugLog)('twitter 走原生 syndication 解析:', url);
-        const twCreds = (config.twitterAuthToken && config.twitterCt0)
-            ? { authToken: String(config.twitterAuthToken), ct0: String(config.twitterCt0) }
-            : undefined;
+    // 平台原生解析钩子（如 X/Twitter 的 syndication/GraphQL）：实现由平台包提供，
+    // 用户自定义专属 API 时优先专属 API。core 只调度，不持有平台实现。
+    const nativeDef = (rt.defs || []).find(d => d.type === type && typeof d.parse === 'function');
+    if (nativeDef && nativeDef.parse && !dedicatedUrl) {
+        (0, logger_1.debugLog)(`${type} 走平台原生解析（${nativeDef.label || nativeDef.type}）:`, url);
         // 代理串通：axios 走 runtime 实例；tlsget-rs（GraphQL/Grok 翻译）显式透传代理地址
         const tlsProxy = (proxyConfig.enabled && proxyConfig.host)
             ? `${proxyConfig.protocol || 'http'}://${proxyConfig.auth?.username ? `${encodeURIComponent(proxyConfig.auth.username)}:${encodeURIComponent(proxyConfig.auth.password || '')}@` : ''}${proxyConfig.host}:${proxyConfig.port || 7890}`
             : undefined;
         const tlsGetWithProxy = (u, o) => (0, tls_client_1.tlsGet)(u, { ...o, proxy: tlsProxy });
-        const parsed = await (0, twitter_1.parseTwitter)(url, http, twCreds, tlsGetWithProxy);
-        // 推文翻译：目标语种与推文语种相同时跳过；Grok（需登录态）优先，通用翻译兜底
+        const ctx = { http, config, getGraphql: tlsGetWithProxy };
+        const parsed = await nativeDef.parse(url, ctx);
+        // 推文翻译：目标语种与推文语种相同时跳过；平台原生翻译（Grok，需登录态）优先，通用翻译兜底
         if (config.tweetTranslateEnabled && parsed.desc) {
             const target = config.tweetTranslateLang || 'zh';
             if (!(0, translate_1.shouldSkipTranslate)(parsed.lang, target)) {
                 let translated = null;
                 let provider = '';
-                if (twCreds) {
-                    const grok = await (0, twitter_1.fetchGrokTranslation)(url, target, twCreds, tlsGetWithProxy).catch(() => null);
-                    if (grok) {
-                        translated = grok.text;
-                        provider = 'Grok';
-                        if (!parsed.lang && grok.sourceLang)
-                            parsed.lang = grok.sourceLang;
-                    }
+                const nativeTr = typeof nativeDef.translate === 'function'
+                    ? await nativeDef.translate(ctx, url, parsed.desc, target).catch(() => null)
+                    : null;
+                if (nativeTr) {
+                    translated = nativeTr.text;
+                    provider = 'Grok';
+                    if (!parsed.lang && nativeTr.sourceLang)
+                        parsed.lang = nativeTr.sourceLang;
                 }
                 if (!translated) {
-                    const generic = await (0, translate_1.translateText)(rt, parsed.desc, target, parsed.lang);
+                    const generic = await rt.extensions.translate?.(rt, parsed.desc, target, parsed.lang);
                     if (generic) {
                         translated = generic.text;
                         provider = generic.provider;

package/lib/engine/runtime.d.ts

@@ -4,7 +4,8 @@
  * 平台定义列表（defs）由调用方传入：
  * - koishi 兼容层传内置 BUILTIN_PLATFORMS（本地 definitions）
  * - CLI 传 collectPlatformDefinitions()（已安装的 @sns-parse/platform-*）
- * 默认扩展实现同样注入：koishi 传含 NSFW 的完整默认实现，CLI 传 createCoreExtensions()。
+ * 默认扩展实现同样由宿主注入（loadExtensionImplementations() 发现已安装 ext-*）；
+ * core 只负责调度，不持有任何功能实现。
  */
 import { AxiosInstance } from 'axios';
 import type { ParsedData, CustomPlatformConfig } from '../types';
@@ -33,6 +34,8 @@ export interface ParserRuntime {
         pattern: RegExp;
         type: string;
     }[];
+    /** 平台定义列表（原生解析/翻译钩子由 fetcher 查找使用） */
+    defs: PlatformDefinition[];
     /** 平台专属端点映射（由 defs 计算；getPlatformConfig 使用） */
     dedicatedApis: DedicatedApiMaps;
     /** 扩展能力（默认实现 + 宿主覆盖） */
@@ -45,5 +48,3 @@ export interface CreateRuntimeOptions {
     defaultExtensions?: VideoParserExtensions;
 }
 export declare function createRuntime(source: any, config: any, opts?: CreateRuntimeOptions): ParserRuntime;
-/** core 自带扩展实现（无 NSFW：CLI / 嵌入式宿主用；koishi 层在其上叠加 NSFW） */
-export declare function createCoreExtensions(): VideoParserExtensions;

package/lib/engine/runtime.js

@@ -4,14 +4,14 @@ var __importDefault = (this && this.__importDefault) || function (mod) {
 };
 Object.defineProperty(exports, "__esModule", { value: true });
 exports.createRuntime = createRuntime;
-exports.createCoreExtensions = createCoreExtensions;
 /**
  * 运行时构建（自宿主 runtime 下沉，平台无关）。
  *
  * 平台定义列表（defs）由调用方传入：
  * - koishi 兼容层传内置 BUILTIN_PLATFORMS（本地 definitions）
  * - CLI 传 collectPlatformDefinitions()（已安装的 @sns-parse/platform-*）
- * 默认扩展实现同样注入：koishi 传含 NSFW 的完整默认实现，CLI 传 createCoreExtensions()。
+ * 默认扩展实现同样由宿主注入（loadExtensionImplementations() 发现已安装 ext-*）；
+ * core 只负责调度，不持有任何功能实现。
  */
 const axios_1 = __importDefault(require("axios"));
 const https_proxy_agent_1 = require("https-proxy-agent");
@@ -20,9 +20,6 @@ const cache_1 = require("../utils/cache");
 const field_mapping_1 = require("../utils/field-mapping");
 const platform_config_1 = require("./platform-config");
 const gateway_1 = require("./gateway");
-const merge_1 = require("../utils/merge");
-const gif_1 = require("../utils/gif");
-const translate_1 = require("./translate");
 function createRuntime(source, config, opts = {}) {
     const host = (0, host_1.createHost)(source);
     const ctx = host.context;
@@ -76,15 +73,8 @@ function createRuntime(source, config, opts = {}) {
         contentDedupCache,
         customPlatforms,
         allRules,
+        defs,
         dedicatedApis,
         extensions,
     };
 }
-/** core 自带扩展实现（无 NSFW：CLI / 嵌入式宿主用；koishi 层在其上叠加 NSFW） */
-function createCoreExtensions() {
-    return {
-        mergeImages: merge_1.mergeImages,
-        mp4ToGif: gif_1.mp4ToGif,
-        translate: translate_1.translateText,
-    };
-}

package/lib/engine/translate.d.ts

@@ -1,15 +1,10 @@
 /**
- * 推文翻译：Google gtx 免费端点（无 Key、GET-only）。
- *
- * X 网页端的 Grok 翻译走私有通道（translations/show.json 已 404，GraphQL
- * 仅返回 is_translatable 标志），无公开端点可调，故用通用翻译源兜底。
- * 译文存入 ParsedData.translation，经 ${翻译} 模板变量展示，空值行自动隐藏。
+ * 语种决策与展示工具（纯函数，属调度/编排层的共享工具）。
+ * 翻译实现（Google gtx + MyMemory）在 @sns-parse/ext-translate；
+ * 平台原生翻译（如 X 网页同源 Grok）在对应平台包的 translate 钩子。
  */
-import type { ParserRuntime } from './runtime';
 import type { TranslateResult } from '../extensions';
 export type { TranslateResult };
-/** 判断是否需要跳过翻译（目标语系与推文语种相同 / 无语言内容） */
+/** 判断是否需要跳过翻译（目标语种与源语种相同 / 无文本内容） */
 export declare function shouldSkipTranslate(tweetLang: string | undefined, target: string): boolean;
 export declare function langName(code?: string): string;
-/** 翻译文本；失败返回 null（调用方保持无译文继续发送）。gtx 优先，MyMemory 兜底 */
-export declare function translateText(rt: ParserRuntime, text: string, target: string, sourceLang?: string): Promise<TranslateResult | null>;

package/lib/engine/translate.js

@@ -2,15 +2,13 @@
 Object.defineProperty(exports, "__esModule", { value: true });
 exports.shouldSkipTranslate = shouldSkipTranslate;
 exports.langName = langName;
-exports.translateText = translateText;
-const logger_1 = require("../logger");
-/** 判断是否需要跳过翻译（目标语系与推文语种相同 / 无语言内容） */
+/** 判断是否需要跳过翻译（目标语种与源语种相同 / 无文本内容） */
 function shouldSkipTranslate(tweetLang, target) {
     if (!tweetLang)
         return false;
     const l = tweetLang.toLowerCase();
     if (l === 'zxx' || l === 'und')
-        return l === 'zxx'; // zxx=无语言内容；und=未定则仍尝试
+        return l === 'zxx'; // zxx=无文本内容；und=未识别可尝试
     const t = target.toLowerCase();
     if (t === 'zh')
         return l === 'zh' || l.startsWith('zh-');
@@ -20,7 +18,7 @@ function shouldSkipTranslate(tweetLang, target) {
         return l === 'en';
     return l === t;
 }
-/** 常见语种代码 → 中文名（未知代码原样展示） */
+/** 语种代码 → 展示名（未知返回原代码） */
 const LANG_NAMES = {
     fr: '法语', ja: '日语', ko: '韩语', en: '英语', zh: '中文', es: '西班牙语', pt: '葡萄牙语',
     de: '德语', ru: '俄语', ar: '阿拉伯语', it: '意大利语', th: '泰语', vi: '越南语',
@@ -37,71 +35,3 @@ function langName(code) {
         return '';
     return LANG_NAMES[base] || code;
 }
-/** 翻译文本；失败返回 null（调用方保持无译文继续发送）。gtx 优先，MyMemory 兜底 */
-async function translateText(rt, text, target, sourceLang) {
-    if (!text)
-        return null;
-    const out = await viaGtx(rt, text, target);
-    if (out)
-        return { text: out, provider: 'Google' };
-    const backup = await viaMyMemory(rt, text, target, sourceLang);
-    if (backup)
-        return { text: backup, provider: 'MyMemory' };
-    return null;
-}
-/** Google gtx 免费端点（无 Key；sl=auto 自动检测源语种） */
-async function viaGtx(rt, text, target) {
-    const url = 'https://translate.googleapis.com/translate_a/single' +
-        `?client=gtx&sl=auto&dt=t&tl=${encodeURIComponent(target)}` +
-        `&q=${encodeURIComponent(text.slice(0, 2000))}`;
-    try {
-        const res = await rt.http.get(url, {
-            timeout: 15000,
-            headers: { 'User-Agent': rt.config.userAgent },
-        });
-        const data = res.data;
-        // gtx 响应形如 [[["译文","原文",null,null,10]],null,"fr",...]
-        if (Array.isArray(data?.[0])) {
-            const out = data[0].map((seg) => (typeof seg?.[0] === 'string' ? seg[0] : '')).join('').trim();
-            if (out)
-                return out;
-        }
-        (0, logger_1.debugLog)('gtx 翻译响应结构异常，尝试备用通道');
-        return null;
-    }
-    catch (e) {
-        (0, logger_1.debugLog)(`gtx 翻译失败：${e?.message || e}`);
-        return null;
-    }
-}
-/** MyMemory 备用（免费无 Key；需已知源语种，不支持 auto） */
-async function viaMyMemory(rt, text, target, sourceLang) {
-    const sl = normalizeLang(sourceLang);
-    if (!sl)
-        return null;
-    const tl = target.toLowerCase();
-    const url = 'https://api.mymemory.translated.net/get' +
-        `?q=${encodeURIComponent(text.slice(0, 500))}&langpair=${encodeURIComponent(sl + '|' + tl)}`;
-    try {
-        const res = await rt.http.get(url, { timeout: 15000, headers: { 'User-Agent': rt.config.userAgent } });
-        const out = res.data?.responseData?.translatedText;
-        if (typeof out === 'string' && out.trim() && !/^MYMEMORY WARNING/i.test(out))
-            return out.trim();
-        (0, logger_1.debugLog)('MyMemory 翻译响应异常，放弃译文');
-        return null;
-    }
-    catch (e) {
-        logger_1.logger.info(`推文翻译失败（跳过译文继续发送）：${e?.message || e}`);
-        return null;
-    }
-}
-function normalizeLang(lang) {
-    if (!lang)
-        return null;
-    const l = lang.toLowerCase();
-    if (l === 'und' || l === 'zxx')
-        return null;
-    if (l.startsWith('zh'))
-        return 'zh-CN';
-    return l.split('-')[0];
-}

package/lib/index.d.ts

@@ -16,14 +16,10 @@ export * from './utils/concurrency';
 export * from './utils/field-mapping';
 export * from './utils/image-size';
 export * from './utils/tls-client';
-export * from './utils/gif';
-export * from './utils/merge';
 export * from './engine/gateway';
 export * from './engine/config';
 export * from './engine/platform-config';
 export * from './engine/translate';
-export * from './engine/twitter';
-export * from './engine/twitter-user';
 export * from './engine/parser';
 export * from './engine/fetcher';
 export * from './engine/runtime';

package/lib/index.js

@@ -32,14 +32,10 @@ __exportStar(require("./utils/concurrency"), exports);
 __exportStar(require("./utils/field-mapping"), exports);
 __exportStar(require("./utils/image-size"), exports);
 __exportStar(require("./utils/tls-client"), exports);
-__exportStar(require("./utils/gif"), exports);
-__exportStar(require("./utils/merge"), exports);
 __exportStar(require("./engine/gateway"), exports);
 __exportStar(require("./engine/config"), exports);
 __exportStar(require("./engine/platform-config"), exports);
 __exportStar(require("./engine/translate"), exports);
-__exportStar(require("./engine/twitter"), exports);
-__exportStar(require("./engine/twitter-user"), exports);
 __exportStar(require("./engine/parser"), exports);
 __exportStar(require("./engine/fetcher"), exports);
 __exportStar(require("./engine/runtime"), exports);

package/lib/platform.d.ts

@@ -1,9 +1,22 @@
+import type { AxiosInstance } from 'axios';
+import type { ParsedData } from './types';
 import { type ConfigContribution } from './config';
+/** 平台原生解析上下文（fetcher 透传：HTTP 实例、配置、GraphQL GET 器） */
+export interface PlatformParseContext {
+    http: AxiosInstance;
+    config: any;
+    /** TLS 指纹 GET 器（tlsget-rs；平台实现用于鉴权 GraphQL） */
+    getGraphql?: (url: string, opts: any) => Promise<{
+        status: number;
+        data: any;
+    }>;
+}
 /**
  * 平台定义契约：每个平台的自描述单元，是「每平台一个包」的基础。
  *
- * 一个 PlatformDefinition 应自包含该平台的全部静态信息（链接规则、专属 API、
- * 提示等）；动态解析逻辑（normalize/parseNative）在后续阶段以可选钩子加入。
+ * 一个 PlatformDefinition 自包含该平台的全部静态信息（链接规则、专属 API、
+ * 提示等）；有原生解析能力的平台（如 X/Twitter 的 syndication/GraphQL 路径）
+ * 通过 parse/translate 钩子提供实现——core 只调度，不持有平台实现。
  */
 export interface PlatformDefinition {
     /** 平台类型标识（与 config.platformEnabled 的键一致） */
@@ -23,6 +36,13 @@ export interface PlatformDefinition {
     label?: string;
     /** 解析失败时的平台特定引导提示 */
     hints?: string[];
+    /** 原生解析钩子：不经网关，由平台包自实现（如 X syndication/GraphQL） */
+    parse?(url: string, ctx: PlatformParseContext): Promise<ParsedData>;
+    /** 原生翻译钩子（如 X 网页同源 Grok 翻译）；失败/不支持返回 null 回落通用翻译 */
+    translate?(ctx: PlatformParseContext, url: string, text: string, target: string): Promise<{
+        text: string;
+        sourceLang?: string;
+    } | null>;
 }
 /**
  * 由平台定义聚合出「平台相关配置」（平台开关 / 专属 API 优先）。

package/lib/utils/merge.d.ts

@@ -28,7 +28,10 @@ export interface SeamVerdict {
     /** 结论文案 */
     reason: string;
 }
-/** 内容验证：所有接缝（趋势+纹理）均通过才成立；返回最大接缝比值与逐缝证据 */
+/** 内容验证：所有接缝（趋势+纹理）均通过才成立；接缝总数 ≥3 时允许至多一条
+ *  「边界容差缝」（比值 ∈ [3,5)——平台独立重压缩的典型错位幅度；多条缝相互
+ *  印证才可信，2 缝场景证据不足不放行；平坦不可验证缝不参与容差）。
+ *  返回最大接缝比值与逐缝证据。 */
 export declare function verifyLayout(layout: MergeLayout, grays: Buffer[]): {
     pass: boolean;
     score: number;

package/lib/utils/merge.js

@@ -37,6 +37,12 @@ const COL_LEN = 64;
 /** 接缝差异 / 内部自然差异 的判定阈值（母图切片 ≈1，无关图片 ≫1；下限 3 防平坦图除零） */
 const BOUNDARY_THRESH = 3.0;
 const MAD_FLOOR = 3.0;
+/** 单缝边界容差：平台（如 X）对各分片独立重压缩会让个别接缝低频轻微错位。
+ *  仅当接缝总数 ≥3（≥4 图，多条缝相互印证）且恰好一条落在
+ *  [BOUNDARY_THRESH, BORDERLINE_THRESH)、其余全部通过时放行；平坦不可验证缝不参与容差 */
+const BORDERLINE_THRESH = 5.0;
+const BORDERLINE_MAX = 1;
+const BORDERLINE_MIN_SEAMS = 3;
 /** 边界带纹理能量下限：低于此值视为「不可验证接缝」（相似背景/平边照片会骗过亮度对比） */
 const TEXTURE_MIN = 4.0;
 /* ---------- 尺寸候选 ---------- */
@@ -184,7 +190,10 @@ function seamVerdictH(a, b, from, to) {
         [colOf(b, 2), colOf(b, 1)],
     ]);
 }
-/** 内容验证：所有接缝（趋势+纹理）均通过才成立；返回最大接缝比值与逐缝证据 */
+/** 内容验证：所有接缝（趋势+纹理）均通过才成立；接缝总数 ≥3 时允许至多一条
+ *  「边界容差缝」（比值 ∈ [3,5)——平台独立重压缩的典型错位幅度；多条缝相互
+ *  印证才可信，2 缝场景证据不足不放行；平坦不可验证缝不参与容差）。
+ *  返回最大接缝比值与逐缝证据。 */
 function verifyLayout(layout, grays) {
     const seams = [];
     const n = grays.length;
@@ -208,7 +217,11 @@ function verifyLayout(layout, grays) {
     if (!seams.length)
         return { pass: false, score: Infinity, seams };
     const worst = Math.max(...seams.map((v) => v.score));
-    return { pass: seams.every((v) => v.ok), score: worst, seams };
+    const failed = seams.filter((v) => !v.ok);
+    const borderline = failed.filter((v) => v.score < BORDERLINE_THRESH);
+    const pass = seams.every((v) => v.ok)
+        || (seams.length >= BORDERLINE_MIN_SEAMS && borderline.length <= BORDERLINE_MAX && failed.length === borderline.length);
+    return { pass, score: worst, seams };
 }
 /** 内容识别：候选布局逐一经接缝连续性验证，取通过者中比值最小的一个 */
 function detectMergeLayout(sizes, grays) {
@@ -232,8 +245,9 @@ function pickMergeLayout(sizes, grays) {
     let best = null;
     for (const c of candidates) {
         const { pass, score, seams } = verifyLayout(c, grays);
+        const tolerated = seams.filter((v) => !v.ok).length;
         const detail = seams.map((v) => `[${v.dir === 'V' ? '竖' : '横'}缝 ${v.from}→${v.to}] ${v.reason}`).join('；');
-        (0, logger_1.debugLog)(`同源合并证据·${layoutName(c)}：${pass ? '通过' : '拒绝'}，worst=${score === Infinity ? '∞' : score.toFixed(2)} ⟶ ${detail}`);
+        (0, logger_1.debugLog)(`同源合并证据·${layoutName(c)}：${pass ? '通过' : '拒绝'}${pass && tolerated ? `（含 ${tolerated} 条边界容差缝）` : ''}，worst=${score === Infinity ? '∞' : score.toFixed(2)} ⟶ ${detail}`);
         if (pass && (!best || score < best.score))
             best = { layout: c, score, seams };
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@sns-parse/core",
-  "version": "0.4.0-alpha.8+upstream.1.6.7",
+  "version": "0.5.0-alpha.1+upstream.1.6.7",
   "description": "sns-parse 核心：契约、宿主抽象、配置 DSL 与解析引擎（fetcher/parser/翻译/X 原生解析/合并/GIF/TLS 指纹客户端）",
   "main": "lib/index.js",
   "types": "lib/index.d.ts",