@yfwu2020/dsh-selection-explain 0.9.1 → 0.10.0

package/scripts/build.sh

@@ -126,5 +126,22 @@ node --check src/client/index.js
 mkdir -p lib
 cp src/client/index.js lib/client.js
 
+# ── ⑤ 原生探针（macOS 专用）──
+# 「检测输入法正在语音输入」靠读 CoreAudio 的进程对象列表（macOS 14.4+），
+# Node 没有 FFI，所以编一个小二进制放进 lib/native/，host 需要时 spawn 它
+# （见 src/index.ts 里的 micPresence）。
+# 编不出来**不算构建失败**：功能降级成 available:false（和"没装识别服务"一个待遇），
+# 其余功能一律不受影响；非 macOS 直接跳过。
+mkdir -p lib/native
+if [ "$(uname -s)" = "Darwin" ] && command -v clang >/dev/null 2>&1; then
+  if clang -O2 -framework CoreAudio -framework CoreFoundation native/mic-probe.c -o lib/native/mic-probe; then
+    echo "=== 原生探针：lib/native/mic-probe ==="
+  else
+    echo "build: 原生探针编译失败 —— 麦克风占用检测将不可用（不影响其它功能）" >&2
+  fi
+else
+  echo "build: 跳过原生探针（非 macOS 或没有 clang）—— 麦克风占用检测不可用"
+fi
+
 echo "=== 构建完成 ==="
 ls -l lib

package/scripts/fixtures/fake-mic-probe.sh

@@ -0,0 +1,9 @@
+#!/bin/sh
+# 假探针（宿主生命周期测试用）：只记两笔 —— 起来了 / 被杀了。
+# 真探针要读 CoreAudio，测试里既没必要也跑不稳；这里要验的是**进程什么时候在**。
+echo "start $*" >> "$DSH_SEL_FAKE_PROBE_LOG"
+echo '{"capturing":false,"processes":[]}'
+trap 'echo stop >> "$DSH_SEL_FAKE_PROBE_LOG"; exit 0' TERM
+# 注意：POSIX sh 里 trap 要等**当前前台命令**跑完才执行，所以这个等待必须短 ——
+# 用 sleep 1 的话，SIGTERM 之后最多要 1 秒才写得出 stop，测试会误判成"没停"。
+while true; do sleep 0.1; done

package/scripts/smoke-panel.mjs

@@ -49,6 +49,9 @@ const PAGE = `<!doctype html>
 </style></head>
 <body>
 <div id="doc"><p id="docp">Dev: the migration ran long, so we ship Wednesday.</p></div>
+<!-- "别处正在打字"的输入框：必须 fixed 定位 —— 放进文档流会挪动上面那段文字的坐标，
+     而这一页里有一族"依赖坐标的划词用例"（见下面 ① 的注释），挪一下就会撞红。 -->
+<textarea id="other" style="position:fixed;right:8px;bottom:8px;width:150px;height:34px">别处正在打字</textarea>
 <div id="mount"></div>
 <pre id="out">PENDING</pre>
 <script>
@@ -91,12 +94,18 @@ function sse(events) {
   var body = events.map(function (e) { return 'data: ' + JSON.stringify(e) + '\\n\\n' }).join('')
   return new Response(body, { headers: { 'content-type': 'text/event-stream' } })
 }
+// 麦克风占用：默认"没人在录"。⑫ 交接用例要它报"豆包在录"才能把语音卡唤出来。
+var micState = { ok: true, available: true, capturing: false, processes: [], reason: '' }
 var pillPosStore = null // 内存版 host 存储（/api/pill）
 var panelSizeStore = null // 内存版 host 存储（/api/panel，只存尺寸）
 window.fetch = function (input, init) {
   var url = String(input)
   var body = {}
   try { body = init && init.body ? JSON.parse(String(init.body)) : {} } catch (error) { body = {} }
+  if (url.indexOf('/selection-explain/api/mic') >= 0) {
+    window.__micHits = (window.__micHits || 0) + 1
+    return Promise.resolve(new Response(JSON.stringify(micState), { headers: { 'content-type': 'application/json' } }))
+  }
   if (url.indexOf('/selection-explain/api/ping') >= 0) {
     return Promise.resolve(new Response(JSON.stringify({ ok: true, route: { provider: 'fixture', model: 'fixture' }, reasoningEffortByStage: { translation: 'low', detail: 'high', chat: 'high' }, limits: {} }), { headers: { 'content-type': 'application/json' } }))
   }
@@ -285,8 +294,23 @@ async function main() {
     var range = selectIn(target.node, target.needle)
     check(label + '：能建出真选区', !!range, range ? range.toString().slice(0, 24) : '未找到目标文字')
     if (!range) return null
-    mouseUpOn(target.node)
-    var shown = await waitFor(function () { return hook.quoteState().visible === true }, 1500)
+    // ⚠️ 合成选区 vs 面板渲染有竞态：面板晚一步重绘会把刚选中的节点换掉，插件据此判定
+    // "那段文字没了"并收起浮标（这是对的），用例于是偶发红 —— 真浏览器冒烟在 CI 与本机
+    // 都复现过（改动前的基线同样 192/2）。所以这里**重试合成选区**（最多 3 次，每次都重新
+    // 取节点、重建 range），而不是放宽断言。
+    var shown = false
+    for (var attempt = 0; attempt < 3 && !shown; attempt += 1) {
+      if (attempt > 0) {
+        await settlePanel()
+        var fresh = find()
+        if (!fresh || !fresh.node) break
+        target = fresh
+        range = selectIn(target.node, target.needle)
+        if (!range) break
+      }
+      mouseUpOn(target.node)
+      shown = await waitFor(function () { return hook.quoteState().visible === true }, 1500)
+    }
     check(label + '：浮出「❝ 引用」', shown === true, JSON.stringify(hook.quoteState()))
     if (!shown) return null
     check(label + '：浮标在最上层（不被面板盖住）', onTop(quoteBtn), '')
@@ -613,15 +637,27 @@ async function main() {
     var node
     while ((node = walker.nextNode())) if (node.nodeValue.trim()) texts.push(node)
     if (texts.length && to.firstChild) {
-      var range = document.createRange()
-      range.setStart(texts[0], 0)
-      var endNode = to.firstChild.nodeType === 3 ? to.firstChild : to
-      range.setEnd(endNode, Math.min(4, (endNode.nodeValue || '').length))
-      var sel = window.getSelection()
-      sel.removeAllRanges()
-      sel.addRange(range)
-      mouseUpOn(to)
-      var shown = await waitFor(function () { return hook.quoteState().visible === true }, 1500)
+      // 与 quoteOnce 同一套重试（合成选区 vs 面板渲染的竞态）
+      var shown = false
+      for (var attempt2 = 0; attempt2 < 3 && !shown; attempt2 += 1) {
+        if (attempt2 > 0) await settlePanel()
+        var fromNow = sectionContent('translation')
+        var toNow = sectionContent('detail')
+        var textsNow = []
+        var walker2 = document.createTreeWalker(fromNow, NodeFilter.SHOW_TEXT, null)
+        var nodeNow
+        while ((nodeNow = walker2.nextNode())) if (nodeNow.nodeValue.trim()) textsNow.push(nodeNow)
+        if (!textsNow.length || !toNow.firstChild) break
+        var range = document.createRange()
+        range.setStart(textsNow[0], 0)
+        var endNode = toNow.firstChild.nodeType === 3 ? toNow.firstChild : toNow
+        range.setEnd(endNode, Math.min(4, (endNode.nodeValue || '').length))
+        var sel = window.getSelection()
+        sel.removeAllRanges()
+        sel.addRange(range)
+        mouseUpOn(toNow)
+        shown = await waitFor(function () { return hook.quoteState().visible === true }, 1500)
+      }
       check('跨节选择：也浮出「❝ 引用」', shown === true, JSON.stringify(hook.quoteState()))
       if (shown) {
         clickOn(quoteBtn)
@@ -1441,11 +1477,199 @@ async function main() {
     await sleep(30)
   }
 
+
+  // 内容把面板撑出视口 → 必须自动收回（回复框不能被顶到屏幕外）
+  //
+  // 真实场景：开窗那一刻"放得下吗"是按当时的高度算的（常常只有一行翻译在流），
+  // 之后正文长到 max-height，面板从固定的 top 往下挂 —— 它是 position:fixed、页面不滚，
+  // 顶出去那截（回复框）就点不到了。
+  //
+  // ⚠️ 复核挂在**绘制之后**（内容这时才在 DOM 里）。所以这里灌完内容要再走一次真实绘制，
+  // 不能用 askValue 那类只改状态、不重绘的钩子（踩过：断言量到的一直是注入前的旧位置）。
+  {
+    hook.open('溢出探测', '上下文片段', '冒烟')
+    await sleep(140)
+    var panelEl3 = document.querySelector('.dsh-sel-panel')
+    var bodyEl3 = panelEl3.querySelector('.dsh-sel-body')
+    var filler = document.createElement('div')
+    filler.style.height = Math.round(window.innerHeight * 0.9) + 'px'
+    filler.style.flex = '0 0 auto'
+    bodyEl3.appendChild(filler)
+    // 再开一次 = 走一遍真实的 showPanel + paint（内容已经在 DOM 里，复核这帧就能看见）
+    hook.open('溢出探测', '上下文片段', '冒烟')
+    await sleep(180)
+    var overRect = panelEl3.getBoundingClientRect()
+    check('内容把面板撑出视口时自动收回可视区（回复框不会被顶到屏幕外）',
+      overRect.bottom <= window.innerHeight - 2,
+      'bottom=' + Math.round(overRect.bottom) + ' vh=' + window.innerHeight)
+    filler.remove()
+    hook.open('溢出探测', '上下文片段', '冒烟')
+    await sleep(80)
+    hook.close()
+    await sleep(40)
+  }
+
+  // ⑫ 卡片 → 小窗的交接（方案二「缩放长出」）：真浏览器里量真矩形 + 真过渡。
+  //    桩 DOM 里只能验"写进去的 transform 字符串"，这里补上"浏览器真的从那一格长出来"。
+  {
+    hook.close()
+    await sleep(60)
+    var docp4 = document.getElementById('docp')
+    selectIn(docp4, 'the migration ran long')
+    mouseUpOn(docp4)
+    // 让 host 报"豆包在录"：插件轮询到就把卡片弹出来（这是真实的触发路径）
+    micState = { ok: true, available: true, capturing: true, processes: [{ pid: 513, bundleId: 'com.bytedance.inputmethod.doubaoime', name: 'DoubaoIme' }], reason: '' }
+    var cardEl = await waitFor(function () {
+      var el = document.querySelector('.dsh-sel-vcard')
+      return el && getComputedStyle(el).display !== 'none' && el.getBoundingClientRect().width > 0 ? el : null
+    }, 2500)
+    check('（准备）输入法开麦 → 语音卡自己弹出来', !!cardEl, cardEl ? '' : '没等到卡片')
+    if (cardEl) {
+      var vbox = cardEl.querySelector('.dsh-sel-vcard-box')
+      var vsend = cardEl.querySelector('.dsh-sel-vcard-send')
+      vbox.value = '这是 在推迟 还是提前'
+      vbox.dispatchEvent(new Event('input', { bubbles: true }))
+      await sleep(60)
+      var cardRect = cardEl.getBoundingClientRect()
+      var panelEl4 = document.querySelector('.dsh-sel-panel')
+      // ⚠️ 不能用"点完下一帧读计算值"来抓起点：这个冒烟页跑在 --virtual-time-budget 下，
+      //    虚拟时钟会往前跳，rAF 回来时过渡可能已经跑完了（实测读到 matrix=none）。
+      //    改成**记录 style 属性的每一次写入**（MutationObserver 的 attributeOldValue 给的是
+      //    写之前的值）—— 于是"起点把面板压到卡片那一格"这件事与时钟无关，直接可读可验。
+      var styleWrites = []
+      var mo = new MutationObserver(function (records) {
+        for (var i = 0; i < records.length; i += 1) styleWrites.push(records[i].oldValue || '')
+      })
+      mo.observe(panelEl4, { attributes: true, attributeFilter: ['style'], attributeOldValue: true })
+      clickOn(vsend)
+      // 期望值必须在**同一个任务里**读完：插件也是在这次点击里量的几何
+      // （openPanelWith 内层跑完、内容已换新 → 量高度；随后流式回答才会把面板撑高）。
+      // 面板的 offset* 是布局值，不受正在跑的 transform 影响。
+      var expW = panelEl4.offsetWidth
+      var expH = panelEl4.offsetHeight
+      var expLeft = panelEl4.offsetLeft
+      var expTop = panelEl4.offsetTop
+      await sleep(150)
+      mo.disconnect()
+      var startStyle = null
+      for (var wi = 0; wi < styleWrites.length; wi += 1) {
+        if (styleWrites[wi].indexOf('transform: translate(') >= 0) startStyle = styleWrites[wi]
+      }
+      // ⚠️ 页面脚本是**模板字符串**里的：正则里的 \d / \( 会被模板字面量吃掉反斜杠
+      //    （写成 [\d.] 到了页面里变成 [d.]，永远匹配不上 —— 实测就是这么红的）。
+      //    所以这里只用不带反斜杠的字符类 [0-9.] 取数，并且从 transform 那一段开始取，
+      //    免得把 z-index / left / top 上的数字也吃进来。
+      var seg = startStyle ? startStyle.slice(startStyle.indexOf('transform: translate(')) : ''
+      var nums = seg.match(/-?[0-9.]+/g) || []
+      var m = nums.length >= 4 ? [seg.slice(0, 60), nums[0], nums[1], nums[2], nums[3]] : null
+      // 期望值：面板的**布局**值（offset*，不受动画影响）与卡片矩形的比值/差值
+      var sx = cardRect.width / expW
+      var sy = cardRect.height / expH
+      var dx = cardRect.left - expLeft
+      var dy = cardRect.top - expTop
+      check('交接起点：面板被压到卡片那一格（缩放 + 位移，量的是真矩形）',
+        !!m && Math.abs(Number(m[3]) - sx) < 0.01 && Math.abs(Number(m[4]) - sy) < 0.01 &&
+          Math.abs(Number(m[1]) - dx) < 1 && Math.abs(Number(m[2]) - dy) < 1,
+        m ? '起点=' + m[0] + ' 期望≈translate(' + dx.toFixed(1) + 'px,' + dy.toFixed(1) + 'px) scale(' + sx.toFixed(4) + ',' + sy.toFixed(4) + ')'
+          : '没观察到起点写入；style 写入次数=' + styleWrites.length)
+      check('交接期间 transform-origin 在左上角（否则缩放会把面板甩出去）',
+        !!startStyle && startStyle.indexOf('transform-origin: 0px 0px') >= 0,
+        startStyle ? startStyle.slice(0, 120) : '（没抓到）')
+      var sawTransition = styleWrites.some(function (v) { return v.indexOf('transition: transform 260ms cubic-bezier(0.2, 0.8, 0.2, 1)') >= 0 })
+      check('交接只动 transform、260ms 同一族曲线（不动 width/left/top）',
+        sawTransition || String(panelEl4.style.transition).indexOf('transform 260ms') === 0,
+        '写入=' + JSON.stringify(styleWrites.map(function (v) { return (v.match(/transition:[^;]*/) || [''])[0] }).filter(Boolean).slice(0, 2)))
+      await sleep(520)
+      var settledMatrix = getComputedStyle(panelEl4).transform
+      check('交接结束：回到恒等（无 transform）',
+        settledMatrix === 'none' || settledMatrix === 'matrix(1, 0, 0, 1, 0, 0)', String(settledMatrix))
+      check('交接收尾：内联 transform / transition / transformOrigin 清干净',
+        !panelEl4.style.transform && !panelEl4.style.transition && !panelEl4.style.transformOrigin,
+        JSON.stringify({ tf: panelEl4.style.transform, tr: panelEl4.style.transition, og: panelEl4.style.transformOrigin }))
+      // 收尾：麦克风"松开"，别影响后面的用例
+      micState = { ok: true, available: true, capturing: false, processes: [], reason: '' }
+      await sleep(80)
+      hook.close()
+      await sleep(40)
+    }
+  }
+
+  // ⑬ 小窗开着时开麦 = 点一下「❝ 引用」（2026-10-09 定的行为）。
+  //    真浏览器里验的是**接线**：引用浮标亮着才轮到轮询、开麦后引用真的进了引用区、
+  //    焦点真的落到小窗输入框（IME 上屏要往那儿落）、而且**不弹语音卡**。
+  {
+    var recording = { ok: true, available: true, capturing: true, processes: [{ pid: 513, bundleId: 'com.bytedance.inputmethod.doubaoime', name: 'DoubaoIme' }], reason: '' }
+    var notRecording = { ok: true, available: true, capturing: false, processes: [], reason: '' }
+    micState = notRecording
+    hook.close()
+    await sleep(60)
+    hook.open('引用开麦用例', '开麦引用的上下文片段', '引用开麦')
+    await waitFor(function () { return hook.state().phase === 'done' }, 3000)
+    var quoteBtn = document.querySelector('.dsh-sel-quotebtn')
+    var quotesBox = document.querySelector('.dsh-sel-quotes')
+    var vcardEl = document.querySelector('.dsh-sel-vcard')
+    var askEl = document.querySelector('.dsh-sel-askbox')
+
+    // ① 没有引用浮标时不轮询（用户定的：探针只跟着浮标活）
+    var hitsIdle = window.__micHits || 0
+    await sleep(500)
+    check('没有引用浮标时不轮询麦克风', (window.__micHits || 0) === hitsIdle, hitsIdle + ' → ' + (window.__micHits || 0))
+
+    // ② 主界面划词 → 引用浮标亮 → 开始问
+    var docp5 = document.getElementById('docp')
+    selectIn(docp5, 'the migration ran long')
+    mouseUpOn(docp5)
+    var lit = await waitFor(function () {
+      return quoteBtn && quoteBtn.style.display !== 'none' && getComputedStyle(quoteBtn).display !== 'none'
+    }, 1500)
+    check('（前提）引用浮标亮着', lit === true, quoteBtn ? getComputedStyle(quoteBtn).display : '未找到浮标')
+    var hitsFloat = window.__micHits || 0
+    await sleep(500)
+    check('引用浮标亮着时才问麦克风', (window.__micHits || 0) > hitsFloat, hitsFloat + ' → ' + (window.__micHits || 0))
+
+    // ③ 开麦 → 引用挂进来 + 焦点进小窗输入框 + 不弹语音卡
+    var quotesBefore = (hook.quotes() || []).length
+    micState = recording
+    var quoted = await waitFor(function () { return (hook.quotes() || []).length > quotesBefore }, 2000)
+    var got = hook.quotes() || []
+    check('开麦 → 选中的那段自动挂进引用', quoted === true && /migration ran long/.test(got[got.length - 1].text), JSON.stringify(got.map(function (q) { return q.text })))
+    check('开麦 → 光标进了小窗输入框（输入法上屏的字落在这儿）',
+      document.activeElement === askEl, document.activeElement ? (document.activeElement.className || document.activeElement.tagName) : 'null')
+    check('开麦 → **不**弹语音卡（面板开着时字直接落进小窗）',
+      !vcardEl || getComputedStyle(vcardEl).display === 'none', vcardEl ? getComputedStyle(vcardEl).display : '没有卡片元素')
+    await sleep(120)
+    check('开麦 → 引用浮标自己收了', quoteBtn.style.display === 'none' || getComputedStyle(quoteBtn).display === 'none', quoteBtn.style.display)
+    check('开麦 → 引用区真的画出来了', quotesBox && quotesBox.getAttribute('data-show') === '1', quotesBox ? quotesBox.getAttribute('data-show') : '未找到引用区')
+
+    // ④ 别处正在打字 → 不加引用、不抢焦点（守卫，与语音卡那条完全一致）
+    micState = notRecording
+    await sleep(400)
+    var otherEl = document.getElementById('other')
+    otherEl.focus()
+    var docp6 = document.getElementById('docp')
+    selectIn(docp6, 'the migration ran long')
+    mouseUpOn(docp6)
+    await waitFor(function () { return quoteBtn && quoteBtn.style.display !== 'none' }, 1200)
+    var quotesGuard = (hook.quotes() || []).length
+    micState = recording
+    await sleep(600)
+    check('别处正在打字：不加引用', (hook.quotes() || []).length === quotesGuard, JSON.stringify((hook.quotes() || []).map(function (q) { return q.text })))
+    check('别处正在打字：不抢焦点（人家的听写不能被拽进小窗）',
+      document.activeElement === otherEl, document.activeElement ? (document.activeElement.id || document.activeElement.className || document.activeElement.tagName) : 'null')
+
+    // 收尾
+    micState = notRecording
+    if (otherEl) otherEl.blur()
+    hook.close()
+    await sleep(60)
+  }
+
   finish()
 }
 
 main().catch(function (error) {
   check('冒烟脚本自身没抛错', false, (error && error.message) || String(error))
+
   finish()
 })
 </script>