@goodandready/dsh-voice 0.8.17 → 0.8.19

package/lib/index.js

@@ -1,16 +1,16 @@
-// dsh-voice — хост-половина.
+// dsh-voice — host half.
 //
-// Два режима ввода голосом, у каждого своя цепочка провайдеров:
-//   dictation — браузер режет речь по паузам и шлёт куски, текст дописывается
-//               в строку ввода;
-//   message   — одна запись целиком, текст уходит агенту после окна отмены.
+// Two voice input modes, each with its own provider fallback chain:
+//   dictation — the browser cuts speech on pauses and posts chunks; text is
+//               appended to the composer;
+//   message   — one whole recording; text is sent after the cancel window.
 //
-// Роуты:
+// Routes:
 //   POST /dsh-voice/transcribe  {dataBase64, mimeType, mode} -> {ok, text, provider, tookMs}
 //   GET  /dsh-voice/status      -> {ok, whisperRunning, modes}
 //
-// Ключи провайдеров читаются на хосте через ctx.credentials и в браузер не
-// попадают.
+// Provider keys are resolved on the host via ctx.credentials and never reach
+// the browser.
 
 import z from '@deepseek-ai/schemastery'
 import { defineTool } from '@deepseek-ai/dsh-tools'
@@ -42,7 +42,7 @@ const ChainEntry = z.object({
     .description('Model override. Empty means the provider default.'),
 })
 
-// Свой провайдер: всё, что нужно, чтобы сходить в чужой OpenAI-совместимый API.
+// Custom provider: everything needed to call any OpenAI-compatible API.
 const CustomProvider = z.object({
   key: z.string().default('')
     .description('Name used in the chains above. Must differ from the built-in keys.'),
@@ -155,12 +155,6 @@ export const Config = z.object({
     .description('SenseVoice / sherpa-onnx model path or model identifier.'),
   sensevoiceAutostart: z.boolean().default(false)
     .description('Start the local SenseVoice / sherpa-onnx server process automatically on startup.'),
-  realtimeStreaming: z.boolean().default(false)
-    .description('Enable low-latency streaming recognition (OpenAI Realtime API or Sherpa-ONNX).'),
-  realtimeProvider: z.string().default('openai')
-    .description('Realtime streaming provider: "openai" (OpenAI Realtime API) or "sherpa-onnx" (local streaming).'),
-  realtimeModel: z.string().default('gpt-4o-realtime-preview')
-    .description('Realtime model identifier.'),
   visualizerStyle: z.union(['liquid-wave', 'dynamic-orb', 'bars', 'off']).default('liquid-wave')
     .description('Audio visualizer animation style in the recording pill: "liquid-wave", "dynamic-orb", "bars", or "off".'),
 })
@@ -174,7 +168,7 @@ function writeJson(res, code, body) {
   try {
     res.writeHead(code, { 'Content-Type': 'application/json', 'Cache-Control': 'no-store' })
     res.end(JSON.stringify(body))
-  } catch { /* сокет мог закрыться */ }
+  } catch { /* socket may already be closed */ }
 }
 
 function readBody(req, maxBytes) {
@@ -194,11 +188,10 @@ function readBody(req, maxBytes) {
 export function apply(ctx, baseConfig) {
   let child = null
 
-  // Карточка настроек правит namespace с именем плагина. Пока хост его не
-  // объявил через settings.register, снимок приходит пустым и нередактируемым:
-  // поля серые, цепочки пустые, сохранять некуда. Чтение через live() заодно
-  // означает, что правка применяется к следующему запросу, а не после
-  // перезапуска процесса.
+  // The settings card edits a namespace named after the plugin. Until the
+  // host registers it via settings.register the snapshot is empty and
+  // read-only. Reading through live() means edits apply to the next request
+  // instead of requiring a process restart.
   let getConfig = () => baseConfig
   const live = () => Config(structuredClone(getConfig() ?? {})) ?? baseConfig
 
@@ -212,7 +205,7 @@ export function apply(ctx, baseConfig) {
     try {
       const resolved = await ctx.credentials.resolve(credentialRef(ref))
       if (resolved && resolved.value) return resolved.value
-    } catch { /* падаем в окружение */ }
+    } catch { /* fall through to environment */ }
     return process.env[ref] || ''
   }
 
@@ -229,8 +222,8 @@ export function apply(ctx, baseConfig) {
   async function startWhisper() {
     const cfg = live()
     if (!cfg.autoStart) return false
-    // Без пути к модели запускать нечего: пакет не знает, где она лежит у
-    // конкретного пользователя, и молча стартовать чужой бинарь не должен.
+    // Without a model path there is nothing to start: the package cannot know
+    // where a user's model lives and must not launch a random binary.
     if (!cfg.whisperModel) return false
     if (await whisperAlive()) return true
     try {
@@ -251,7 +244,7 @@ export function apply(ctx, baseConfig) {
 
   startWhisper().catch(() => {})
 
-  // SenseVoice-ONNX / Sherpa-ONNX: автозапуск и проверка здоровья.
+  // SenseVoice-ONNX / Sherpa-ONNX: autostart and health check.
   let sensevoiceChild = null
 
   async function sensevoiceAlive() {
@@ -263,7 +256,7 @@ export function apply(ctx, baseConfig) {
       const t = setTimeout(() => controller.abort(), 2000)
       const res = await fetch(base + '/', { signal: controller.signal })
       clearTimeout(t)
-      return res.ok || res.status === 404 // sherpa-onnx отвечает 404 на /, но живой
+      return res.ok || res.status === 404 // sherpa-onnx answers 404 on / but is alive
     } catch { return false }
   }
 
@@ -292,15 +285,15 @@ export function apply(ctx, baseConfig) {
 
   startSensevoice().catch(() => {})
 
-  // Статистика здоровья и задержек провайдеров (Latency & Health Dashboard).
+  // Provider health and latency stats (Latency & Health Dashboard).
   const statsTracker = createStatsTracker()
 
-  // Общий путь распознавания: собрать провайдеров по цепочке режима и пройти её.
+  // Shared recognition path: build providers from the mode chain and run it.
   async function transcribe(modeCfg, bytes, mime, signal, contextWords) {
     const cfg = live()
     const customKeys = (Array.isArray(cfg.customProviders) ? cfg.customProviders : [])
       .map((c) => String(c && c.key || '').trim()).filter(Boolean)
-    // Режим «только локальный whisper»: цепочка обрезается до него.
+    // localOnly mode: restrict the chain to local-whisper.
     const chain = cfg.localOnly
       ? (modeCfg.chain || []).filter((e) => e.provider === 'local-whisper')
       : (modeCfg.chain || [])
@@ -309,8 +302,8 @@ export function apply(ctx, baseConfig) {
     for (const entry of chain) {
       if (!KNOWN_KEYS.includes(entry.provider) && !customKeys.includes(entry.provider)) continue
       order.push(entry.provider)
-      // Для своего провайдера модель по умолчанию живёт в его описании,
-      // подставит makeProviders — здесь пусто означает «бери оттуда».
+      // Custom provider default models live in their spec; makeProviders fills
+      // them in — empty here means "use the provider default".
       models[entry.provider] = entry.model || DEFAULT_MODELS[entry.provider] || ''
     }
     if (cfg.localOnly && order.length === 0) {
@@ -328,8 +321,8 @@ export function apply(ctx, baseConfig) {
     return runChain(order, providers, statsTracker.record)
   }
 
-  // Полировка транскрипта (#35) с поддержкой локального LLM (#47).
-  // Ошибка/таймаут не блокирует: возвращаем сырой текст.
+  // Transcript polish (#35) with local LLM support (#47).
+  // Errors/timeouts do not block: return the raw text.
   async function polishText(text, modeCfg, signal) {
     const enable = modeCfg && (modeCfg.polish === true || modeCfg.polishSend === true)
     if (!enable || !text) return text
@@ -340,7 +333,7 @@ export function apply(ctx, baseConfig) {
       + '"ээ", "ну", "как бы"). Keep the original language, wording and meaning. '
       + 'Reply with the polished text only:\n\n' + text
     try {
-      // Локальный OpenAI-совместимый эндпоинт (#47), когда задан.
+      // Local OpenAI-compatible endpoint (#47) when configured.
       if (cfg.polishBaseUrl) {
         const headers = { 'content-type': 'application/json' }
         if (cfg.polishKeyEnv) {
@@ -359,11 +352,11 @@ export function apply(ctx, baseConfig) {
           && data.choices[0].message.content
         return (pick && String(pick).trim()) || text
       }
-      // Штатная модель харнесса (DSH 0.1.2-alpha.1 API).
+      // Harness model (DSH 0.1.2-alpha.1 API).
       const llm = ctx.llm
       if (!llm || typeof llm.stream !== 'function') return text
-      // provider/model обязательны в GenerateOptions; берём дефолт из
-      // agentDefaultModel, если не заданы явно.
+      // provider/model are required in GenerateOptions; fall back to
+      // agentDefaultModel when not set explicitly.
       const sel = (ctx.get && ctx.get('agentDefaultModel') && ctx.get('agentDefaultModel').currentSelection)
         ? ctx.get('agentDefaultModel').currentSelection()
         : null
@@ -383,8 +376,8 @@ export function apply(ctx, baseConfig) {
     } catch { return text }
   }
 
-  // Чистые голосовые команды сессии (#48). Возвращает название команды или null.
-  // Распознаются на сервере, чтобы не попадать в текст композера.
+  // Clean session voice commands (#48). Returns the command name or null.
+  // Matched on the host so they never enter the composer text.
   const SESSION_COMMANDS = [
     { re: /^(отправь|отправить|пошли|send)\s*[.!?]*$/i, cmd: 'send' },
     { re: /^(отмени|отмена|cancel|отменить)\s*[.!?]*$/i, cmd: 'cancel' },
@@ -409,7 +402,7 @@ export function apply(ctx, baseConfig) {
       writeJson(res, 200, {
         ok: true,
         whisperRunning: await whisperAlive(),
-        // Клавиша нужна браузерной половине: она вешает обработчик удержания.
+        // The hotkey is needed by the browser half: it installs the hold handler.
         hotkey: cfg.hotkey,
         providers: KNOWN_KEYS.concat(
           (Array.isArray(cfg.customProviders) ? cfg.customProviders : [])
@@ -442,9 +435,6 @@ export function apply(ctx, baseConfig) {
         sensevoiceUrl: cfg.sensevoiceUrl,
         sensevoiceAutostart: !!cfg.sensevoiceAutostart,
         deepgramBaseUrl: cfg.deepgramBaseUrl || 'https://api.deepgram.com',
-        realtimeStreaming: !!cfg.realtimeStreaming,
-        realtimeProvider: cfg.realtimeProvider || 'openai',
-        realtimeModel: cfg.realtimeModel || 'gpt-4o-realtime-preview',
         visualizerStyle: cfg.visualizerStyle || 'liquid-wave',
         providerStats: statsTracker.get(),
       })
@@ -460,7 +450,7 @@ export function apply(ctx, baseConfig) {
       let raw
       try { raw = await readBody(req, cfg.maxFileBytes + 1024 * 1024) } catch (e) { writeJson(res, 400, { ok: false, error: { code: 'body', message: e.message } }); return }
       let payload = {}
-      try { payload = JSON.parse(raw.toString('utf8') || '{}') } catch { /* пусто */ }
+      try { payload = JSON.parse(raw.toString('utf8') || '{}') } catch { /* empty */ }
       const text = typeof payload.text === 'string' ? payload.text.trim() : ''
       if (!text) { writeJson(res, 400, { ok: false, error: { code: 'empty', message: 'text required' } }); return }
       const controller = new AbortController()
@@ -503,12 +493,12 @@ export function apply(ctx, baseConfig) {
         writeJson(res, 413, { ok: false, error: { code: 'too-large', message: `audio is ${bytes.length} bytes, max ${cfg.maxFileBytes}` } }); return
       }
 
-      // Локальный whisper в цепочке — поднимаем сервер заранее, иначе первый
-      // же чанк уйдёт в отказ, пока сервер стартует.
+      // Local whisper in the chain — start the server up front, otherwise the
+      // first chunk fails while the server is still booting.
       if ((modeCfg.chain || []).some((e) => e.provider === 'local-whisper') && !(await whisperAlive())) {
         await startWhisper()
       }
-      // Аналогично для SenseVoice-ONNX / Sherpa-ONNX.
+      // Same for SenseVoice-ONNX / Sherpa-ONNX.
       if ((modeCfg.chain || []).some((e) => e.provider === 'sensevoice') && !(await sensevoiceAlive())) {
         await startSensevoice()
       }
@@ -517,8 +507,8 @@ export function apply(ctx, baseConfig) {
       const timer = setTimeout(() => controller.abort(), cfg.timeoutMs)
       try {
         const out = await transcribe(modeCfg, bytes, mime, controller.signal, payload.contextWords)
-        // Голосовые команды сессии (#48): чистые «отправь/отмени/стоп/продолжи»
-        // не становятся текстом, а возвращаются командой для браузера.
+        // Session voice commands (#48): clean "send/cancel/stop/continue"
+        // become a command for the browser instead of composer text.
         if (payload.mode === 'message' && modeCfg.sessionCommands === true) {
           const cmd = sessionCommand(out.text)
           if (cmd) { writeJson(res, 200, { ok: true, command: cmd, provider: out.provider, tookMs: out.tookMs }); return }
@@ -586,226 +576,8 @@ export function apply(ctx, baseConfig) {
     }),
   )
 
-  // ─── Realtime WebSocket Bridge ───────────────────────────────────────
-  // Клиент открывает WS на /dsh-voice/realtime, шлёт бинарные аудио-чанки.
-  // Хост открывает WS к провайдеру (OpenAI Realtime API или совместимому),
-  // пересылает аудио и получает текстовые дельты обратно клиенту.
-  // API-ключи никогда не покидают хост.
-  const realtimeSessions = new Set()
-
-  ctx.effect(() => ctx.webServer.register({
-    kind: 'exact',
-    path: '/dsh-voice/realtime',
-    handler: async (req, res) => {
-      const cfg = live()
-      if (!cfg.realtimeStreaming) {
-        writeJson(res, 403, { ok: false, error: { code: 'disabled', message: 'realtime streaming is disabled' } })
-        return
-      }
-      // Только WebSocket upgrade
-      if (!req.headers.upgrade || req.headers.upgrade.toLowerCase() !== 'websocket') {
-        writeJson(res, 426, { ok: false, error: { code: 'upgrade', message: 'WebSocket upgrade required' } })
-        return
-      }
-
-      // Получаем API-ключ для upstream-провайдера
-      const provider = cfg.realtimeProvider || 'openai'
-      let apiKey = ''
-      if (provider === 'openai') {
-        apiKey = await resolveKey('OPENAI_API_KEY')
-      }
-
-      // Определяем upstream WebSocket URL
-      let upstreamUrl
-      const model = cfg.realtimeModel || 'gpt-4o-realtime-preview'
-      if (provider === 'openai') {
-        upstreamUrl = `wss://api.openai.com/v1/realtime?model=${encodeURIComponent(model)}`
-      } else if (provider === 'sherpa-onnx') {
-        // Локальный sherpa-onnx WebSocket endpoint
-        const base = String(cfg.sensevoiceUrl || '').replace(/^http/, 'ws').replace(/\/api\/.*$/, '').replace(/\/v1\/.*$/, '')
-        upstreamUrl = base + '/ws/transcribe'
-      } else {
-        writeJson(res, 400, { ok: false, error: { code: 'provider', message: `unknown realtime provider: ${provider}` } })
-        return
-      }
-
-      // Upgrade клиентский запрос в WebSocket через ручной handshake
-      // Node.js http.Server не имеет встроенного WS — используем raw socket
-      const crypto = await import('node:crypto')
-      const wsKey = req.headers['sec-websocket-key']
-      if (!wsKey) {
-        res.writeHead(400); res.end('Missing Sec-WebSocket-Key'); return
-      }
-      const accept = crypto.createHash('sha1')
-        .update(wsKey + '258EAFA5-E914-47DA-95CA-5AB5ADF35F20')
-        .digest('base64')
-
-      res.writeHead(101, {
-        Upgrade: 'websocket',
-        Connection: 'Upgrade',
-        'Sec-WebSocket-Accept': accept,
-      })
-
-      const clientSocket = req.socket
-
-      // Простой WS frame parser/writer для бинарных и текстовых сообщений
-      function writeWsFrame(socket, data, opcode = 0x01) {
-        const payload = typeof data === 'string' ? Buffer.from(data, 'utf8') : data
-        const len = payload.length
-        let header
-        if (len < 126) {
-          header = Buffer.alloc(2)
-          header[0] = 0x80 | opcode
-          header[1] = len
-        } else if (len < 65536) {
-          header = Buffer.alloc(4)
-          header[0] = 0x80 | opcode
-          header[1] = 126
-          header.writeUInt16BE(len, 2)
-        } else {
-          header = Buffer.alloc(10)
-          header[0] = 0x80 | opcode
-          header[1] = 127
-          header.writeBigUInt64BE(BigInt(len), 2)
-        }
-        socket.write(Buffer.concat([header, payload]))
-      }
-
-      // Открываем upstream WebSocket через глобальный WebSocket (Node 22+)
-      let upstream = null
-      try {
-        const headers = {}
-        if (apiKey) headers['Authorization'] = `Bearer ${apiKey}`
-        if (provider === 'openai') headers['OpenAI-Beta'] = 'realtime=v1'
-        upstream = new WebSocket(upstreamUrl, { headers })
-      } catch (e) {
-        writeWsFrame(clientSocket, JSON.stringify({ type: 'error', message: String(e && e.message || e) }))
-        clientSocket.end()
-        return
-      }
-
-      const sessionId = crypto.randomUUID()
-      realtimeSessions.add(sessionId)
-
-      upstream.addEventListener('open', () => {
-        writeWsFrame(clientSocket, JSON.stringify({ type: 'session.created', sessionId }))
-        // Для OpenAI Realtime — отправить session.update с конфигурацией
-        if (provider === 'openai') {
-          upstream.send(JSON.stringify({
-            type: 'session.update',
-            session: {
-              modalities: ['text'],
-              input_audio_format: 'pcm16',
-              input_audio_transcription: { model: 'whisper-1' },
-              turn_detection: { type: 'server_vad' },
-            },
-          }))
-        }
-      })
-
-      upstream.addEventListener('message', (event) => {
-        // Пересылаем текстовые сообщения от upstream к клиенту
-        const msg = typeof event.data === 'string' ? event.data : event.data.toString()
-        try {
-          const parsed = JSON.parse(msg)
-          // Фильтруем и пересылаем только полезные события
-          if (parsed.type === 'conversation.item.input_audio_transcription.completed'
-            || parsed.type === 'response.audio_transcript.delta'
-            || parsed.type === 'response.audio_transcript.done'
-            || parsed.type === 'input_audio_buffer.speech_started'
-            || parsed.type === 'input_audio_buffer.speech_stopped'
-            || parsed.type === 'error') {
-            writeWsFrame(clientSocket, msg)
-          }
-        } catch {
-          // Не JSON — пересылаем как есть
-          writeWsFrame(clientSocket, msg)
-        }
-      })
-
-      upstream.addEventListener('error', () => {
-        writeWsFrame(clientSocket, JSON.stringify({ type: 'error', message: 'upstream connection error' }))
-      })
-
-      upstream.addEventListener('close', () => {
-        writeWsFrame(clientSocket, JSON.stringify({ type: 'session.closed' }))
-        try { clientSocket.end() } catch { /* socket уже закрыт */ }
-        realtimeSessions.delete(sessionId)
-      })
-
-      // Парсим входящие WS фреймы от клиента
-      let frameBuf = Buffer.alloc(0)
-      clientSocket.on('data', (chunk) => {
-        frameBuf = Buffer.concat([frameBuf, chunk])
-        while (frameBuf.length >= 2) {
-          const opcode = frameBuf[0] & 0x0f
-          const masked = !!(frameBuf[1] & 0x80)
-          let payloadLen = frameBuf[1] & 0x7f
-          let offset = 2
-          if (payloadLen === 126) {
-            if (frameBuf.length < 4) return
-            payloadLen = frameBuf.readUInt16BE(2)
-            offset = 4
-          } else if (payloadLen === 127) {
-            if (frameBuf.length < 10) return
-            payloadLen = Number(frameBuf.readBigUInt64BE(2))
-            offset = 10
-          }
-          if (masked) offset += 4
-          if (frameBuf.length < offset + payloadLen) return
-
-          let payload = frameBuf.subarray(offset, offset + payloadLen)
-          if (masked) {
-            const mask = frameBuf.subarray(offset - 4, offset)
-            payload = Buffer.from(payload)
-            for (let i = 0; i < payload.length; i++) payload[i] ^= mask[i & 3]
-          }
-          frameBuf = frameBuf.subarray(offset + payloadLen)
-
-          if (opcode === 0x08) {
-            // Close frame
-            upstream.close()
-            try { clientSocket.end() } catch { /* ok */ }
-            realtimeSessions.delete(sessionId)
-            return
-          }
-          if (opcode === 0x09) {
-            // Ping → Pong
-            writeWsFrame(clientSocket, payload, 0x0a)
-            continue
-          }
-          if (opcode === 0x01) {
-            // Текст: JSON команда от клиента → upstream
-            try { upstream.send(payload.toString('utf8')) } catch { /* upstream закрыт */ }
-          } else if (opcode === 0x02) {
-            // Бинарные данные: аудио-чанк → upstream как input_audio_buffer.append
-            if (provider === 'openai') {
-              upstream.send(JSON.stringify({
-                type: 'input_audio_buffer.append',
-                audio: payload.toString('base64'),
-              }))
-            } else {
-              // Для sherpa-onnx — отправляем бинарные данные напрямую
-              try { upstream.send(payload) } catch { /* upstream закрыт */ }
-            }
-          }
-        }
-      })
-
-      clientSocket.on('close', () => {
-        try { upstream.close() } catch { /* ok */ }
-        realtimeSessions.delete(sessionId)
-      })
-      clientSocket.on('error', () => {
-        try { upstream.close() } catch { /* ok */ }
-        realtimeSessions.delete(sessionId)
-      })
-    },
-  }), 'dsh-voice: /realtime route')
-
   ctx.effect(() => () => {
-    if (child) { try { child.kill && child.kill() } catch { /* уже мёртв */ } }
-    if (sensevoiceChild) { try { sensevoiceChild.kill && sensevoiceChild.kill() } catch { /* уже мёртв */ } }
-    for (const sid of realtimeSessions) realtimeSessions.delete(sid)
+    if (child) { try { child.kill && child.kill() } catch { /* already dead */ } }
+    if (sensevoiceChild) { try { sensevoiceChild.kill && sensevoiceChild.kill() } catch { /* already dead */ } }
   }, 'dsh-voice: stop child processes')
 }

package/lib/normalize.js

@@ -1,5 +1,5 @@
-// Постобработка распознанного текста перед вставкой в композер.
-// Без сети и без cordis — чистые функции, чтобы поведение проверить юнитами.
+// Transcript post-processing before inserting into the composer.
+// No network and no cordis — pure functions for unit tests.
 
 export function capitalizeSentences(text) {
   return text.replace(/(^|[.!?\n]\s+)([a-zа-яё])/gi, (m, lead, ch) => lead + ch.toUpperCase())
@@ -29,7 +29,7 @@ const NUM_WORDS = {
 }
 
 const NUM_NAMES = Object.keys(NUM_WORDS).sort((a, b) => b.length - a.length).join('|')
-const NUM_SEQ = new RegExp('(' + NUM_NAMES + ')(?:\\s+(' + NUM_NAMES + '))*', 'gi')
+const NUM_SEQ = new RegExp('(?<![а-яёa-z0-9])(?:' + NUM_NAMES + ')(?:\\s+(?:' + NUM_NAMES + '))*(?![а-яёa-z0-9])', 'gi')
 
 export function wordsToDigits(text) {
   return text.replace(NUM_SEQ, (m) => {