@goodandready/dsh-voice 0.8.10 → 0.8.11

package/README.md

@@ -74,6 +74,8 @@ graph LR
 * 📊 **Provider Latency & Health Dashboard**: Live visual telemetry of provider latency (ms), success rates, and errors directly within the settings UI.
 * 🔒 **Zero API Key Leakage**: Keys are resolved on the host via `ctx.credentials` (`credentialRef`) and never transmitted to browser clients.
 * 🖥️ **Offline Local Whisper Server**: Automatically boots and manages [whisper.cpp](https://github.com/ggerganov/whisper.cpp) (`whisper-server`) with on-the-fly `ffmpeg` transcode.
+* ⚡ **SenseVoice-ONNX / Sherpa-ONNX** *(0.8.11)*: Ultra-fast (~50–100ms) non-autoregressive local STT engine with automatic emotion/event tag stripping. Supports both Sherpa-ONNX HTTP and OpenAI-compatible endpoints.
+* 🌐 **Realtime Audio Streaming** *(0.8.11)*: Low-latency WebSocket bridge (`/dsh-voice/realtime`) for OpenAI Realtime API or local Sherpa-ONNX streaming. API keys stay securely on the host.
 
 ---
 
@@ -100,6 +102,7 @@ graph LR
 | `groq` | Groq Whisper | `whisper-large-v3-turbo` | `GROQ_API_KEY` | Near-instant inference speed |
 | `hf` | HuggingFace Inference | `openai/whisper-large-v3` | `HF_TOKEN` | High-accuracy open Whisper |
 | `local-whisper` | Local whisper.cpp | Server defined | *None* | 100% private, offline, no internet needed |
+| `sensevoice` | SenseVoice-ONNX / Sherpa-ONNX | `SenseVoiceSmall` | *None* | Ultra-fast (~50ms) local non-autoregressive STT |
 
 ### 🚀 Ready-Made Presets (Plug & Play)
 
@@ -158,7 +161,9 @@ Registers `transcribe_audio(file_path, language?)` in `ctx.tools`, allowing agen
 
 ### Internal HTTP Endpoints
 * `POST /dsh-voice/transcribe` — `{ dataBase64, mimeType, mode }` → `{ ok, text, provider, tookMs }`
-* `GET /dsh-voice/status` — Returns whisper daemon status and active fallback chains.
+* `POST /dsh-voice/polish` — `{ text }` → `{ ok, text }`
+* `GET /dsh-voice/status` — Returns daemon status, active chains, SenseVoice and realtime config.
+* `GET /dsh-voice/realtime` — **WebSocket upgrade** for low-latency audio streaming (OpenAI Realtime API / Sherpa-ONNX). Accepts binary audio chunks, returns JSON text deltas.
 
 ---
 

package/README.ru.md

@@ -74,6 +74,8 @@ graph LR
 * 📊 **Дашборд задержки и здоровья провайдеров**: мониторинг скорости ответа (мс), процента успешных транскрипций и ошибок в реальном времени.
 * 🔒 **Безопасность API-ключей**: ключи читаются на сервере через `ctx.credentials` и никогда не попадают в браузер клиента.
 * 🖥️ **Автозапуск локального whisper.cpp**: управление жизненным циклом `whisper-server` с авто-конвертацией через `ffmpeg`.
+* ⚡ **SenseVoice-ONNX / Sherpa-ONNX** *(0.8.11)*: сверхбыстрый (~50–100мс) неавторегрессивный локальный STT с автоматической очисткой тегов эмоций/событий. Поддержка Sherpa-ONNX HTTP и OpenAI-совместимых эндпоинтов.
+* 🌐 **Потоковое аудио в реальном времени** *(0.8.11)*: низколатентный WebSocket-мост (`/dsh-voice/realtime`) для OpenAI Realtime API или локального Sherpa-ONNX. API-ключи остаются на хосте.
 
 ---
 
@@ -100,6 +102,7 @@ graph LR
 | `groq` | Groq Whisper | `whisper-large-v3-turbo` | `GROQ_API_KEY` | Мгновенная скорость генерации |
 | `hf` | HuggingFace Inference | `openai/whisper-large-v3` | `HF_TOKEN` | Высокоточный облачный Whisper |
 | `local-whisper` | Локальный whisper.cpp | из параметров сервера | *Не требуется* | 100% приватность, оффлайн, без интернета |
+| `sensevoice` | SenseVoice-ONNX / Sherpa-ONNX | `SenseVoiceSmall` | *Не требуется* | Сверхбыстрый (~50мс) локальный неавторегрессивный STT |
 
 ### 🚀 Готовые пресеты (Plug & Play)
 
@@ -158,7 +161,9 @@ dsh plugin --profile web add @goodandready/dsh-voice
 
 ### Внутренние HTTP эндпоинты
 * `POST /dsh-voice/transcribe` — `{ dataBase64, mimeType, mode }` → `{ ok, text, provider, tookMs }`
-* `GET /dsh-voice/status` — возвращает состояние демона whisper и активные цепочки.
+* `POST /dsh-voice/polish` — `{ text }` → `{ ok, text }`
+* `GET /dsh-voice/status` — состояние демонов, цепочки, конфигурация SenseVoice и реалтайма.
+* `GET /dsh-voice/realtime` — **WebSocket upgrade** для низколатентного аудио-стриминга (OpenAI Realtime API / Sherpa-ONNX). Принимает бинарные аудио-чанки, возвращает JSON-дельты текста.
 
 ---
 

package/README.zh.md

@@ -74,6 +74,8 @@ graph LR
 * 📊 **服务商延迟与健康监控看板**：在设置界面实时掌握每个语音引擎的延迟（毫秒）、成功率与调用状态。
 * 🔒 **API 密钥安全隔离**：密钥由服务端 `ctx.credentials` 统一解析，绝不向浏览器前端泄漏。
 * 🖥️ **本地 whisper.cpp 服务端直连**：自动管理 `whisper-server` 进程，结合 `ffmpeg` 实现实时音频转码。
+* ⚡ **SenseVoice-ONNX / Sherpa-ONNX** *(0.8.11)*：超快速（~50–100ms）非自回归本地语音识别引擎，自动清除情绪/事件标签。支持 Sherpa-ONNX HTTP 和 OpenAI 兼容端点。
+* 🌐 **实时音频流** *(0.8.11)*：低延迟 WebSocket 桥接（`/dsh-voice/realtime`），支持 OpenAI Realtime API 或本地 Sherpa-ONNX 流式传输。API 密钥安全保留在服务端。
 
 ---
 
@@ -97,6 +99,7 @@ graph LR
 | `groq` | Groq Whisper | `whisper-large-v3-turbo` | `GROQ_API_KEY` | 毫秒级极速推理 |
 | `hf` | HuggingFace Inference | `openai/whisper-large-v3` | `HF_TOKEN` | 经典高精度开源模型 |
 | `local-whisper` | 本地 whisper.cpp | 启动参数指定 | *无需密钥* | 100% 离线私密运行 |
+| `sensevoice` | SenseVoice-ONNX / Sherpa-ONNX | `SenseVoiceSmall` | *无需密钥* | 超快速（~50ms）本地非自回归 STT |
 
 ---
 

package/lib/client.js

@@ -146,6 +146,20 @@ window.__ModuleLoader__.load({
       'pause': 'Pause',
       'listenBack': 'Listen back',
       'lastRecording': 'Last voice note',
+      'sensevoiceHint': 'SenseVoice-ONNX / Sherpa-ONNX · ultra-fast local STT (~50ms)',
+      'sensevoiceEndpoint': 'SenseVoice: endpoint',
+      'sensevoiceEndpointHint': 'POST endpoint of sherpa-onnx or compatible server',
+      'sensevoiceBin': 'SenseVoice: binary',
+      'sensevoiceBinHint': 'used when autostart is on',
+      'sensevoiceModel': 'SenseVoice: model path',
+      'sensevoiceAutostart': 'Autostart the SenseVoice server',
+      'realtimeStreaming': 'Realtime audio streaming',
+      'realtimeStreamingHint': 'Low-latency streaming via WebSocket (OpenAI Realtime API / sherpa-onnx)',
+      'realtimeProvider': 'Realtime provider',
+      'realtimeModel': 'Realtime model',
+      'realtimeActive': 'Streaming live…',
+      'realtimeConnect': 'Start streaming',
+      'realtimeDisconnect': 'Stop streaming',
     }
     const ru = {
       'saveFailed': 'Часть полей не сохранилась —',
@@ -271,6 +285,20 @@ window.__ModuleLoader__.load({
       'pause': 'Пауза',
       'listenBack': 'Прослушать запись',
       'lastRecording': 'Последняя запись',
+      'sensevoiceHint': 'SenseVoice-ONNX / Sherpa-ONNX · сверхбыстрый локальный STT (~50мс)',
+      'sensevoiceEndpoint': 'SenseVoice: endpoint',
+      'sensevoiceEndpointHint': 'POST endpoint сервера sherpa-onnx или совместимого',
+      'sensevoiceBin': 'SenseVoice: бинарь',
+      'sensevoiceBinHint': 'используется при автозапуске',
+      'sensevoiceModel': 'SenseVoice: путь к модели',
+      'sensevoiceAutostart': 'Автозапуск сервера SenseVoice',
+      'realtimeStreaming': 'Потоковое аудио в реальном времени',
+      'realtimeStreamingHint': 'Низколатентный стриминг через WebSocket (OpenAI Realtime API / sherpa-onnx)',
+      'realtimeProvider': 'Провайдер реалтайма',
+      'realtimeModel': 'Модель реалтайма',
+      'realtimeActive': 'Стриминг идёт…',
+      'realtimeConnect': 'Начать стриминг',
+      'realtimeDisconnect': 'Остановить стриминг',
     }
 
     // Строки нужны и вне компонентов — в обработчиках записи, в подписях
@@ -1271,7 +1299,7 @@ window.__ModuleLoader__.load({
 
     // ------------------------------------------------------- settings page
     const BUILTIN = [
-      'browser', 'deepgram', 'groq', 'hf', 'local-whisper',
+      'browser', 'deepgram', 'groq', 'hf', 'local-whisper', 'sensevoice',
       // Заготовки: адрес и модель уже прописаны на хосте, нужен только ключ.
       'openai', 'siliconflow', 'deepinfra', 'fireworks', 'mistral', 'openrouter',
     ]
@@ -1286,6 +1314,7 @@ window.__ModuleLoader__.load({
       openrouter: t('openrouterHint'),
       deepgram: 'nova-2', groq: 'whisper-large-v3-turbo',
       hf: 'openai/whisper-large-v3', 'local-whisper': t('localHint'),
+      sensevoice: t('sensevoiceHint'),
     }
     const LANGS = ['auto', 'ru', 'en', 'uk', 'de']
 
@@ -1785,6 +1814,36 @@ window.__ModuleLoader__.load({
               onChange: (e) => setTop('polishKeyEnv', e.target.value),
             })),
         ),
+        React.createElement('div', { className: 'dvs-block' },
+          React.createElement('div', { className: 'dvs-h' }, 'SenseVoice-ONNX / Sherpa-ONNX'),
+          React.createElement('div', { className: 'dvs-sub' }, t('sensevoiceHint')),
+          textField('sensevoiceUrl', t('sensevoiceEndpoint'), t('sensevoiceEndpointHint')),
+          textField('sensevoiceBin', t('sensevoiceBin'), t('sensevoiceBinHint')),
+          textField('sensevoiceModel', t('sensevoiceModel'), t('sensevoiceBinHint')),
+          React.createElement('label', { className: 'dvs-field' }, t('sensevoiceAutostart'),
+            React.createElement('input', {
+              type: 'checkbox', checked: !!(draft && draft.sensevoiceAutostart), disabled: !writable,
+              onChange: (e) => setTop('sensevoiceAutostart', e.target.checked),
+            })),
+        ),
+        React.createElement('div', { className: 'dvs-block' },
+          React.createElement('div', { className: 'dvs-h' }, t('realtimeStreaming')),
+          React.createElement('div', { className: 'dvs-sub' }, t('realtimeStreamingHint')),
+          React.createElement('label', { className: 'dvs-field' }, t('realtimeStreaming'),
+            React.createElement('input', {
+              type: 'checkbox', checked: !!(draft && draft.realtimeStreaming), disabled: !writable,
+              onChange: (e) => setTop('realtimeStreaming', e.target.checked),
+            })),
+          React.createElement('label', { className: 'dvs-field' }, t('realtimeProvider'),
+            React.createElement('select', {
+              value: String((draft && draft.realtimeProvider) || 'openai'), disabled: !writable,
+              onChange: (e) => setTop('realtimeProvider', e.target.value),
+            },
+              React.createElement('option', { value: 'openai' }, 'OpenAI Realtime API'),
+              React.createElement('option', { value: 'sherpa-onnx' }, 'Sherpa-ONNX (local)'),
+            )),
+          textField('realtimeModel', t('realtimeModel'), ''),
+        ),
         React.createElement('div', { className: 'dvs-block' },
           React.createElement('div', { className: 'dvs-h' }, t('providerDashboard')),
           React.createElement('div', { className: 'dvo-dash' },

package/lib/index.js

@@ -144,6 +144,20 @@ export const Config = z.object({
     .description('Harness polish: provider id. Empty uses the agent default model selection.'),
   polishModelId: z.string().default('')
     .description('Harness polish: model id. Empty uses the agent default model selection.'),
+  sensevoiceUrl: z.string().default('http://127.0.0.1:6006/api/v1/asr')
+    .description('SenseVoice-ONNX / Sherpa-ONNX endpoint: POST /api/v1/asr or OpenAI-compatible /v1/audio/transcriptions.'),
+  sensevoiceBin: z.string().default('sherpa-onnx-offline-http-server')
+    .description('SenseVoice / sherpa-onnx executable binary used when autostart is enabled.'),
+  sensevoiceModel: z.string().default('')
+    .description('SenseVoice / sherpa-onnx model path or model identifier.'),
+  sensevoiceAutostart: z.boolean().default(false)
+    .description('Start the local SenseVoice / sherpa-onnx server process automatically on startup.'),
+  realtimeStreaming: z.boolean().default(false)
+    .description('Enable low-latency streaming recognition (OpenAI Realtime API or Sherpa-ONNX).'),
+  realtimeProvider: z.string().default('openai')
+    .description('Realtime streaming provider: "openai" (OpenAI Realtime API) or "sherpa-onnx" (local streaming).'),
+  realtimeModel: z.string().default('gpt-4o-realtime-preview')
+    .description('Realtime model identifier.'),
 })
 
 const MIME_BY_EXT = {
@@ -232,6 +246,47 @@ export function apply(ctx, baseConfig) {
 
   startWhisper().catch(() => {})
 
+  // SenseVoice-ONNX / Sherpa-ONNX: автозапуск и проверка здоровья.
+  let sensevoiceChild = null
+
+  async function sensevoiceAlive() {
+    try {
+      const cfg = live()
+      const base = String(cfg.sensevoiceUrl || '').replace(/\/api\/.*$/, '').replace(/\/v1\/.*$/, '').replace(/\/+$/, '')
+      if (!base) return false
+      const controller = new AbortController()
+      const t = setTimeout(() => controller.abort(), 2000)
+      const res = await fetch(base + '/', { signal: controller.signal })
+      clearTimeout(t)
+      return res.ok || res.status === 404 // sherpa-onnx отвечает 404 на /, но живой
+    } catch { return false }
+  }
+
+  async function startSensevoice() {
+    const cfg = live()
+    if (!cfg.sensevoiceAutostart) return false
+    if (!cfg.sensevoiceModel) return false
+    if (await sensevoiceAlive()) return true
+    try {
+      const port = new URL(cfg.sensevoiceUrl).port || '6006'
+      const spec = ctx.shell.resolve({
+        command: `${JSON.stringify(cfg.sensevoiceBin)}`
+          + ` --sense-voice-model=${JSON.stringify(cfg.sensevoiceModel)}`
+          + ` --port=${port} --num-threads=4`,
+        timeoutMs: 0,
+        stdoutMaxBytes: 4 * 1024 * 1024,
+      })
+      sensevoiceChild = ctx.shell.start(spec)
+      for (let i = 0; i < 20; i++) {
+        await new Promise((r) => setTimeout(r, 500))
+        if (await sensevoiceAlive()) return true
+      }
+      return false
+    } catch { return false }
+  }
+
+  startSensevoice().catch(() => {})
+
   // Статистика здоровья и задержек провайдеров (Latency & Health Dashboard).
   const statsTracker = createStatsTracker()
 
@@ -379,6 +434,11 @@ export function apply(ctx, baseConfig) {
         polishBaseUrl: String(cfg.polishBaseUrl || ''),
         noiseSuppression: cfg.noiseSuppression !== false,
         contextGlossary: cfg.contextGlossary !== false,
+        sensevoiceUrl: cfg.sensevoiceUrl,
+        sensevoiceAutostart: !!cfg.sensevoiceAutostart,
+        realtimeStreaming: !!cfg.realtimeStreaming,
+        realtimeProvider: cfg.realtimeProvider || 'openai',
+        realtimeModel: cfg.realtimeModel || 'gpt-4o-realtime-preview',
         providerStats: getProviderStats(),
       })
     },
@@ -441,6 +501,10 @@ export function apply(ctx, baseConfig) {
       if ((modeCfg.chain || []).some((e) => e.provider === 'local-whisper') && !(await whisperAlive())) {
         await startWhisper()
       }
+      // Аналогично для SenseVoice-ONNX / Sherpa-ONNX.
+      if ((modeCfg.chain || []).some((e) => e.provider === 'sensevoice') && !(await sensevoiceAlive())) {
+        await startSensevoice()
+      }
 
       const controller = new AbortController()
       const timer = setTimeout(() => controller.abort(), cfg.timeoutMs)
@@ -515,7 +579,226 @@ export function apply(ctx, baseConfig) {
     }),
   )
 
+  // ─── Realtime WebSocket Bridge ───────────────────────────────────────
+  // Клиент открывает WS на /dsh-voice/realtime, шлёт бинарные аудио-чанки.
+  // Хост открывает WS к провайдеру (OpenAI Realtime API или совместимому),
+  // пересылает аудио и получает текстовые дельты обратно клиенту.
+  // API-ключи никогда не покидают хост.
+  const realtimeSessions = new Set()
+
+  ctx.effect(() => ctx.webServer.register({
+    kind: 'exact',
+    path: '/dsh-voice/realtime',
+    handler: async (req, res) => {
+      const cfg = live()
+      if (!cfg.realtimeStreaming) {
+        writeJson(res, 403, { ok: false, error: { code: 'disabled', message: 'realtime streaming is disabled' } })
+        return
+      }
+      // Только WebSocket upgrade
+      if (!req.headers.upgrade || req.headers.upgrade.toLowerCase() !== 'websocket') {
+        writeJson(res, 426, { ok: false, error: { code: 'upgrade', message: 'WebSocket upgrade required' } })
+        return
+      }
+
+      // Получаем API-ключ для upstream-провайдера
+      const provider = cfg.realtimeProvider || 'openai'
+      let apiKey = ''
+      if (provider === 'openai') {
+        apiKey = await resolveKey('OPENAI_API_KEY')
+      }
+
+      // Определяем upstream WebSocket URL
+      let upstreamUrl
+      const model = cfg.realtimeModel || 'gpt-4o-realtime-preview'
+      if (provider === 'openai') {
+        upstreamUrl = `wss://api.openai.com/v1/realtime?model=${encodeURIComponent(model)}`
+      } else if (provider === 'sherpa-onnx') {
+        // Локальный sherpa-onnx WebSocket endpoint
+        const base = String(cfg.sensevoiceUrl || '').replace(/^http/, 'ws').replace(/\/api\/.*$/, '').replace(/\/v1\/.*$/, '')
+        upstreamUrl = base + '/ws/transcribe'
+      } else {
+        writeJson(res, 400, { ok: false, error: { code: 'provider', message: `unknown realtime provider: ${provider}` } })
+        return
+      }
+
+      // Upgrade клиентский запрос в WebSocket через ручной handshake
+      // Node.js http.Server не имеет встроенного WS — используем raw socket
+      const crypto = await import('node:crypto')
+      const wsKey = req.headers['sec-websocket-key']
+      if (!wsKey) {
+        res.writeHead(400); res.end('Missing Sec-WebSocket-Key'); return
+      }
+      const accept = crypto.createHash('sha1')
+        .update(wsKey + '258EAFA5-E914-47DA-95CA-5AB5ADF35F20')
+        .digest('base64')
+
+      res.writeHead(101, {
+        Upgrade: 'websocket',
+        Connection: 'Upgrade',
+        'Sec-WebSocket-Accept': accept,
+      })
+
+      const clientSocket = req.socket
+
+      // Простой WS frame parser/writer для бинарных и текстовых сообщений
+      function writeWsFrame(socket, data, opcode = 0x01) {
+        const payload = typeof data === 'string' ? Buffer.from(data, 'utf8') : data
+        const len = payload.length
+        let header
+        if (len < 126) {
+          header = Buffer.alloc(2)
+          header[0] = 0x80 | opcode
+          header[1] = len
+        } else if (len < 65536) {
+          header = Buffer.alloc(4)
+          header[0] = 0x80 | opcode
+          header[1] = 126
+          header.writeUInt16BE(len, 2)
+        } else {
+          header = Buffer.alloc(10)
+          header[0] = 0x80 | opcode
+          header[1] = 127
+          header.writeBigUInt64BE(BigInt(len), 2)
+        }
+        socket.write(Buffer.concat([header, payload]))
+      }
+
+      // Открываем upstream WebSocket через глобальный WebSocket (Node 22+)
+      let upstream = null
+      try {
+        const headers = {}
+        if (apiKey) headers['Authorization'] = `Bearer ${apiKey}`
+        if (provider === 'openai') headers['OpenAI-Beta'] = 'realtime=v1'
+        upstream = new WebSocket(upstreamUrl, { headers })
+      } catch (e) {
+        writeWsFrame(clientSocket, JSON.stringify({ type: 'error', message: String(e && e.message || e) }))
+        clientSocket.end()
+        return
+      }
+
+      const sessionId = crypto.randomUUID()
+      realtimeSessions.add(sessionId)
+
+      upstream.addEventListener('open', () => {
+        writeWsFrame(clientSocket, JSON.stringify({ type: 'session.created', sessionId }))
+        // Для OpenAI Realtime — отправить session.update с конфигурацией
+        if (provider === 'openai') {
+          upstream.send(JSON.stringify({
+            type: 'session.update',
+            session: {
+              modalities: ['text'],
+              input_audio_format: 'pcm16',
+              input_audio_transcription: { model: 'whisper-1' },
+              turn_detection: { type: 'server_vad' },
+            },
+          }))
+        }
+      })
+
+      upstream.addEventListener('message', (event) => {
+        // Пересылаем текстовые сообщения от upstream к клиенту
+        const msg = typeof event.data === 'string' ? event.data : event.data.toString()
+        try {
+          const parsed = JSON.parse(msg)
+          // Фильтруем и пересылаем только полезные события
+          if (parsed.type === 'conversation.item.input_audio_transcription.completed'
+            || parsed.type === 'response.audio_transcript.delta'
+            || parsed.type === 'response.audio_transcript.done'
+            || parsed.type === 'input_audio_buffer.speech_started'
+            || parsed.type === 'input_audio_buffer.speech_stopped'
+            || parsed.type === 'error') {
+            writeWsFrame(clientSocket, msg)
+          }
+        } catch {
+          // Не JSON — пересылаем как есть
+          writeWsFrame(clientSocket, msg)
+        }
+      })
+
+      upstream.addEventListener('error', () => {
+        writeWsFrame(clientSocket, JSON.stringify({ type: 'error', message: 'upstream connection error' }))
+      })
+
+      upstream.addEventListener('close', () => {
+        writeWsFrame(clientSocket, JSON.stringify({ type: 'session.closed' }))
+        try { clientSocket.end() } catch { /* socket уже закрыт */ }
+        realtimeSessions.delete(sessionId)
+      })
+
+      // Парсим входящие WS фреймы от клиента
+      let frameBuf = Buffer.alloc(0)
+      clientSocket.on('data', (chunk) => {
+        frameBuf = Buffer.concat([frameBuf, chunk])
+        while (frameBuf.length >= 2) {
+          const opcode = frameBuf[0] & 0x0f
+          const masked = !!(frameBuf[1] & 0x80)
+          let payloadLen = frameBuf[1] & 0x7f
+          let offset = 2
+          if (payloadLen === 126) {
+            if (frameBuf.length < 4) return
+            payloadLen = frameBuf.readUInt16BE(2)
+            offset = 4
+          } else if (payloadLen === 127) {
+            if (frameBuf.length < 10) return
+            payloadLen = Number(frameBuf.readBigUInt64BE(2))
+            offset = 10
+          }
+          if (masked) offset += 4
+          if (frameBuf.length < offset + payloadLen) return
+
+          let payload = frameBuf.subarray(offset, offset + payloadLen)
+          if (masked) {
+            const mask = frameBuf.subarray(offset - 4, offset)
+            payload = Buffer.from(payload)
+            for (let i = 0; i < payload.length; i++) payload[i] ^= mask[i & 3]
+          }
+          frameBuf = frameBuf.subarray(offset + payloadLen)
+
+          if (opcode === 0x08) {
+            // Close frame
+            upstream.close()
+            try { clientSocket.end() } catch { /* ok */ }
+            realtimeSessions.delete(sessionId)
+            return
+          }
+          if (opcode === 0x09) {
+            // Ping → Pong
+            writeWsFrame(clientSocket, payload, 0x0a)
+            continue
+          }
+          if (opcode === 0x01) {
+            // Текст: JSON команда от клиента → upstream
+            try { upstream.send(payload.toString('utf8')) } catch { /* upstream закрыт */ }
+          } else if (opcode === 0x02) {
+            // Бинарные данные: аудио-чанк → upstream как input_audio_buffer.append
+            if (provider === 'openai') {
+              upstream.send(JSON.stringify({
+                type: 'input_audio_buffer.append',
+                audio: payload.toString('base64'),
+              }))
+            } else {
+              // Для sherpa-onnx — отправляем бинарные данные напрямую
+              try { upstream.send(payload) } catch { /* upstream закрыт */ }
+            }
+          }
+        }
+      })
+
+      clientSocket.on('close', () => {
+        try { upstream.close() } catch { /* ok */ }
+        realtimeSessions.delete(sessionId)
+      })
+      clientSocket.on('error', () => {
+        try { upstream.close() } catch { /* ok */ }
+        realtimeSessions.delete(sessionId)
+      })
+    },
+  }), 'dsh-voice: /realtime route')
+
   ctx.effect(() => () => {
     if (child) { try { child.kill && child.kill() } catch { /* уже мёртв */ } }
-  }, 'dsh-voice: stop whisper child')
+    if (sensevoiceChild) { try { sensevoiceChild.kill && sensevoiceChild.kill() } catch { /* уже мёртв */ } }
+    for (const sid of realtimeSessions) realtimeSessions.delete(sid)
+  }, 'dsh-voice: stop child processes')
 }

package/lib/providers.js

@@ -6,7 +6,7 @@
 // браузер, до хоста звук не доходит. Ключ нужен, чтобы такую цепочку принимал
 // и валидатор настроек, и перебор ниже — иначе цепочка ['browser', 'groq'] на
 // хосте оборвалась бы на первом же шаге вместо перехода к groq.
-export const PROVIDER_KEYS = ['browser', 'deepgram', 'groq', 'hf', 'local-whisper']
+export const PROVIDER_KEYS = ['browser', 'deepgram', 'groq', 'hf', 'local-whisper', 'sensevoice']
 
 // Свой провайдер описывается одним из двух шаблонов, потому что
 // OpenAI-совместимые API разошлись: у OpenRouter, например, нет
@@ -84,6 +84,7 @@ export const DEFAULT_MODELS = {
   groq: 'whisper-large-v3-turbo',
   hf: 'openai/whisper-large-v3',
   'local-whisper': '',
+  sensevoice: 'SenseVoiceSmall',
 }
 
 function pickModel(models, key) {
@@ -199,6 +200,65 @@ export function makeProviders(deps, req) {
     return { ok: text.length > 0, provider: 'local-whisper', text, reason: text ? '' : 'empty transcript' }
   }
 
+  // SenseVoice-ONNX / Sherpa-ONNX: сверхбыстрое локальное распознавание (~50-100ms).
+  // Поддерживает эндпоинты sherpa-onnx (/api/v1/asr) и OpenAI-совместимые (/audio/transcriptions).
+  async function sensevoice() {
+    const url = String(cfg.sensevoiceUrl || 'http://127.0.0.1:6006/api/v1/asr').trim()
+    let sendBytes = bytes
+    let sendMime = mime
+    if (!mime.includes('wav')) {
+      if (typeof deps.toWav !== 'function') {
+        return { ok: false, provider: 'sensevoice', reason: 'sensevoice needs WAV, no converter configured' }
+      }
+      try {
+        sendBytes = await deps.toWav(bytes)
+        sendMime = 'audio/wav'
+      } catch (e) {
+        return { ok: false, provider: 'sensevoice', reason: `sensevoice: ${String(e && e.message || e)}` }
+      }
+    }
+    const form = new FormData()
+    form.append('file', new Blob([sendBytes], { type: sendMime }), fileName(sendMime))
+    const isOpenAI = url.includes('/transcriptions')
+    if (isOpenAI) {
+      const model = pickModel(models, 'sensevoice') || 'SenseVoiceSmall'
+      form.append('model', model)
+      form.append('response_format', 'json')
+    }
+    if (!isAutoLang(lang)) form.append('language', lang)
+    if (vocab) form.append('prompt', vocab)
+
+    let res
+    try {
+      res = await fetchImpl(url, { method: 'POST', body: form, signal })
+    } catch (e) {
+      return { ok: false, provider: 'sensevoice', reason: `sensevoice: ${String(e && e.message || e)}` }
+    }
+
+    if (!res.ok) {
+      let detail = `HTTP ${res.status}`
+      try { const e = await res.json(); if (e?.error) detail = e.error } catch { /* тело не json */ }
+      return { ok: false, provider: 'sensevoice', reason: `sensevoice: ${detail}` }
+    }
+
+    let data
+    try {
+      data = await res.json()
+    } catch {
+      return { ok: false, provider: 'sensevoice', reason: 'sensevoice: invalid json response' }
+    }
+
+    let text = String(data?.text || data?.transcript || '').trim()
+    // Очищаем служебные теги эмоций и звуковых событий SenseVoice (<|NEUTRAL|>, <|HAPPY|>, <|Speech|> и др.)
+    text = text.replace(/<\|[^|>]+\|>/g, '').trim()
+    return {
+      ok: text.length > 0,
+      provider: 'sensevoice',
+      text,
+      reason: text ? '' : 'empty transcript',
+    }
+  }
+
   // Свой провайдер. Ключ в цепочке — его имя, поэтому в остальном коде он
   // ничем не отличается от встроенного.
   function customProvider(spec) {
@@ -289,7 +349,7 @@ export function makeProviders(deps, req) {
     }
   }
 
-  const out = { browser, deepgram, groq, hf, 'local-whisper': localWhisper }
+  const out = { browser, deepgram, groq, hf, 'local-whisper': localWhisper, sensevoice }
 
   // Заготовки: те же свои провайдеры, только анкета заполнена заранее.
   for (const key of PRESET_KEYS) {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@goodandready/dsh-voice",
-  "version": "0.8.10",
+  "version": "0.8.11",
   "description": "Voice input for DeepSeek Harness: dictation chunked by pauses and voice messages, each with its own provider fallback chain (Deepgram, Groq, HuggingFace, local whisper.cpp, plus any OpenAI-compatible API of your own).",
   "license": "MIT",
   "type": "module",