@goodandready/dsh-voice 0.4.2 → 0.5.0

package/README.md

@@ -30,6 +30,7 @@ Restart the Web UI afterwards, then hard-refresh the browser.
 
 | Key | Service | Default model | Credential |
 |---|---|---|---|
+| `browser` | the browser's own speech recognition | — | none, and nothing is uploaded to the host |
 | `deepgram` | Deepgram | `nova-2` | `DEEPGRAM_API_KEY` |
 | `groq` | Groq | `whisper-large-v3-turbo` | `GROQ_API_KEY` |
 | `hf` | HuggingFace Inference | `openai/whisper-large-v3` | `HF_TOKEN` |
@@ -77,6 +78,37 @@ The chat template accepts WAV and MP3 only, while the browser records
 webm/opus — the plugin converts with ffmpeg, the same way the local whisper
 provider does, so **ffmpeg is required for `openai-chat-audio`**.
 
+## Three ways to speak
+
+| Gesture | What happens |
+|---|---|
+| Click the microphone | dictation: speech is cut on pauses and each phrase is appended to the composer |
+| Click the wave | a voice message: recording runs until you stop it, then the text is sent after a cancel window |
+| **Hold the wave** | records only while held; release sends it, moving the pointer off the button discards |
+| **Hold `Ctrl`** | the same without reaching for the mouse; `Escape` discards |
+
+The hotkey is `hotkey` in the settings — a modifier name (`Control`, `Alt`, `Shift`) or a `KeyboardEvent` code. Empty turns it off.
+
+## Recognition in the browser
+
+Put `browser` first in a chain and speech is recognised by the browser itself: no key, no upload to this host, and the text appears **while you are still speaking** — an interim caption in the recording bar, with each finished phrase going into the composer.
+
+```yaml
+- id: dsh-voice
+  config:
+    dictation:
+      chain:
+        - provider: browser
+        - provider: local-whisper   # если браузер не умеет — обычный путь
+```
+
+Two things to know before choosing it:
+
+- **Chrome sends the audio to Google.** Firefox has no such API at all. Everything else in this plugin keeps audio between your browser and your own host, so this provider is the one exception — it is never used unless you put it in a chain yourself.
+- It needs a secure context (HTTPS or localhost), like the microphone itself.
+
+Put a normal provider after it: if the browser cannot do it, recording falls back to the chain as usual.
+
 ## Configure (Web GUI)
 
 Settings → **Голос** (Voice) has four blocks:

package/lib/client.js

@@ -125,6 +125,87 @@ window.__ModuleLoader__.load({
       actions.setDraft(draft ? draft + ' ' + text : text)
     }
 
+    // ------------------------------------------------- распознавание в браузере
+    //
+    // Отдельная нога, не похожая на все остальные: речь распознаёт сам браузер,
+    // на хост ничего не уходит, ключи не нужны, а текст появляется по словам
+    // прямо во время речи.
+    //
+    // Плата за это: в Chrome звук уходит на серверы Google. Поэтому провайдер
+    // никогда не включается сам — только если его прямо поставили в цепочку.
+    function speechRecognitionCtor() {
+      if (typeof window === 'undefined') return null
+      return window.SpeechRecognition || window.webkitSpeechRecognition || null
+    }
+
+    function browserRecognitionAvailable() {
+      return speechRecognitionCtor() !== null
+    }
+
+    /**
+     * @param options {{lang: string, continuous: boolean, onInterim, onFinal, onError}}
+     * @returns {{stop: Function, abort: Function}}
+     */
+    function startBrowserRecognition(options) {
+      const Ctor = speechRecognitionCtor()
+      const recognition = new Ctor()
+      recognition.lang = options.lang && options.lang !== 'auto' ? options.lang : 'ru-RU'
+      recognition.continuous = options.continuous !== false
+      recognition.interimResults = true
+      let stopped = false
+
+      recognition.onresult = (event) => {
+        let interim = ''
+        for (let i = event.resultIndex; i < event.results.length; i++) {
+          const result = event.results[i]
+          const text = String(result[0] && result[0].transcript || '').trim()
+          if (!text) continue
+          if (result.isFinal) options.onFinal(text)
+          else interim += (interim ? ' ' : '') + text
+        }
+        options.onInterim(interim)
+      }
+      recognition.onerror = (event) => {
+        // no-speech и aborted — обычная жизнь, а не поломка.
+        const code = event && event.error
+        if (code === 'no-speech' || code === 'aborted') return
+        options.onError(code || 'ошибка распознавания')
+      }
+      // Браузер обрывает распознавание сам: на паузах, по таймауту. Пока нас не
+      // остановили — поднимаем заново, иначе диктовка молча умрёт на первой паузе.
+      recognition.onend = () => {
+        if (stopped) return
+        try { recognition.start() } catch (alreadyRunning) { /* уже поднято */ }
+      }
+
+      try { recognition.start() } catch (cannotStart) {
+        options.onError(String(cannotStart && cannotStart.message || cannotStart))
+      }
+      return {
+        stop() { stopped = true; try { recognition.stop() } catch (already) { /* уже стоит */ } },
+        abort() { stopped = true; try { recognition.abort() } catch (already) { /* уже стоит */ } },
+      }
+    }
+
+    // Какие провайдеры стоят в цепочке режима — узнаём у хоста один раз.
+    // Нужно только чтобы понять, идти в браузер или писать файл.
+    let chainsPromise = null
+    function modeChain(mode) {
+      if (!chainsPromise) {
+        chainsPromise = fetch('/dsh-voice/status', { cache: 'no-store' })
+          .then((res) => res.json())
+          .then((data) => (data && data.modes) || {})
+          .catch(() => ({}))
+      }
+      return chainsPromise.then((modes) => {
+        const row = modes[mode] || {}
+        return {
+          chain: Array.isArray(row.chain) ? row.chain.map((e) => e && e.provider) : [],
+          language: row.language || 'ru',
+        }
+      })
+    }
+
     // ------------------------------------------------------------ recording
     function teardown(rec) {
       if (!rec) return
@@ -206,18 +287,125 @@ window.__ModuleLoader__.load({
       })
     }
 
+    // Распознавание браузером вместо записи файла. Возвращает false, если
+    // браузер этого не умеет, — тогда идём обычным путём.
+    function startBrowserLeg(mode, language) {
+      if (!browserRecognitionAvailable()) return false
+      const finals = []
+      voice.caption = ''
+      voice.browser = startBrowserRecognition({
+        lang: language,
+        continuous: true,
+        onInterim: (text) => { voice.caption = text; voice.notify() },
+        onFinal: (text) => {
+          finals.push(text)
+          voice.caption = ''
+          // Диктовка дописывает сразу, голосовое копит до отпускания.
+          if (mode === 'dictation') appendDraft(text)
+          else voice.notify()
+        },
+        onError: (reason) => {
+          // Браузер отказал уже после старта — честно говорим об этом, а не
+          // делаем вид, что слушаем.
+          voice.browser = null
+          voice.set({ phase: 'error', error: 'Браузер не распознал: ' + reason })
+        },
+      })
+      voice.browserFinals = finals
+      voice.notify()
+      return true
+    }
+
     function startRecording(mode) {
       if (voice.phase !== 'idle' && voice.phase !== 'error') return
-      voice.set({ phase: 'recording', mode, error: '', levels: [] })
-      openMic(mode)
-        .then((rec) => { voice.rec = rec; voice.notify() })
-        .catch((err) => voice.set({ phase: 'error', error: String(err && err.message ? err.message : err), rec: null }))
+      voice.set({ phase: 'recording', mode, error: '', levels: [], caption: '' })
+      modeChain(mode).then((info) => {
+        // Браузерная нога — только если её прямо поставили первой в цепочке.
+        if (info.chain[0] === 'browser' && startBrowserLeg(mode, info.language)) return
+        openMic(mode)
+          .then((rec) => { voice.rec = rec; voice.notify() })
+          .catch((err) => voice.set({ phase: 'error', error: String(err && err.message ? err.message : err), rec: null }))
+      })
     }
 
     function startDictation() { startRecording('dictation') }
     function startMessage() { startRecording('message') }
 
+    // --------------------------------------------------------- удержание
+    //
+    // Два жеста одной кнопкой: короткое нажатие включает запись до второго
+    // нажатия (как было), удержание пишет ровно пока держишь. Отпустил — ушло.
+    //
+    // Различаем по времени: если отпустили раньше порога — это клик.
+    const HOLD_THRESHOLD_MS = 350
+
+    const hold = { active: false, mode: null, startedAt: 0, armed: false }
+
+    function beginHold(mode) {
+      if (hold.armed || (voice.phase !== 'idle' && voice.phase !== 'error')) return
+      hold.armed = true
+      hold.mode = mode
+      hold.startedAt = Date.now()
+      hold.active = false
+      // Запись начинаем сразу: ждать порога — значит потерять первое слово.
+      startRecording(mode)
+      voice.holding = true
+      voice.notify()
+    }
+
+    function endHold(cancelled) {
+      if (!hold.armed) return
+      const heldMs = Date.now() - hold.startedAt
+      hold.armed = false
+      hold.active = false
+      voice.holding = false
+      // Короткое нажатие — это клик: запись уже идёт, оставляем её включённой,
+      // остановит второе нажатие.
+      if (!cancelled && heldMs < HOLD_THRESHOLD_MS) { voice.notify(); return }
+      if (cancelled) cancelCurrent()
+      else stopCurrent()
+    }
+
+    // Горячая клавиша: держать её удобнее, чем целиться мышью. Пока клавиша
+    // зажата — идёт запись, Esc отменяет.
+    function hotkeyMatches(event, name) {
+      if (name === 'Control') return event.key === 'Control'
+      if (name === 'Alt') return event.key === 'Alt'
+      if (name === 'Shift') return event.key === 'Shift'
+      return event.code === name || event.key === name
+    }
+
+    function installHotkey(ctx, keyName, mode) {
+      if (typeof document === 'undefined' || !keyName) return () => {}
+      const down = (event) => {
+        if (event.repeat) return
+        // В поле ввода горячая клавиша-модификатор не мешает: она сама по себе
+        // ничего не печатает. А вот обычную букву перехватывать нельзя.
+        if (hotkeyMatches(event, keyName)) beginHold(mode)
+      }
+      const up = (event) => {
+        if (hotkeyMatches(event, keyName)) endHold(false)
+        else if (event.key === 'Escape' && hold.armed) endHold(true)
+      }
+      const blur = () => { if (hold.armed) endHold(true) }
+      document.addEventListener('keydown', down, true)
+      document.addEventListener('keyup', up, true)
+      window.addEventListener('blur', blur)
+      return () => {
+        document.removeEventListener('keydown', down, true)
+        document.removeEventListener('keyup', up, true)
+        window.removeEventListener('blur', blur)
+      }
+    }
+
     function cancelCurrent() {
+      if (voice.browser) {
+        voice.browser.abort()
+        voice.browser = null
+        voice.browserFinals = null
+        voice.set({ phase: 'idle', error: '', caption: '' })
+        return
+      }
       const rec = voice.rec
       voice.pending = null
       if (!rec) { voice.set({ phase: 'idle', error: '' }); return }
@@ -230,6 +418,23 @@ window.__ModuleLoader__.load({
     // Останов по второму нажатию: диктовка досылает хвост, голосовое —
     // отправляет всю запись и открывает окно отмены.
     function stopCurrent() {
+      if (voice.browser) {
+        const mode = voice.mode
+        const said = (voice.browserFinals || []).join(' ').trim()
+        voice.browser.stop()
+        voice.browser = null
+        voice.browserFinals = null
+        voice.caption = ''
+        if (!said) { voice.set({ phase: 'idle' }); return }
+        if (mode === 'message') {
+          appendDraft(said)
+          voice.set({ phase: 'pending', pending: { text: said, leftMs: voice.settings.autoSendMs } })
+        } else {
+          // Диктовка дописывала по ходу — добавлять нечего.
+          voice.set({ phase: 'idle' })
+        }
+        return
+      }
       const rec = voice.rec
       if (!rec || rec.closing) return
       rec.closing = true
@@ -285,7 +490,11 @@ window.__ModuleLoader__.load({
         }, micIcon()),
         React.createElement('button', {
           type: 'button', className: 'dvo-btn', 'data-err': err ? '1' : '0',
-          title: err ? v.error : 'Голосовое сообщение', onClick: startMessage,
+          title: err ? v.error : 'Голосовое сообщение — нажать или удерживать',
+          // Удержание: пишет, пока держишь; увёл курсор далеко вверх — отмена.
+          onPointerDown: (e) => { e.preventDefault(); beginHold('message') },
+          onPointerUp: () => endHold(false),
+          onPointerLeave: () => { if (hold.armed) endHold(true) },
         }, waveIcon()),
       )
     }
@@ -361,11 +570,22 @@ window.__ModuleLoader__.load({
       if (v.phase === 'idle') return null
 
       if (v.phase === 'recording') {
+        const inBrowser = !!voice.browser
         const hint = v.mode === 'dictation' ? 'Диктовка — текст дописывается в строку' : 'Запись голосового'
+        // Живая подпись: что слышно прямо сейчас. Пока браузер не выдал
+        // окончательный кусок, текст черновой и меняется на глазах.
+        const caption = voice.caption || (inBrowser ? '' : null)
         return React.createElement('div', { className: 'dvo-pill' },
           React.createElement('button', { type: 'button', className: 'dvo-pbtn', title: 'Отмена', onClick: cancelCurrent }, xIcon()),
-          React.createElement('canvas', { className: 'dvo-wave', ref: canvasRef, width: 720, height: 40 }),
-          React.createElement('span', { className: 'dvo-status' }, hint),
+          inBrowser
+            ? null
+            : React.createElement('canvas', { className: 'dvo-wave', ref: canvasRef, width: 720, height: 40 }),
+          React.createElement('span', { className: 'dvo-status' },
+            caption
+              ? caption
+              : (voice.holding
+                ? 'Держите — отпустите, чтобы отправить'
+                : (inBrowser ? 'Слушаю в браузере…' : hint))),
           React.createElement('button', { type: 'button', className: 'dvo-pbtn', title: 'Стоп', onClick: stopCurrent }, stopIcon()),
         )
       }
@@ -392,6 +612,19 @@ window.__ModuleLoader__.load({
 
     // --------------------------------------------------------------- slots
     function registerComposer(ctx) {
+      // Горячая клавиша живёт всё время, пока плагин применён.
+      ctx.effect(() => {
+        let dispose = () => {}
+        fetch('/dsh-voice/status', { cache: 'no-store' })
+          .then((res) => res.json())
+          .then((data) => {
+            const key = data && data.hotkey
+            if (key) dispose = installHotkey(ctx, key, 'message')
+          })
+          .catch(() => { /* без подсказки хоста горячей клавиши просто не будет */ })
+        return () => dispose()
+      }, 'dsh-voice: горячая клавиша удержания')
+
       ctx.slots.inject('conversation.input.right', () => ctx.slots.register(
         { name: 'conversation.input.right', id: '@goodandready/dsh-voice', order: 6, label: () => 'Голос' },
         (props) => React.createElement(VoiceButtons, { input: props.input, inputActions: props.inputActions }),
@@ -403,9 +636,10 @@ window.__ModuleLoader__.load({
     }
 
     // ------------------------------------------------------- settings page
-    const BUILTIN = ['deepgram', 'groq', 'hf', 'local-whisper']
+    const BUILTIN = ['browser', 'deepgram', 'groq', 'hf', 'local-whisper']
     const TEMPLATES = ['openai-transcriptions', 'openai-chat-audio']
     const MODEL_HINT = {
+      browser: 'распознаёт сам браузер, ключ не нужен',
       deepgram: 'nova-2', groq: 'whisper-large-v3-turbo',
       hf: 'openai/whisper-large-v3', 'local-whisper': 'задаётся при запуске сервера',
     }

package/lib/index.js

@@ -27,7 +27,9 @@ export const inject = ['tools', 'credentials', 'webServer', 'shell', 'settings']
 const ChainEntry = z.object({
   provider: z.string().default('local-whisper')
     .description(`Provider key: one of ${PROVIDER_KEYS.join(', ')}, `
-      + 'or the name of an entry from customProviders.'),
+      + 'or the name of an entry from customProviders. '
+      + '"browser" recognises speech in the page itself — no key, no upload to this host, '
+      + 'text appears while you speak; put a normal provider after it as a fallback.'),
   model: z.string().default('')
     .description('Model override. Empty means the provider default.'),
 })
@@ -66,6 +68,10 @@ export const Config = z.object({
     autoSendMs: z.number().default(4000)
       .description('Cancel window before the recognized text is sent to the agent.'),
   }).default({}),
+  hotkey: z.string().default('Control')
+    .description('Hold this key anywhere in the page to record a voice message; release to send, '
+      + 'Escape to discard. Modifier names (Control, Alt, Shift) or a KeyboardEvent code. '
+      + 'Empty disables the hotkey.'),
   customProviders: z.array(CustomProvider).default([])
     .description('Own recognition providers, usable in both chains next to the built-in ones.'),
   deepgramKeyEnv: z.string().default('DEEPGRAM_API_KEY'),
@@ -203,6 +209,8 @@ export function apply(ctx, baseConfig) {
       writeJson(res, 200, {
         ok: true,
         whisperRunning: await whisperAlive(),
+        // Клавиша нужна браузерной половине: она вешает обработчик удержания.
+        hotkey: cfg.hotkey,
         providers: PROVIDER_KEYS.concat(
           (Array.isArray(cfg.customProviders) ? cfg.customProviders : [])
             .map((c) => String(c && c.key || '').trim()).filter(Boolean),

package/lib/providers.js

@@ -2,7 +2,11 @@
 // в настройках. Чистые функции: сеть приходит параметром (fetchImpl), ключи —
 // через resolveKey, поэтому всё проверяется без реальных запросов.
 
-export const PROVIDER_KEYS = ['deepgram', 'groq', 'hf', 'local-whisper']
+// 'browser' стоит в этом списке, но работает не здесь: речь распознаёт сам
+// браузер, до хоста звук не доходит. Ключ нужен, чтобы такую цепочку принимал
+// и валидатор настроек, и перебор ниже — иначе цепочка ['browser', 'groq'] на
+// хосте оборвалась бы на первом же шаге вместо перехода к groq.
+export const PROVIDER_KEYS = ['browser', 'deepgram', 'groq', 'hf', 'local-whisper']
 
 // Свой провайдер описывается одним из двух шаблонов, потому что
 // OpenAI-совместимые API разошлись: у OpenRouter, например, нет
@@ -210,7 +214,17 @@ export function makeProviders(deps, req) {
     }
   }
 
-  const out = { deepgram, groq, hf, 'local-whisper': localWhisper }
+  // Если звук всё-таки доехал до хоста с 'browser' в цепочке, значит
+  // браузерная нога не сработала: отказываем понятно и идём к следующему.
+  async function browser() {
+    return {
+      ok: false,
+      provider: 'browser',
+      reason: 'browser: распознавание идёт в браузере, на хосте его нет',
+    }
+  }
+
+  const out = { browser, deepgram, groq, hf, 'local-whisper': localWhisper }
   for (const spec of Array.isArray(cfg.customProviders) ? cfg.customProviders : []) {
     const key = String(spec && spec.key || '').trim()
     // Встроенные не перекрываем: иначе опечатка в имени тихо подменит рабочего

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@goodandready/dsh-voice",
-  "version": "0.4.2",
+  "version": "0.5.0",
   "description": "Voice input for DeepSeek Harness: dictation chunked by pauses and voice messages, each with its own provider fallback chain (Deepgram, Groq, HuggingFace, local whisper.cpp, plus any OpenAI-compatible API of your own).",
   "license": "MIT",
   "type": "module",