@goodandready/dsh-voice 0.8.2 → 0.8.4

package/lib/client.js

@@ -80,6 +80,10 @@ window.__ModuleLoader__.load({
       'dictationHint': 'Speech is cut at pauses and the text is appended to the input.',
       'pauseMs': 'Pause that ends a phrase, ms',
       'pauseHint': 'Lower means more frequent chunks and faster text, but a higher risk of cutting a word',
+      'speaking': 'You are speaking…',
+      'silence': 'Pause…',
+      'normalizeTranscript': 'Normalize file transcripts',
+      'normalizeTranscriptHint': 'transcribe_audio: spoken numbers to digits, tidy punctuation',
       'messageTitle': 'Voice message',
       'messageHint': 'One whole recording, sent to the agent once it is transcribed.',
       'undoMs': 'Undo window, ms',
@@ -155,6 +159,10 @@ window.__ModuleLoader__.load({
       'dictationHint': 'Речь режется по паузам, текст дописывается в строку ввода.',
       'pauseMs': 'Пауза до конца фразы, мс',
       'pauseHint': 'Меньше — чаще куски и быстрее текст, но выше риск обрезать слово',
+      'speaking': 'Вы говорите…',
+      'silence': 'Пауза…',
+      'normalizeTranscript': 'Нормализация расшифровок',
+      'normalizeTranscriptHint': 'transcribe_audio: числа словами — в цифры, аккуратная пунктуация',
       'messageTitle': 'Голосовое сообщение',
       'messageHint': 'Одна запись целиком, после распознавания уходит агенту.',
       'undoMs': 'Окно отмены, мс',
@@ -276,14 +284,24 @@ window.__ModuleLoader__.load({
       return String(parsed.text || '').trim()
     }
 
+    function tidyPhrase(text) {
+      let s = String(text || '').trim()
+      if (!s) return s
+      s = s.replace(/\s*,\s*/g, ', ')
+      s = s.replace(/(^|[.!?\n]\s+)([a-zа-яё])/gi, (m, lead, ch) => lead + ch.toUpperCase())
+      return s
+    }
+
     function appendDraft(text) {
       const actions = voice.inputActions
       if (!actions || typeof actions.setDraft !== 'function') {
         voice.set({ phase: 'error', error: t('composerUnavailable') })
         return
       }
+      const clean = tidyPhrase(text)
+      if (!clean) return
       const draft = voice.input && typeof voice.input.draft === 'string' ? voice.input.draft : ''
-      actions.setDraft(draft ? draft + ' ' + text : text)
+      actions.setDraft(draft ? draft + ' ' + clean : clean)
     }
 
     // Как клавиша называется на человеческом языке.
@@ -717,6 +735,8 @@ window.__ModuleLoader__.load({
           if (voice.levels.length > 150) voice.levels.shift()
           if (level > 0.06) { rec.hadSpeech = true; rec.silenceMs = 0 }
           else if (rec.hadSpeech) rec.silenceMs += tick
+          const speaking = level > 0.06
+          if (voice.speaking !== speaking) { voice.speaking = speaking; voice.notify() }
           if (rec.mode === 'dictation' && rec.hadSpeech && rec.silenceMs >= voice.settings.vadSilenceMs) {
             cutPhrase()
           }
@@ -770,6 +790,7 @@ window.__ModuleLoader__.load({
 
       if (v.phase === 'recording') {
         const inBrowser = !!voice.browser
+        const rec = voice.rec
         const hint = v.mode === 'dictation' ? t('dictationPill') : t('messagePill')
         // Живая подпись: что слышно прямо сейчас. Пока браузер не выдал
         // окончательный кусок, текст черновой и меняется на глазах.
@@ -784,7 +805,9 @@ window.__ModuleLoader__.load({
               ? caption
               : (voice.holding
                 ? t('holdHint')
-                : (inBrowser ? t('listening') : hint))),
+                : (inBrowser
+                  ? t('listening')
+                  : (rec && rec.hadSpeech ? (v.speaking ? t('speaking') : t('silence')) : hint)))),
           React.createElement('button', { type: 'button', className: 'dvo-pbtn', title: t('stop'), onClick: stopCurrent }, stopIcon()),
         )
       }
@@ -1217,6 +1240,12 @@ window.__ModuleLoader__.load({
               type: 'checkbox', checked: !!(draft && draft.autoStart), disabled: !writable,
               onChange: (e) => setTop('autoStart', e.target.checked),
             })),
+          React.createElement('label', { className: 'dvs-field', title: t('normalizeTranscriptHint') },
+            t('normalizeTranscript'),
+            React.createElement('input', {
+              type: 'checkbox', checked: !!(draft && draft.normalizeTranscript), disabled: !writable,
+              onChange: (e) => setTop('normalizeTranscript', e.target.checked),
+            })),
         ),
         React.createElement('div', { className: 'dvs-row' },
           React.createElement('button', { type: 'button', className: 'dvs-save', disabled: !writable, onClick: save }, t('save')),

package/lib/index.js

@@ -20,6 +20,11 @@ import path from 'node:path'
 import { runChain } from './chain.js'
 import { makeProviders, PROVIDER_KEYS, PRESET_KEYS, KNOWN_KEYS, DEFAULT_MODELS, CUSTOM_TEMPLATES } from './providers.js'
 import { toWav16k } from './wav.js'
+import { normalizePhrase } from './normalize.js'
+
+function isAutoLang(lang) {
+  return !lang || lang === 'auto' || String(lang).includes(',')
+}
 
 export const name = 'dsh-voice'
 export const inject = ['tools', 'credentials', 'webServer', 'shell', 'settings']
@@ -91,6 +96,8 @@ export const Config = z.object({
     .description('ffmpeg used to convert browser webm/opus into the WAV that whisper.cpp requires.'),
   timeoutMs: z.number().default(120000),
   maxFileBytes: z.number().default(25 * 1024 * 1024),
+  normalizeTranscript: z.boolean().default(false)
+    .description('transcribe_audio: convert spoken numbers to digits and tidy punctuation.'),
 })
 
 const MIME_BY_EXT = {
@@ -164,7 +171,7 @@ export function apply(ctx, baseConfig) {
     try {
       const spec = ctx.shell.resolve({
         command: `${JSON.stringify(cfg.whisperBin)} -m ${JSON.stringify(cfg.whisperModel)}`
-          + ` --host 127.0.0.1 --port 8001 -t 8 -p 1 -l ${cfg.dictation.language}`,
+          + ` --host 127.0.0.1 --port 8001 -t 8 -p 1 -l ${isAutoLang(cfg.dictation.language) ? 'auto' : cfg.dictation.language}`,
         timeoutMs: 0,
         stdoutMaxBytes: 4 * 1024 * 1024,
       })
@@ -312,7 +319,13 @@ export function apply(ctx, baseConfig) {
         const mime = MIME_BY_EXT[path.extname(filePath).toLowerCase()] || 'audio/wav'
         const bytes = await readFile(filePath)
         const modeCfg = { ...cfg.message, language: String(args.language || cfg.message.language) }
-        return transcribe(modeCfg, bytes, mime, exec.signal)
+        const out = await transcribe(modeCfg, bytes, mime, exec.signal)
+        if (cfg.normalizeTranscript && out && out.text) {
+          out.text = normalizePhrase(out.text, {
+            digits: true, capSentences: true, commaSpacing: true, trailingPeriod: true,
+          })
+        }
+        return out
       },
     }),
   )

package/lib/normalize.js

@@ -0,0 +1,56 @@
+// Постобработка распознанного текста перед вставкой в композер.
+// Без сети и без cordis — чистые функции, чтобы поведение проверить юнитами.
+
+export function capitalizeSentences(text) {
+  return text.replace(/(^|[.!?\n]\s+)([a-zа-яё])/gi, (m, lead, ch) => lead + ch.toUpperCase())
+}
+
+export function fixCommaSpacing(text) {
+  return text.replace(/\s*,\s*/g, ', ')
+}
+
+export function ensureTrailingPeriod(text) {
+  const t = String(text || '').trim()
+  if (!t) return t
+  if (/[.!?…]$/.test(t)) return t
+  return t + '.'
+}
+
+const NUM_WORDS = {
+  ноль: 0, один: 1, одна: 1, два: 2, две: 2, три: 3, четыре: 4, пять: 5,
+  шесть: 6, семь: 7, восемь: 8, девять: 9, десять: 10, одиннадцать: 11,
+  двенадцать: 12, тринадцать: 13, четырнадцать: 14, пятнадцать: 15,
+  шестнадцать: 16, семнадцать: 17, восемнадцать: 18, девятнадцать: 19,
+  двадцать: 20, тридцать: 30, сорок: 40, пятьдесят: 50, шестьдесят: 60,
+  семьдесят: 70, восемьдесят: 80, девяносто: 90, сто: 100, двести: 200,
+  триста: 300, четыреста: 400, пятьсот: 500, шестьсот: 600, семьсот: 700,
+  восемьсот: 800, девятьсот: 900, тысяча: 1000, тысячи: 1000, тысяч: 1000,
+  миллион: 1000000, миллиона: 1000000, миллионов: 1000000,
+}
+
+const NUM_NAMES = Object.keys(NUM_WORDS).sort((a, b) => b.length - a.length).join('|')
+const NUM_SEQ = new RegExp('(' + NUM_NAMES + ')(?:\\s+(' + NUM_NAMES + '))*', 'gi')
+
+export function wordsToDigits(text) {
+  return text.replace(NUM_SEQ, (m) => {
+    const parts = m.trim().split(/\s+/)
+    let total = 0
+    let cur = 0
+    for (const w of parts) {
+      const v = NUM_WORDS[w.toLowerCase()]
+      if (v === 1000 || v === 1000000) { total += (cur || 1) * v; cur = 0 }
+      else cur += v
+    }
+    return String(total + cur)
+  })
+}
+
+export function normalizePhrase(text, opts = {}) {
+  let out = String(text || '').trim()
+  if (!out) return out
+  if (opts.digits) out = wordsToDigits(out)
+  if (opts.commaSpacing) out = fixCommaSpacing(out)
+  if (opts.capSentences) out = capitalizeSentences(out)
+  if (opts.trailingPeriod) out = ensureTrailingPeriod(out)
+  return out
+}

package/lib/providers.js

@@ -98,6 +98,12 @@ function fileName(mime) {
   return 'audio.webm'
 }
 
+// Автоязык: пусто, 'auto' или список ('ru,en') — провайдер определяет сам,
+// поле language не отправляется. whisper.cpp при этом получает -l auto.
+function isAutoLang(lang) {
+  return !lang || lang === 'auto' || String(lang).includes(',')
+}
+
 export function makeProviders(deps, req) {
   const { resolveKey, fetchImpl, cfg } = deps
   const { bytes, mime, lang, signal, models } = req
@@ -107,7 +113,7 @@ export function makeProviders(deps, req) {
     if (!key) return { ok: false, provider: 'deepgram', reason: `no ${cfg.deepgramKeyEnv}` }
     const model = pickModel(models, 'deepgram')
     const url = `https://api.deepgram.com/v1/listen?model=${encodeURIComponent(model)}`
-      + `&language=${encodeURIComponent(lang)}&smart_format=true`
+      + (!isAutoLang(lang) ? `&language=${encodeURIComponent(lang)}` : '') + '&smart_format=true'
     const res = await fetchImpl(url, {
       method: 'POST',
       headers: { authorization: `Token ${key}`, 'content-type': mime },
@@ -126,7 +132,7 @@ export function makeProviders(deps, req) {
     const form = new FormData()
     form.append('file', new Blob([bytes], { type: mime }), fileName(mime))
     form.append('model', pickModel(models, 'groq'))
-    form.append('language', lang)
+    if (!isAutoLang(lang)) form.append('language', lang)
     form.append('response_format', 'json')
     const res = await fetchImpl('https://api.groq.com/openai/v1/audio/transcriptions', {
       method: 'POST',
@@ -174,7 +180,7 @@ export function makeProviders(deps, req) {
     }
     const form = new FormData()
     form.append('file', new Blob([sendBytes], { type: sendMime }), fileName(sendMime))
-    form.append('language', lang)
+    if (!isAutoLang(lang)) form.append('language', lang)
     form.append('response_format', 'json')
     const res = await fetchImpl(cfg.whisperUrl, { method: 'POST', body: form, signal })
     // whisper.cpp отвечает 400 с JSON-телом на внутренних сбоях (например, не

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@goodandready/dsh-voice",
-  "version": "0.8.2",
+  "version": "0.8.4",
   "description": "Voice input for DeepSeek Harness: dictation chunked by pauses and voice messages, each with its own provider fallback chain (Deepgram, Groq, HuggingFace, local whisper.cpp, plus any OpenAI-compatible API of your own).",
   "license": "MIT",
   "type": "module",