@cachly-dev/mcp-server 0.5.48 → 0.5.50

package/dist/index.d.ts

@@ -33,8 +33,11 @@ declare function expandCrossLingual(token: string): string[];
  * Features:
  *  • CJK → character bigrams
  *  • Katakana → additionally emits Hepburn romaji tokens (enables romaji queries)
- *  • Arabic/Hebrew → word tokenization with light Arabic stemming
- *  • All scripts → cross-lingual synonym expansion (EN↔JA↔ZH↔KO↔AR↔HE)
+ *  • Arabic  → word tokenization + iterative prefix stemming (ال/و/ب/ل/ف/ك)
+ *  • Hebrew  → word tokenization + iterative prefix stemming (ה/ו/ב/ל/מ/כ)
+ *  • Farsi   → word tokenization + suffix/prefix stemming (ها/های plural, می prefix)
+ *  • Hindi   → Devanagari word tokenization + light suffix stemming
+ *  • All scripts → cross-lingual synonym expansion (EN↔JA↔ZH↔KO↔AR↔HE↔FA↔HI↔DE↔FR↔ES↔IT↔PT)
  */
 declare function tokenize(text: string): string[];
 /**

package/dist/index.js

@@ -47,7 +47,7 @@ import { Redis } from 'ioredis';
 const API_URL = process.env.CACHLY_API_URL ?? 'https://api.cachly.dev';
 const JWT = process.env.CACHLY_JWT ?? '';
 const EMBED_MODEL = process.env.CACHLY_EMBED_MODEL ?? '';
-const CURRENT_VERSION = '0.5.48';
+const CURRENT_VERSION = '0.5.50';
 /**
  * ┌──────────────────────────────────────────────────────────────────────┐
  * │  EMBEDDING PROVIDER — pluggable, client-side first                  │
@@ -403,12 +403,36 @@ const STOPWORDS = new Set([
     'רק', 'עוד', 'יש', 'אין', 'מה', 'זה', 'זאת', 'אלה', 'כל', 'כן',
     'לו', 'לה', 'להם', 'בו', 'בה', 'בהם', 'שם', 'כך', 'כן', 'מי',
     'אשר', 'אחרי', 'לפני', 'תחת', 'בין', 'מאז', 'עד', 'כמו', 'אז',
+    // ── Farsi/Persian — common function words, prepositions, pronouns ──
+    'در', 'از', 'به', 'با', 'که', 'این', 'آن', 'را', 'است',
+    'بود', 'باشد', 'شد', 'شده', 'می', 'نه', 'نیست', 'هم', 'هر',
+    'یک', 'اما', 'و', 'یا', 'تا', 'اگر', 'برای', 'چون', 'چه',
+    'کجا', 'کی', 'چطور', 'وقتی', 'بعد', 'قبل', 'مثل', 'همه', 'بعضی',
+    'هیچ', 'آیا', 'خود', 'چند', 'دیگر', 'هنوز', 'همان', 'آنها', 'اینها',
+    'ما', 'شما', 'آنان', 'من', 'تو', 'او', 'آنان', 'ایشان',
+    'روی', 'زیر', 'بین', 'پیش', 'پس', 'طرف', 'داخل', 'خارج', 'کنار',
+    'همچنین', 'مگر', 'ولی', 'وگرنه', 'چرا', 'چگونه', 'کدام',
+    // ── Hindi — common particles, postpositions, pronouns, auxiliary verbs ──
+    'है', 'में', 'से', 'को', 'का', 'की', 'के', 'पर', 'और', 'या',
+    'नहीं', 'यह', 'वह', 'एक', 'इस', 'उस', 'भी', 'हो', 'था', 'थी',
+    'थे', 'हैं', 'हूँ', 'लिए', 'तक', 'साथ', 'बाद', 'पहले', 'जो',
+    'जब', 'कैसे', 'क्यों', 'क्या', 'कहाँ', 'कौन', 'हम', 'आप', 'वे',
+    'मैं', 'तुम', 'उन', 'इन', 'ने', 'बहुत', 'सब', 'कुछ', 'फिर',
+    'अब', 'तो', 'ही', 'तरह', 'जैसे', 'करना', 'होना', 'रहा', 'रही',
+    'रहे', 'गया', 'गई', 'गए', 'किया', 'किए', 'कर', 'हुआ', 'हुई',
 ]);
 // CJK Unicode ranges used for bigram extraction
 const CJK_RE = /[\u3040-\u30ff\u3400-\u4dbf\u4e00-\u9fff\uf900-\ufaff\uac00-\ud7af]/;
 const SEGMENT_RE = /([\u3040-\u30ff\u3400-\u4dbf\u4e00-\u9fff\uf900-\ufaff\uac00-\ud7af]+|[^\u3040-\u30ff\u3400-\u4dbf\u4e00-\u9fff\uf900-\ufaff\uac00-\ud7af]+)/g;
 // RTL Unicode ranges: Arabic (U+0600–U+06FF + extended), Hebrew (U+0590–U+05FF)
 const RTL_RE = /[\u0590-\u05ff\u0600-\u06ff\u0750-\u077f\u08a0-\u08ff\ufb1d-\ufb4f\ufb50-\ufdff\ufe70-\ufeff]/;
+// Distinguish Arabic from Hebrew within RTL segments
+const HEBREW_CHAR_RE = /[\u0590-\u05ff\ufb1d-\ufb4f]/;
+const ARABIC_CHAR_RE = /[\u0600-\u06ff\u0750-\u077f\u08a0-\u08ff\ufb50-\ufdff\ufe70-\ufeff]/;
+// Persian/Farsi: exclusive chars not in Arabic (U+067E=پ, U+0686=چ, U+0698=ژ, U+06AF=گ, U+06CC=ی)
+const FARSI_CHAR_RE = /[\u067e\u0686\u0698\u06af\u06cc]/;
+// Devanagari (Hindi, Sanskrit, Marathi …) — U+0900–U+097F + extended
+const DEVANAGARI_RE = /[\u0900-\u097f]/;
 // ── Katakana → Romaji conversion table (Hepburn system) ──────────────────────
 // Digraphs must be listed before single chars so they match first.
 const KATA_ROMAJI_TABLE = [
@@ -509,7 +533,86 @@ function arabicLightStem(word) {
     }
     return result;
 }
-// ── Cross-lingual tech term dictionary ────────────────────────────────────────
+/**
+ * Hebrew light stemmer — strips the definite article and common prefix particles
+ * that attach directly to words (no space) in Hebrew.
+ *
+ * Handles:
+ *   ה (ha-) — definite article:   הפריסה → פריסה
+ *   ו (ve-/u-) — conjunction “and”: ופריסה → פריסה
+ *   ב (be-/bi-) — preposition “in”: בסביבה → סביבה
+ *   ל (le-/li-) — preposition “for”: לשרת → שרת
+ *   מ (mi-/me-) — preposition “from”: מהשרת → השרת → שרת
+ *   כ (ke-/ki-) — preposition “like”: כשרת → שרת
+ *
+ * Iterative (max 3 passes): מהפריסה → הפריסה → פריסה.
+ * Only strips when result is still ≥ 3 chars.
+ */
+function hebrewLightStem(word) {
+    let result = word;
+    for (let i = 0; i < 3; i++) {
+        const prev = result;
+        if (result.length > 3 && 'הובלמכ'.includes(result[0]) && HEBREW_CHAR_RE.test(result[1])) {
+            result = result.slice(1);
+        }
+        if (result === prev)
+            break;
+    }
+    return result;
+}
+/**
+ * Farsi/Persian light stemmer — handles Persian morphology.
+ * Strips:
+ *   \u0647\u0627 / \u0647\u0627\u06cc (ha/haye) — plural suffixes:  \u0633\u0631\u0648\u0631\u0647\u0627 \u2192 \u0633\u0631\u0648\u0631
+ *   \u0645\u06cc\u200c / \u0645\u06cc   (mi-)    — present-tense prefix: \u0645\u06cc\u200c\u06a9\u0646\u062f \u2192 \u06a9\u0646\u062f
+ *   \u0646\u0645\u06cc\u200c             (nami-)  — negated present:  \u0646\u0645\u06cc\u200c\u0634\u0648\u062f \u2192 \u0634\u0648\u062f
+ * Only strips when the result is still \u2265 3 chars.
+ */
+function farsiLightStem(word) {
+    let result = word;
+    // Suffixes first (longest first)
+    if (result.endsWith('\u0647\u0627\u06cc') && result.length > 5)
+        result = result.slice(0, -3);
+    else if (result.endsWith('\u0647\u0627') && result.length > 4)
+        result = result.slice(0, -2);
+    // Prefixes
+    if (result.startsWith('\u0646\u0645\u06cc\u200c') && result.length > 5)
+        result = result.slice(4);
+    else if (result.startsWith('\u0645\u06cc\u200c') && result.length > 4)
+        result = result.slice(3);
+    else if (result.startsWith('\u0645\u06cc') && result.length > 4)
+        result = result.slice(2);
+    return result;
+}
+/**
+ * Hindi light stemmer — strips the most common inflectional suffixes.
+ * Handles basic verb forms and oblique plural markers.
+ * Avoids over-stemming loanwords (most tech terms in Hindi are English loanwords).
+ * Only strips when result is still \u2265 3 chars.
+ */
+function hindiLightStem(word) {
+    const result = word;
+    // Infinitive / verb suffixes (longest first to avoid partial match)
+    if (result.endsWith('\u0928\u093e') && result.length > 4)
+        return result.slice(0, -2); // \u0928\u093e (nā) infinitive
+    if (result.endsWith('\u0928\u0947') && result.length > 4)
+        return result.slice(0, -2); // \u0928\u0947 (ne) ergative
+    if (result.endsWith('\u0928\u0940') && result.length > 4)
+        return result.slice(0, -2); // \u0928\u0940 (nī) fem infinitive
+    if (result.endsWith('\u0924\u093e') && result.length > 4)
+        return result.slice(0, -2); // \u0924\u093e (tā) m present participle
+    if (result.endsWith('\u0924\u0940') && result.length > 4)
+        return result.slice(0, -2); // \u0924\u0940 (tī) f present participle
+    if (result.endsWith('\u0915\u0930') && result.length > 4)
+        return result.slice(0, -2); // \u0915\u0930 (kar) conjunctive
+    if (result.endsWith('\u0913\u0902') && result.length > 4)
+        return result.slice(0, -2); // \u0913\u0902 (oṃ) oblique plural
+    if (result.endsWith('\u0907\u092f\u093e\u0902') && result.length > 5)
+        return result.slice(0, -4); // \u0907\u092f\u093e\u0902 (iyāṃ) f plural
+    if (result.endsWith('\u0940\u092f\u093e\u0902') && result.length > 5)
+        return result.slice(0, -4); // \u0940\u092f\u093e\u0902 (īyāṃ)
+    return result;
+}
 // Maps tokens (English, Japanese katakana, Chinese, Korean, Arabic, Hebrew)
 // to their equivalents in other languages. Used to expand tokens at search time
 // so "deploy" finds documents containing "デプロイ" / "部署" / "배포", and vice versa.
@@ -517,27 +620,30 @@ function arabicLightStem(word) {
 // Keys must be lowercase. CJK values will be bigram-expanded at use time.
 const CROSS_LINGUAL_MAP = new Map([
     // English → all
-    ['deploy', ['デプロイ', '部署', '배포', 'deployment', 'deploying', 'نشر', 'bereitstellen', 'bereitstellung', 'déployer', 'déploiement', 'desplegar', 'despliegue', 'distribuire', 'distribuzione', 'implantar', 'implantação']],
-    ['deployment', ['デプロイ', '部署', '배포', 'deploy', 'bereitstellung', 'déploiement', 'despliegue', 'distribuzione', 'implantação']],
+    ['deploy', ['デプロイ', '部署', '배포', 'deployment', 'deploying', 'نشر', 'פריסה', 'استقرار', 'तैनाती', 'bereitstellen', 'bereitstellung', 'déployer', 'déploiement', 'desplegar', 'despliegue', 'distribuire', 'distribuzione', 'implantar', 'implantação']],
+    ['deployment', ['デプロイ', '部署', '배포', 'deploy', 'نشر', 'פריסה', 'استقرار', 'तैनाती', 'bereitstellung', 'déploiement', 'despliegue', 'distribuzione', 'implantação']],
     ['container', ['コンテナ', '容器', '컨테이너', 'docker']],
-    ['server', ['サーバー', 'サーバ', '服务器', '서버', 'سيرفر', 'שרת']],
-    ['database', ['データベース', '数据库', '데이터베이스', 'db', 'قاعدة البيانات', 'datenbank', 'base de données', 'base de datos', 'banco de dados']],
-    ['cache', ['キャッシュ', '缓存', '캐시', 'كاش', 'מטמון']],
-    ['error', ['エラー', '错误', '오류', 'خطأ', 'שגיאה', 'exception', 'err', 'fehler', 'erreur', 'fallo', 'errore', 'erro']],
-    ['bug', ['バグ', '缺陷', '버그', 'issue', 'defect', 'خلل']],
-    ['fix', ['修正', '修复', '수정', 'bugfix', 'patch', 'hotfix', 'إصلاح', 'תיקון', 'beheben', 'behoben', 'réparer', 'correction', 'arreglar', 'corrección', 'correggere', 'corrigir']],
-    ['build', ['ビルド', '构建', '빌드', 'بناء', 'בנייה', 'bauen', 'construire', 'construir', 'costruire']],
-    ['test', ['テスト', '测试', '테스트', 'اختبار', 'בדיקה', 'testen', 'tester', 'probar', 'testare', 'testar']],
-    ['auth', ['認証', '认证', '인증', 'authentication', 'login', 'oauth', 'مصادقة', 'אימות', 'authentifizierung', 'authentification', 'autenticación', 'autenticazione', 'autenticação']],
-    ['authentication', ['auth', 'مصادقة', 'אימות', '認証', '认证', '인증', 'login', 'oauth']],
+    ['server', ['サーバー', 'サーバ', '服务器', '서버', 'سيرفر', 'שרת', 'سرور', 'सर्वर']],
+    ['database', ['データベース', '数据库', '데이터베이스', 'db', 'قاعدة البيانات', 'datenbank', 'پایگاه داده', 'डेटाबेس', 'base de données', 'base de datos', 'banco de dados']],
+    ['cache', ['キャッシュ', '缓存', '캐시', 'كاش', 'מטמון', 'کش', 'कैश']],
+    ['error', ['エラー', '错误', '오류', 'خطأ', 'شגיאה', 'خطا', 'त्रुटि', 'गलती', 'exception', 'err', 'fehler', 'erreur', 'fallo', 'errore', 'erro']],
+    ['bug', ['バグ', '缺陷', '버그', 'issue', 'defect', 'خلل', 'اشکال', 'बग']],
+    ['fix', ['修正', '修复', '수정', 'bugfix', 'patch', 'hotfix', 'إصلاح', 'תיקון', 'رفع', 'सुधार', 'beheben', 'behoben', 'réparer', 'correction', 'arreglar', 'corrección', 'correggere', 'corrigir']],
+    ['build', ['ビルド', '构建', '빌드', 'بناء', 'בנייה', 'ساخت', 'निर्माण', 'bauen', 'construire', 'construir', 'costruire']],
+    ['test', ['テスト', '测试', '테스트', 'اختبار', 'בדיקה', 'آزمایش', 'परीक्षण', 'testen', 'tester', 'probar', 'testare', 'testar']],
+    ['auth', ['認証', '认证', '인증', 'authentication', 'login', 'oauth', 'مصادقة', 'אימות', 'احراز هویت', 'प्रमाणीकरण', 'authentifizierung', 'authentification', 'autenticación', 'autenticazione', 'autenticação']],
+    ['authentication', ['auth', 'مصادقة', 'אימות', 'احراز هویت', 'प्रमाणीकरण', '認証', '认证', '인증', 'login', 'oauth']],
+    ['environment', ['環境', '环境', '환경', 'env', 'بيئة', 'סביבה', 'umgebung', 'environnement', 'entorno', 'ambiente']],
+    ['secret', ['key', 'token', 'password', 'jwt', 'مفتاح', 'מפתח', 'geheimnis', 'schlüssel', 'clave', 'clé', 'chiave', 'chave']],
+    ['problem', ['error', 'issue', 'bug', 'failure', 'مشكلة', 'بعيا', '問題', '問題', '오류', 'fehler', 'problème', 'problema']],
     ['kubernetes', ['クベルネテス', 'k8s', 'kube']],
-    ['network', ['ネットワーク', '网络', '네트워크', 'شبكة', 'רשת', 'netzwerk', 'réseau', 'red', 'rete', 'rede']],
+    ['network', ['ネットワーク', '网络', '네트워크', 'شبكة', 'רשת', 'شبکه', 'नेटवर्क', 'netzwerk', 'réseau', 'red', 'rete', 'rede']],
     ['timeout', ['タイムアウト', '超时', '타임아웃', 'مهلة']],
-    ['memory', ['メモリ', '内存', '메모리', 'ram', 'ذاكرة', 'זיכרון', 'speicher', 'mémoire', 'memoria', 'memória']],
-    ['config', ['設定', '配置', '설정', 'configuration', 'settings', 'conf', 'إعدادات', 'הגדרות', 'konfiguration', 'einstellungen', 'configuración', 'configurazione', 'configuração']],
-    ['install', ['インストール', '安装', '설치', 'تثبيت', 'התקנה', 'installieren', 'installer', 'instalar', 'installare']],
-    ['update', ['アップデート', '更新', '업데이트', 'upgrade', 'تحديث', 'עדכון', 'aktualisieren', 'aktualisierung', 'actualizar', 'aggiornare', 'atualizar']],
-    ['log', ['ログ', '日志', '로그', 'logging', 'سجل', 'יומן', 'protokoll', 'protokolle', 'journal', 'registro']],
+    ['memory', ['メモリ', '内存', '메모리', 'ram', 'ذاكرة', 'זיכרון', 'حافظه', 'मेमोरी', 'speicher', 'mémoire', 'memoria', 'memória']],
+    ['config', ['設定', '配置', '설정', 'configuration', 'settings', 'conf', 'إعدادات', 'הגדרות', 'پیکربندی', 'कॉन्फ़िग', 'konfiguration', 'einstellungen', 'configuración', 'configurazione', 'configuração']],
+    ['install', ['インストール', '安装', '설치', 'تثبيت', 'התקנה', 'نصب', 'इंस्टॉल', 'installieren', 'installer', 'instalar', 'installare']],
+    ['update', ['アップデート', '更新', '업데이트', 'upgrade', 'تحديث', 'עדכון', 'به‌روزرسانی', 'अपडेट', 'aktualisieren', 'aktualisierung', 'actualizar', 'aggiornare', 'atualizar']],
+    ['log', ['ログ', '日志', '로그', 'logging', 'سجل', 'יומן', 'ثبت', 'लॉग', 'protokoll', 'protokolle', 'journal', 'registro']],
     ['port', ['ポート', '端口', '포트', 'منفذ', 'פורט']],
     ['file', ['ファイル', '文件', '파일', 'ملف', 'קובץ']],
     ['image', ['イメージ', '镜像', '이미지', 'صورة', 'תמונה', 'abbild', 'imagen', 'imagem']],
@@ -550,10 +656,10 @@ const CROSS_LINGUAL_MAP = new Map([
     ['token', ['トークン', '令牌', '토큰', 'jwt', 'secret', 'رمز', 'אסימון']],
     ['health', ['ヘルス', '健康', '헬스', 'healthcheck', 'probe', 'صحة']],
     ['migration', ['マイグレーション', '迁移', '마이그레이션', 'migrate', 'هجرة']],
-    ['backup', ['バックアップ', '备份', '백업', 'نسخ احتياطي', 'גיבוי', 'sicherung', 'sauvegarde', 'respaldo', 'cópia de segurança']],
-    ['monitor', ['モニター', '监控', '모니터링', 'monitoring', 'metrics', 'alert', 'مراقبة', 'ניטור', 'überwachung', 'surveiller', 'monitoreo', 'monitorare', 'monitorar']],
-    ['performance', ['パフォーマンス', '性能', '성능', 'latency', 'throughput', 'leistung', 'performances', 'rendimiento', 'prestazioni', 'desempenho']],
-    ['connection', ['接続', '连接', '연결', 'conn', 'socket', 'اتصال', 'חיבור', 'verbindung', 'connexion', 'conexión', 'connessione', 'conexão']],
+    ['backup', ['バックアップ', '备份', '백업', 'نسخ احتياطي', 'גיבוי', 'پشتیبان‌گیری', 'बैकअप', 'sicherung', 'sauvegarde', 'respaldo', 'cópia de segurança']],
+    ['monitor', ['モニター', '监控', '모니터링', 'monitoring', 'metrics', 'alert', 'مراقبة', 'ניטור', 'نظارت', 'निगरानी', 'überwachung', 'surveiller', 'monitoreo', 'monitorare', 'monitorar']],
+    ['performance', ['パフォーマンス', '性能', '성능', 'latency', 'throughput', 'عملکرد', 'प्रदर्शन', 'leistung', 'performances', 'rendimiento', 'prestazioni', 'desempenho']],
+    ['connection', ['接続', '连接', '연결', 'conn', 'socket', 'اتصال', 'חיבור', 'اتصال', 'कनेक्शन', 'verbindung', 'connexion', 'conexión', 'connessione', 'conexão']],
     ['queue', ['キュー', '队列', '큐', 'طابور', 'warteschlange', 'file d\'attente', 'cola', 'coda', 'fila']],
     ['redis', ['レディス', '레디스']],
     ['nginx', ['エンジンエックス']],
@@ -567,10 +673,10 @@ const CROSS_LINGUAL_MAP = new Map([
     ['git', ['version control', 'repo', 'repository', 'commit', 'push', 'pull']],
     ['ci', ['pipeline', 'github actions', 'gitlab', 'jenkins', 'build']],
     ['cd', ['deploy', 'deployment', 'release']],
-    ['debug', ['デバッグ', '调试', '디버그', 'debugging', 'breakpoint', 'تصحيح', 'איתור באגים', 'debuggen', 'déboguer', 'depurar']],
-    ['crash', ['クラッシュ', '崩溃', '크래시', 'panic', 'segfault', 'انهيار', 'קריסה', 'absturz', 'panne', 'plantage', 'caída', 'falha']],
-    ['restart', ['再起動', '重启', '재시작', 'reboot', 'إعادة تشغيل', 'הפעלה מחדש', 'neustart', 'redémarrer', 'reiniciar', 'riavviare']],
-    ['permission', ['権限', '权限', '권한', 'access', 'acl', 'chmod', 'صلاحية', 'הרשאה', 'berechtigung', 'berechtigungen', 'permiso', 'permesso', 'permissão']],
+    ['debug', ['デバッグ', '调试', '디버그', 'debugging', 'breakpoint', 'تصحيح', 'איתור באגים', 'اشکال‌زدایی', 'डीबग', 'debuggen', 'déboguer', 'depurar']],
+    ['crash', ['クラッシュ', '崩溃', '크래시', 'panic', 'segfault', 'انهيار', 'קריסה', 'خرابی', 'क्रैश', 'absturz', 'panne', 'plantage', 'caída', 'falha']],
+    ['restart', ['再起動', '重启', '재시작', 'reboot', 'إعادة تشغيل', 'הפעלה מחדש', 'راه‌اندازی مجدد', 'पुنरारंभ', 'neustart', 'redémarrer', 'reiniciar', 'riavviare']],
+    ['permission', ['権限', '权限', '권한', 'access', 'acl', 'chmod', 'صلاحية', 'הרשאה', 'مجوز', 'अनुमति', 'berechtigung', 'berechtigungen', 'permiso', 'permesso', 'permissão']],
     // Japanese katakana → English
     ['デプロイ', ['deploy', 'deployment']],
     ['コンテナ', ['container', 'docker']],
@@ -707,6 +813,13 @@ const CROSS_LINGUAL_MAP = new Map([
     ['قرص', ['disk', 'storage']],
     ['خادم', ['server']],
     ['برنامج', ['application', 'software', 'app']],
+    // Arabic terms from blog examples
+    ['مشكلة', ['error', 'issue', 'bug', 'problem', 'failure']],
+    ['بيئة', ['environment', 'env']],
+    ['متغيرات', ['variables', 'env', 'environment']],
+    ['إنتاج', ['production', 'prod']],
+    ['سري', ['secret', 'key', 'token']],
+    ['مفتاح سري', ['secret', 'key']],
     // Hebrew → English
     ['שגיאה', ['error']],
     ['תיקון', ['fix']],
@@ -742,6 +855,74 @@ const CROSS_LINGUAL_MAP = new Map([
     ['ממשק תכנות', ['api', 'interface']],
     ['ביצועים', ['performance']],
     ['אחסון', ['storage', 'disk']],
+    // Hebrew terms from blog examples
+    ['פריסה', ['deploy', 'deployment']],
+    ['בעיה', ['error', 'issue', 'bug', 'problem']],
+    ['סביבה', ['environment', 'env']],
+    ['ייצור', ['production', 'prod']],
+    ['סודי', ['secret', 'key', 'token']],
+    ['מפתח סודי', ['secret', 'key']],
+    // ── Farsi/Persian → English ───────────────────────────────────────────────
+    ['استقرار', ['deploy', 'deployment']],
+    ['خطا', ['error', 'err']], // Farsi: خطا  vs Arabic: خطأ
+    ['اشکال', ['bug', 'issue', 'error']],
+    ['رفع اشکال', ['fix', 'debug', 'debugging']],
+    ['ساخت', ['build']],
+    ['آزمایش', ['test']],
+    ['احراز هویت', ['auth', 'authentication']],
+    ['پیکربندی', ['config', 'configuration']],
+    ['نصب', ['install']],
+    ['به‌روزرسانی', ['update', 'upgrade']],
+    ['ثبت', ['log']],
+    ['سرور', ['server']],
+    ['پایگاه داده', ['database', 'db']],
+    ['شبکه', ['network']], // Farsi شبکه vs Arabic شبكة
+    ['حافظه', ['memory', 'ram']], // Farsi حافظه vs Arabic ذاكرة
+    ['کش', ['cache']],
+    ['اشکال‌زدایی', ['debug', 'debugging']],
+    ['خرابی', ['crash', 'failure', 'error']],
+    ['راه‌اندازی مجدد', ['restart', 'reboot']],
+    ['مجوز', ['permission', 'access']],
+    ['پشتیبان‌گیری', ['backup']],
+    ['عملکرد', ['performance']],
+    ['مشکل', ['problem', 'issue', 'error']],
+    ['سرویس', ['service']],
+    ['کلید', ['key', 'token', 'secret']],
+    ['محیط', ['environment', 'env']],
+    ['تولید', ['production', 'prod']],
+    ['رمز', ['secret', 'key', 'token']],
+    ['اتصال', ['connection', 'conn']],
+    // ── Hindi (Devanagari) → English ──────────────────────────────────────────
+    ['तैनाती', ['deploy', 'deployment']],
+    ['त्रुटि', ['error', 'err']],
+    ['गलती', ['error', 'bug', 'issue']],
+    ['सुधार', ['fix', 'bugfix']],
+    ['निर्माण', ['build']],
+    ['परीक्षण', ['test']],
+    ['प्रमाणीकरण', ['auth', 'authentication']],
+    ['विन्यास', ['config', 'configuration']],
+    ['कॉन्फ़िगरेशन', ['config', 'configuration']],
+    ['इंस्टॉल', ['install']],
+    ['अपडेट', ['update', 'upgrade']],
+    ['लॉग', ['log']],
+    ['सर्वर', ['server']],
+    ['डेटाबेस', ['database', 'db']],
+    ['नेटवर्क', ['network']],
+    ['मेमोरी', ['memory', 'ram']],
+    ['कैश', ['cache']],
+    ['डीबग', ['debug', 'debugging']],
+    ['क्रैश', ['crash', 'panic']],
+    ['पुनरारंभ', ['restart', 'reboot']],
+    ['अनुमति', ['permission', 'access']],
+    ['बैकअप', ['backup']],
+    ['प्रदर्शन', ['performance']],
+    ['समस्या', ['problem', 'issue', 'error']],
+    ['सेवा', ['service']],
+    ['कनेक्शन', ['connection', 'conn']],
+    ['पासवर्ड', ['password']],
+    ['टोकन', ['token', 'secret']],
+    ['वातावरण', ['environment', 'env']],
+    ['उत्पादन', ['production', 'prod']],
     // ── European languages → English ─────────────────────────────────────────
     // German (Deutsch) → English
     ['fehler', ['error', 'err']],
@@ -939,8 +1120,11 @@ function expandCrossLingual(token) {
  * Features:
  *  • CJK → character bigrams
  *  • Katakana → additionally emits Hepburn romaji tokens (enables romaji queries)
- *  • Arabic/Hebrew → word tokenization with light Arabic stemming
- *  • All scripts → cross-lingual synonym expansion (EN↔JA↔ZH↔KO↔AR↔HE)
+ *  • Arabic  → word tokenization + iterative prefix stemming (ال/و/ب/ل/ف/ك)
+ *  • Hebrew  → word tokenization + iterative prefix stemming (ה/ו/ב/ל/מ/כ)
+ *  • Farsi   → word tokenization + suffix/prefix stemming (ها/های plural, می prefix)
+ *  • Hindi   → Devanagari word tokenization + light suffix stemming
+ *  • All scripts → cross-lingual synonym expansion (EN↔JA↔ZH↔KO↔AR↔HE↔FA↔HI↔DE↔FR↔ES↔IT↔PT)
  */
 function tokenize(text) {
     const tokens = [];
@@ -979,12 +1163,33 @@ function tokenize(text) {
             }
         }
         else if (RTL_RE.test(seg)) {
-            // RTL segment (Arabic / Hebrew) — space-separated words with light stemming
+            // RTL segment — 3-way branch: Farsi / Hebrew / Arabic
             const words = seg.trim().split(/\s+/);
+            let stemFn;
+            if (FARSI_CHAR_RE.test(seg))
+                stemFn = farsiLightStem;
+            else if (HEBREW_CHAR_RE.test(seg))
+                stemFn = hebrewLightStem;
+            else
+                stemFn = arabicLightStem;
             for (const w of words) {
                 if (w.length <= 1 || STOPWORDS.has(w))
                     continue;
-                const stemmed = arabicLightStem(w);
+                const stemmed = stemFn(w);
+                if (stemmed.length > 1 && !STOPWORDS.has(stemmed))
+                    tokens.push(stemmed);
+            }
+        }
+        else if (DEVANAGARI_RE.test(seg)) {
+            // Devanagari segment (Hindi / Marathi) — naturally space-separated
+            // Words don't need bigram expansion; stems reduce inflected forms.
+            const words = seg.trim().split(/[\s\u200c\u200d]+/); // handle zero-width joiners
+            for (const w of words) {
+                // Keep Devanagari chars + digits; discard pure Latin portions (e.g. embedded numbers)
+                const deva = w.replace(/[^\u0900-\u097f0-9]/g, '');
+                if (deva.length <= 1 || STOPWORDS.has(deva))
+                    continue;
+                const stemmed = hindiLightStem(deva);
                 if (stemmed.length > 1 && !STOPWORDS.has(stemmed))
                     tokens.push(stemmed);
             }
@@ -1023,8 +1228,17 @@ function tokenize(text) {
                 }
             }
             else if (RTL_RE.test(syn)) {
-                // RTL synonym
-                const stemmed = arabicLightStem(syn);
+                // RTL synonym — apply correct stemmer per language
+                const rtlStem = FARSI_CHAR_RE.test(syn) ? farsiLightStem
+                    : HEBREW_CHAR_RE.test(syn) ? hebrewLightStem
+                        : arabicLightStem;
+                const stemmed = rtlStem(syn);
+                if (stemmed.length > 1 && !STOPWORDS.has(stemmed))
+                    expansions.push(stemmed);
+            }
+            else if (DEVANAGARI_RE.test(syn)) {
+                // Devanagari synonym (Hindi)
+                const stemmed = hindiLightStem(syn);
                 if (stemmed.length > 1 && !STOPWORDS.has(stemmed))
                     expansions.push(stemmed);
             }