freegate 0.6.26 → 0.6.27

package/lib/compactor.js

@@ -22,14 +22,14 @@ const KEEP_RECENT_TOKENS = 12000; // tokens — recent messages kept untouched (
 const MAX_COMPACT_THRESHOLD = 100000; // est tokens — cap for window-aware thresholds (≈200k real,
                                       // sits safely inside even 512k/1M windows without compacting too early)
 const SUMMARY_MAX_TOKENS = 2000;  // tokens — summary length cap (detailed enough to not lose the work)
-const CHARS_PER_TOKEN = 2.0;      // heuristic chars→tokens. 3.0 СЛИШКОМ занижал оценку:
-                                  // window-aware фильтр не отсеивал groq (окно 131k) при
-                                  // реальном контексте 140k+ → groq принимал слишком большой
-                                  // запрос и МОЛЧАЛ («no first token») → каскад → зависание
-                                  // на минуты. 2.0: диалог 300k+ символов оценивается >131k
-                                  // (groq отсеивается) и компактится (>60k), но обычный
-                                  // рабочий диалог агента компактится реже, чем при 1.5.
-                                  // Баланс: не занижаем для окна, не завышаем для компакций.
+const CHARS_PER_TOKEN = 3.5;      // heuristic chars→tokens. Реальная плотность ~3.5-4 chars
+                                  // на токен для кода/текста (был 3.6 изначально и работало).
+                                  // Ошибки: 2.0 ЗАВЫШАЛИ оценку вдвое → компакция сжимала
+                                  // уже на 36k контексте (хотя модель держит 100-150k+).
+                                  // 3.5 даёт точную оценку: 36k токенов ≈ 36k→ не компактится,
+                                  // работаем до реальных ~60k+ живого диалога.
+                                  // WINDOW_SAFETY (1.3×) в server.js компенсирует для отсева
+                                  // малых окон (groq 131k) при больших запросах.
 
 // Reliability-ordered long-context summarizers. Порядок важен: getSummary идёт
 // по списку и ждёт ПЕРВЫЙ отвечающий (до 30с). Медленные/непроверенные в начале

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "freegate",
-  "version": "0.6.26",
+  "version": "0.6.27",
   "description": "Free multi-provider LLM gateway with automatic failover. One OpenAI-compatible endpoint routes to many free models (Groq, Mistral, Gemini, NIM, OpenRouter, ZAI, Cerebras, DeepSeek and more). Never pay for LLMs.",
   "license": "MIT",
   "bin": {

package/server.js

@@ -619,10 +619,10 @@ async function handleChatCompletion(req, res, body) {
   // requests keep the full fast pool.
   const requestTokens = estimateTokens(body.messages);
   const MIN_WINDOW = 50000; // below this we don't filter (typical requests)
-  // Запас 1.3×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
-  // размер (opencode показывает ~140k, а прокси оценивает меньше). Без запаса малые
-  // окна (groq 131k, or-lfm 65k) берут большие запросы → 400/молчание → «замирание».
-  const WINDOW_SAFETY = 1.3;
+  // Запас 2.0×: estimateTokens на диалогах с инструментами/кодом ЗАНИЖАЕТ реальный
+  // размер (~в 2-3 раза). Запас отсекает малые окна (groq 131k, or-lfm 65k) от больших
+  // запросов, но не убивает пул (большие окна: dots-3 512k, minimax 1M остаются).
+  const WINDOW_SAFETY = 2.0;
   let windowPool = healthy2;
   let upgradeNoCapable = false; // апгрейд, но ни один здоровый провайдер не держит запрос
   if (requestTokens > MIN_WINDOW || windowUpgraded) {