sygal-cli 0.5.5 → 0.5.7

package/CHANGELOG.md

@@ -9,6 +9,26 @@ partagent toujours le même numéro de version, publiés ensemble, même si un
 seul a réellement changé de contenu — même principe que l'app desktop.
 Détails du process : `CLI_RELEASE_GUIDE.md` à la racine du repo.
 
+## 0.5.6
+
+- Fix critique : le sidecar `@sygal/sidecar-darwin-arm64` était compilé depuis un Python
+  installé via Homebrew, dont la bottle cible `MACOSX_DEPLOYMENT_TARGET=26` — le binaire
+  plantait au démarrage (`dlopen ... Symbol not found`) sur toute machine tournant sous
+  macOS antérieur à la version 26, malgré la compatibilité macOS 12+ annoncée. Rebuild
+  effectué depuis un Python installé via python.org (cible de déploiement basse), sans
+  changement de code source.
+
+## 0.5.5
+
+- Fix : exporter un document dont le nom contient des caractères illégaux sur Windows/macOS
+  (`/`, `:`, etc.) — fréquent dans les titres de pages web importées — ne plante plus en
+  `ENOENT`. Les noms trop longs (> 255 octets UTF-8, ex. titres avec emojis) sont désormais
+  tronqués sur une frontière de code point plutôt que de planter en `ENAMETOOLONG`.
+- Fix : convertir une URL dont le fetch réussit (200) mais dont le contenu n'est pas
+  exploitable (site protégé par authwall/anti-bot JS-only, ex. LinkedIn) remonte désormais
+  le code d'erreur `url_empty_content` en mode `--json` au lieu de produire un fichier vide
+  avec un statut de succès.
+
 ## 0.5.3
 
 - Aucun changement fonctionnel côté CLI/sidecars : bump lockstep pour rester

package/dist/index.js

@@ -102,42 +102,38 @@ function needsPngNormalization(ext) {
 async function toPngBuffer(input) {
   return (0, import_sharp.default)(input).png().toBuffer();
 }
-async function shrinkToMaxBytes(input, maxBytes) {
-  const QUALITY = 80;
-  let output = await (0, import_sharp.default)(input).jpeg({ quality: QUALITY }).toBuffer();
-  if (output.length <= maxBytes) return output;
-  const meta = await (0, import_sharp.default)(input).metadata();
-  let width = meta.width ?? 1600;
-  while (output.length > maxBytes && width > 200) {
-    width = Math.round(width * 0.75);
-    output = await (0, import_sharp.default)(input).resize({ width }).jpeg({ quality: QUALITY }).toBuffer();
-  }
-  let quality = QUALITY;
-  while (output.length > maxBytes && quality > 20) {
-    quality -= 15;
-    output = await (0, import_sharp.default)(input).resize({ width }).jpeg({ quality }).toBuffer();
-  }
-  return output;
-}
 
 // ../core/src/ocr-models.ts
 var OCR_MODELS = {
-  openai: "gpt-4o",
+  // Bascule 02/09/2026 : gpt-4o retiré de l'API OpenAI le 16/02/2026 (recherche
+  // en direct — mort depuis 7 mois, provider par défaut de Sygal). Remplacé par
+  // gpt-5.6-terra (famille GPT-5.6, GA depuis 07/2026 : sol/terra/luna) — terra
+  // choisi pour l'équilibre coût/qualité sur de la lecture de document/écran,
+  // pas le tier flagship (sol, plus cher) ni économique (luna). Modèle
+  // "raisonneur" : voir openai-provider.ts pour les paramètres API affectés
+  // (max_tokens, temperature). Qualité réelle non validée sur cas réels
+  // (contrainte budget API de Cyrill) — à confirmer dès que possible.
+  openai: "gpt-5.6-terra",
   mistral: "mistral-ocr-latest",
   claude: "claude-sonnet-4-6",
-  // Bascule 27/07/2026 (banc comparatif sur images réelles, validation Cyrill) :
-  // nemotron-nano-12b-v2-vl remplace llama-3.1-nemotron-nano-vl-8b-v1. Sur une
-  // capture de dossier de 22 lignes, le 8b s'arrêtait au premier en-tête (« Nom »,
-  // 1 token) 3 fois sur 3 ; le 12b la transcrit intégralement 3 fois sur 3, accents
-  // préservés. Il respecte aussi la consigne de langue sur une image sans texte
-  // (description en français, là où le 8b répondait en anglais), sans confabuler.
-  // Entraîné sur DocLayNet / PubTables-1M / PDF CommonCrawl — OCRBench 85,6.
-  // Précédemment : llama-3.2-11b-vision-instruct, écarté le 18/07/2026 (5/5
-  // confabulations sur un portrait sans texte).
-  nvidia: "nvidia/nemotron-nano-12b-v2-vl",
-  gemini: "gemini-2.0-flash"
+  // Bascule 02/09/2026 : nemotron-nano-12b-v2-vl (et toute la lignée nemotron
+  // vision-chat, nano-vl-8b-v1 y compris) retirée par NVIDIA — HTTP 410 "end
+  // of life" confirmé en direct (26/08/2026) sur les deux modèles. Remplacé
+  // par nemotron-ocr-v2 : modèle OCR dédié (pas un chat vision-langage), API
+  // /v1/cv séparée — voir nvidia-provider.ts. Détection de texte fiable
+  // (pas d'hallucination possible, contrairement aux chat vision), mais pas
+  // de description d'image ni de traduction : NVIDIA_FALLBACK_MODEL
+  // (llama-3.2-90b-vision-instruct) prend le relais pour ces deux cas.
+  nvidia: "nvidia/nemotron-ocr-v2",
+  // Bascule 02/09/2026 : gemini-2.0-flash coupé par Google le 01/06/2026
+  // (recherche en direct — mort depuis 3 mois). Remplacé par gemini-3.7-flash
+  // (GA depuis 08/2026) — un seul choix clair côté Google à cette date, pas
+  // d'arbitrage de tier comme pour OpenAI. Qualité réelle non validée sur cas
+  // réels (contrainte budget API de Cyrill) — à confirmer dès que possible.
+  gemini: "gemini-3.7-flash"
 };
 var MISTRAL_TRANSLATE_MODEL = "mistral-large-latest";
+var NVIDIA_FALLBACK_MODEL = "meta/llama-3.2-90b-vision-instruct";
 
 // ../core/src/sidecar/manager.ts
 var import_node_child_process = require("node:child_process");
@@ -460,7 +456,7 @@ function httpStatusToOcrError(status, providerId) {
 function toDataUrl(img, mime) {
   return `data:${mime};base64,${img.toString("base64")}`;
 }
-async function callOpenAiCompatibleChatText(endpoint, model, apiKey, signal, prompt, text, providerId, maxTokens = 8192, frequencyPenalty) {
+async function callOpenAiCompatibleChatText(endpoint, model, apiKey, signal, prompt, text, providerId, maxTokens = 8192, frequencyPenalty, reasoningModel = false) {
   const response = await fetch(endpoint, {
     method: "POST",
     signal,
@@ -470,9 +466,10 @@ async function callOpenAiCompatibleChatText(endpoint, model, apiKey, signal, pro
     },
     body: JSON.stringify({
       model,
-      max_tokens: maxTokens,
-      // Traduction = tâche déterministe : toute créativité est un bug ici.
-      temperature: 0,
+      [reasoningModel ? "max_completion_tokens" : "max_tokens"]: maxTokens,
+      // Traduction = tâche déterministe : toute créativité est un bug ici
+      // (paramètre rejeté par les modèles raisonneurs, voir reasoningModel).
+      ...reasoningModel ? {} : { temperature: 0 },
       ...frequencyPenalty !== void 0 ? { frequency_penalty: frequencyPenalty } : {},
       // Consigne et document dans deux messages distincts : concaténés, un
       // document court était traité comme une simple amorce et le modèle
@@ -724,63 +721,126 @@ function convertLatexTables(markdown) {
 }
 
 // ../core/src/ocr/nvidia-provider.ts
+var import_sharp2 = __toESM(require("sharp"));
 var NVIDIA_OCR_MODEL = OCR_MODELS.nvidia;
-var ENDPOINT4 = "https://integrate.api.nvidia.com/v1/chat/completions";
-var NVIDIA_MAX_IMAGE_BYTES = 17e4;
+var OCR_ENDPOINT = "https://ai.api.nvidia.com/v1/cv/nvidia/nemotron-ocr-v2";
+var CHAT_ENDPOINT2 = "https://integrate.api.nvidia.com/v1/chat/completions";
+function median(nums) {
+  if (nums.length === 0) return 0;
+  const sorted = [...nums].sort((a, b) => a - b);
+  const mid = Math.floor(sorted.length / 2);
+  return sorted.length % 2 === 1 ? sorted[mid] : (sorted[mid - 1] + sorted[mid]) / 2;
+}
+function groupLines(blocks) {
+  const lines = [];
+  for (const block of [...blocks].sort((a, b) => a.top - b.top)) {
+    const current = lines[lines.length - 1];
+    if (current) {
+      const envTop = Math.min(...current.map((b) => b.top));
+      const envBottom = Math.max(...current.map((b) => b.bottom));
+      const maxHeight = Math.max(...current.map((b) => b.height), block.height);
+      const overlaps = block.top < envBottom && block.bottom > envTop;
+      const newHeight = Math.max(envBottom, block.bottom) - Math.min(envTop, block.top);
+      if (overlaps && newHeight <= maxHeight * 1.6) {
+        current.push(block);
+        continue;
+      }
+    }
+    lines.push([block]);
+  }
+  return lines;
+}
+var BULLET_RE = /^[•▪◦○*·-]\s+/;
+function reconstructReadingOrder(detections) {
+  const blocks = detections.map((d) => {
+    const text = d.text_prediction?.text?.trim();
+    const points = d.bounding_box?.points;
+    if (!text || !points || points.length === 0) return null;
+    const ys = points.map((p) => p.y);
+    const xs = points.map((p) => p.x);
+    const top = Math.min(...ys);
+    const bottom = Math.max(...ys);
+    return { text, top, bottom, left: Math.min(...xs), height: bottom - top };
+  }).filter((b) => b !== null);
+  const lines = groupLines(blocks);
+  const typicalHeight = median(lines.map((line) => median(line.map((b) => b.height)))) || 0.02;
+  const out = [];
+  let previousBottom = null;
+  for (const line of lines) {
+    const top = Math.min(...line.map((b) => b.top));
+    const bottom = Math.max(...line.map((b) => b.bottom));
+    const height = median(line.map((b) => b.height));
+    if (previousBottom !== null && top - previousBottom > typicalHeight * 0.9) out.push("");
+    previousBottom = bottom;
+    let text = [...line].sort((a, b) => a.left - b.left).map((b) => b.text).join(" ");
+    const bullet = text.match(BULLET_RE);
+    if (bullet) text = `- ${text.slice(bullet[0].length)}`;
+    else if (line.length === 1 && height > typicalHeight * 1.25 && text.split(" ").length <= 8) {
+      text = `## ${text}`;
+    }
+    out.push(text);
+  }
+  return out.join("\n");
+}
+async function describeOrTranslateFallback(img, mime, apiKey, signal, prompt) {
+  const content = [{ type: "text", text: prompt }];
+  if (img && mime) {
+    content.push({ type: "image_url", image_url: { url: toDataUrl(img, mime) } });
+  }
+  const response = await fetch(CHAT_ENDPOINT2, {
+    method: "POST",
+    signal,
+    headers: { "Content-Type": "application/json", Authorization: `Bearer ${apiKey}` },
+    body: JSON.stringify({
+      model: NVIDIA_FALLBACK_MODEL,
+      max_tokens: 4096,
+      frequency_penalty: 0.4,
+      temperature: 0,
+      messages: [{ role: "user", content }]
+    })
+  });
+  if (!response.ok) throw httpStatusToOcrError(response.status, "nvidia");
+  const payload = await response.json();
+  const markdown = payload.choices?.[0]?.message?.content;
+  if (typeof markdown !== "string" || markdown.length === 0) {
+    throw new OcrError("UNKNOWN", "nvidia : r\xE9ponse sans contenu");
+  }
+  return { markdown, raw: payload };
+}
 var nvidiaProvider = {
   id: "nvidia",
   model: NVIDIA_OCR_MODEL,
   async convertImage(img, mime, apiKey, signal, prompt) {
+    if (!prompt.includes(NO_TEXT_SENTINEL)) {
+      return describeOrTranslateFallback(img, mime, apiKey, signal, prompt);
+    }
     let payloadImg = img;
     let payloadMime = mime;
-    if (payloadMime === "image/webp" || payloadImg.length > NVIDIA_MAX_IMAGE_BYTES) {
-      payloadImg = await shrinkToMaxBytes(payloadImg, NVIDIA_MAX_IMAGE_BYTES);
+    if (payloadMime !== "image/png" && payloadMime !== "image/jpeg") {
+      payloadImg = await (0, import_sharp2.default)(img).jpeg({ quality: 90 }).toBuffer();
       payloadMime = "image/jpeg";
     }
-    const response = await fetch(ENDPOINT4, {
+    const response = await fetch(OCR_ENDPOINT, {
       method: "POST",
       signal,
-      headers: {
-        "Content-Type": "application/json",
-        Authorization: `Bearer ${apiKey}`
-      },
+      headers: { "Content-Type": "application/json", Authorization: `Bearer ${apiKey}` },
       body: JSON.stringify({
-        model: NVIDIA_OCR_MODEL,
-        max_tokens: 4096,
-        // Llama vision peut dégénérer en boucle de répétition sans pénalité
-        // (observé en réel : même phrase répétée ~200 fois jusqu'à max_tokens).
-        frequency_penalty: 0.4,
-        // Petit modèle (11B) : sans température 0 ni cadrage renforcé, il "interprète"
-        // (résumé en anglais observé en réel 12/07/2026 au lieu d'une transcription).
-        // ATTENTION : pas de message system — le endpoint NIM llama vision rejette
-        // les requêtes system + image (constaté en réel 12/07/2026, appel en échec).
-        temperature: 0,
-        messages: [
-          {
-            role: "user",
-            content: [
-              {
-                type: "text",
-                text: "You are an OCR engine. You copy text from images character by character. You never summarize, never translate, never comment, never add steps or headings of your own. You only describe the image in the single case where it contains no readable text at all, exactly as instructed below.\n\n" + prompt
-              },
-              { type: "image_url", image_url: { url: toDataUrl(payloadImg, payloadMime) } }
-            ]
-          }
-        ]
+        input: [{ type: "image_url", url: toDataUrl(payloadImg, payloadMime) }],
+        merge_levels: ["paragraph"]
       })
     });
     if (!response.ok) throw httpStatusToOcrError(response.status, "nvidia");
     const payload = await response.json();
-    const markdown = payload.choices?.[0]?.message?.content;
-    if (typeof markdown !== "string" || markdown.length === 0) {
-      throw new OcrError("UNKNOWN", "nvidia : r\xE9ponse sans contenu");
+    const detections = payload.data?.[0]?.text_detections ?? [];
+    if (detections.length === 0) {
+      return { markdown: NO_TEXT_SENTINEL, raw: payload };
     }
-    return { markdown, raw: payload };
+    return { markdown: reconstructReadingOrder(detections), raw: payload };
   },
   translateText(text, apiKey, signal, prompt) {
     return callOpenAiCompatibleChatText(
-      ENDPOINT4,
-      NVIDIA_OCR_MODEL,
+      CHAT_ENDPOINT2,
+      NVIDIA_FALLBACK_MODEL,
       apiKey,
       signal,
       prompt,
@@ -788,19 +848,19 @@ var nvidiaProvider = {
       "nvidia",
       8192,
       0.4
-      // même garde-fou anti-répétition que convertImage ci-dessus
+      // même garde-fou anti-répétition qu'en OCR (voir callOpenAiCompatibleChatText)
     );
   }
 };
 
 // ../core/src/ocr/openai-provider.ts
 var OPENAI_OCR_MODEL = OCR_MODELS.openai;
-var ENDPOINT5 = "https://api.openai.com/v1/chat/completions";
+var ENDPOINT4 = "https://api.openai.com/v1/chat/completions";
 var openAiProvider = {
   id: "openai",
   model: OPENAI_OCR_MODEL,
   async convertImage(img, mime, apiKey, signal, prompt) {
-    const response = await fetch(ENDPOINT5, {
+    const response = await fetch(ENDPOINT4, {
       method: "POST",
       signal,
       headers: {
@@ -809,7 +869,8 @@ var openAiProvider = {
       },
       body: JSON.stringify({
         model: OPENAI_OCR_MODEL,
-        max_tokens: 8192,
+        // gpt-5.6 (modèle raisonneur) rejette `max_tokens` — voir en-tête de fichier.
+        max_completion_tokens: 8192,
         messages: [
           {
             role: "user",
@@ -831,13 +892,17 @@ var openAiProvider = {
   },
   translateText(text, apiKey, signal, prompt) {
     return callOpenAiCompatibleChatText(
-      ENDPOINT5,
+      ENDPOINT4,
       OPENAI_OCR_MODEL,
       apiKey,
       signal,
       prompt,
       text,
-      "openai"
+      "openai",
+      8192,
+      void 0,
+      true
+      // gpt-5.6 : max_completion_tokens + pas de temperature, voir en-tête de fichier
     );
   }
 };

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "sygal-cli",
-  "version": "0.5.5",
+  "version": "0.5.7",
   "description": "Sygal CLI - convert files and web pages to Markdown/JSON (local MarkItDown pipeline, OCR for images)",
   "author": "Cyrill Semah",
   "license": "SEE LICENSE IN LICENSE",
@@ -37,9 +37,9 @@
     "@sygal/core": "0.1.0"
   },
   "optionalDependencies": {
-    "@sygal/sidecar-win32-x64": "0.5.5",
-    "@sygal/sidecar-darwin-arm64": "0.5.5",
-    "@sygal/sidecar-linux-x64": "0.5.5"
+    "@sygal/sidecar-darwin-arm64": "0.5.7",
+    "@sygal/sidecar-win32-x64": "0.5.7",
+    "@sygal/sidecar-linux-x64": "0.5.7"
   },
   "scripts": {
     "build": "esbuild src/index.ts --bundle --platform=node --target=node20 --format=cjs --outfile=dist/index.js --external:sharp --external:gpt-tokenizer --external:commander --external:picocolors",