sygal-cli 0.5.3 → 0.5.6

package/CHANGELOG.md

@@ -9,10 +9,21 @@ partagent toujours le même numéro de version, publiés ensemble, même si un
 seul a réellement changé de contenu — même principe que l'app desktop.
 Détails du process : `CLI_RELEASE_GUIDE.md` à la racine du repo.
 
-## 0.5.2
+## 0.5.5
+
+- Fix : exporter un document dont le nom contient des caractères illégaux sur Windows/macOS
+  (`/`, `:`, etc.) — fréquent dans les titres de pages web importées — ne plante plus en
+  `ENOENT`. Les noms trop longs (> 255 octets UTF-8, ex. titres avec emojis) sont désormais
+  tronqués sur une frontière de code point plutôt que de planter en `ENAMETOOLONG`.
+- Fix : convertir une URL dont le fetch réussit (200) mais dont le contenu n'est pas
+  exploitable (site protégé par authwall/anti-bot JS-only, ex. LinkedIn) remonte désormais
+  le code d'erreur `url_empty_content` en mode `--json` au lieu de produire un fichier vide
+  avec un statut de succès.
+
+## 0.5.3
 
 - Aucun changement fonctionnel côté CLI/sidecars : bump lockstep pour rester
-  aligné avec la version de l'app desktop (1.5.2).
+  aligné avec la version de l'app desktop (1.5.3).
 
 ## 0.5.1
 

package/dist/index.js

@@ -102,42 +102,25 @@ function needsPngNormalization(ext) {
 async function toPngBuffer(input) {
   return (0, import_sharp.default)(input).png().toBuffer();
 }
-async function shrinkToMaxBytes(input, maxBytes) {
-  const QUALITY = 80;
-  let output = await (0, import_sharp.default)(input).jpeg({ quality: QUALITY }).toBuffer();
-  if (output.length <= maxBytes) return output;
-  const meta = await (0, import_sharp.default)(input).metadata();
-  let width = meta.width ?? 1600;
-  while (output.length > maxBytes && width > 200) {
-    width = Math.round(width * 0.75);
-    output = await (0, import_sharp.default)(input).resize({ width }).jpeg({ quality: QUALITY }).toBuffer();
-  }
-  let quality = QUALITY;
-  while (output.length > maxBytes && quality > 20) {
-    quality -= 15;
-    output = await (0, import_sharp.default)(input).resize({ width }).jpeg({ quality }).toBuffer();
-  }
-  return output;
-}
 
 // ../core/src/ocr-models.ts
 var OCR_MODELS = {
   openai: "gpt-4o",
   mistral: "mistral-ocr-latest",
   claude: "claude-sonnet-4-6",
-  // Bascule 27/07/2026 (banc comparatif sur images réelles, validation Cyrill) :
-  // nemotron-nano-12b-v2-vl remplace llama-3.1-nemotron-nano-vl-8b-v1. Sur une
-  // capture de dossier de 22 lignes, le 8b s'arrêtait au premier en-tête (« Nom »,
-  // 1 token) 3 fois sur 3 ; le 12b la transcrit intégralement 3 fois sur 3, accents
-  // préservés. Il respecte aussi la consigne de langue sur une image sans texte
-  // (description en français, là où le 8b répondait en anglais), sans confabuler.
-  // Entraîné sur DocLayNet / PubTables-1M / PDF CommonCrawl — OCRBench 85,6.
-  // Précédemment : llama-3.2-11b-vision-instruct, écarté le 18/07/2026 (5/5
-  // confabulations sur un portrait sans texte).
-  nvidia: "nvidia/nemotron-nano-12b-v2-vl",
+  // Bascule 02/09/2026 : nemotron-nano-12b-v2-vl (et toute la lignée nemotron
+  // vision-chat, nano-vl-8b-v1 y compris) retirée par NVIDIA — HTTP 410 "end
+  // of life" confirmé en direct (26/08/2026) sur les deux modèles. Remplacé
+  // par nemotron-ocr-v2 : modèle OCR dédié (pas un chat vision-langage), API
+  // /v1/cv séparée — voir nvidia-provider.ts. Détection de texte fiable
+  // (pas d'hallucination possible, contrairement aux chat vision), mais pas
+  // de description d'image ni de traduction : NVIDIA_FALLBACK_MODEL
+  // (llama-3.2-90b-vision-instruct) prend le relais pour ces deux cas.
+  nvidia: "nvidia/nemotron-ocr-v2",
   gemini: "gemini-2.0-flash"
 };
 var MISTRAL_TRANSLATE_MODEL = "mistral-large-latest";
+var NVIDIA_FALLBACK_MODEL = "meta/llama-3.2-90b-vision-instruct";
 
 // ../core/src/sidecar/manager.ts
 var import_node_child_process = require("node:child_process");
@@ -724,63 +707,126 @@ function convertLatexTables(markdown) {
 }
 
 // ../core/src/ocr/nvidia-provider.ts
+var import_sharp2 = __toESM(require("sharp"));
 var NVIDIA_OCR_MODEL = OCR_MODELS.nvidia;
-var ENDPOINT4 = "https://integrate.api.nvidia.com/v1/chat/completions";
-var NVIDIA_MAX_IMAGE_BYTES = 17e4;
+var OCR_ENDPOINT = "https://ai.api.nvidia.com/v1/cv/nvidia/nemotron-ocr-v2";
+var CHAT_ENDPOINT2 = "https://integrate.api.nvidia.com/v1/chat/completions";
+function median(nums) {
+  if (nums.length === 0) return 0;
+  const sorted = [...nums].sort((a, b) => a - b);
+  const mid = Math.floor(sorted.length / 2);
+  return sorted.length % 2 === 1 ? sorted[mid] : (sorted[mid - 1] + sorted[mid]) / 2;
+}
+function groupLines(blocks) {
+  const lines = [];
+  for (const block of [...blocks].sort((a, b) => a.top - b.top)) {
+    const current = lines[lines.length - 1];
+    if (current) {
+      const envTop = Math.min(...current.map((b) => b.top));
+      const envBottom = Math.max(...current.map((b) => b.bottom));
+      const maxHeight = Math.max(...current.map((b) => b.height), block.height);
+      const overlaps = block.top < envBottom && block.bottom > envTop;
+      const newHeight = Math.max(envBottom, block.bottom) - Math.min(envTop, block.top);
+      if (overlaps && newHeight <= maxHeight * 1.6) {
+        current.push(block);
+        continue;
+      }
+    }
+    lines.push([block]);
+  }
+  return lines;
+}
+var BULLET_RE = /^[•▪◦○*·-]\s+/;
+function reconstructReadingOrder(detections) {
+  const blocks = detections.map((d) => {
+    const text = d.text_prediction?.text?.trim();
+    const points = d.bounding_box?.points;
+    if (!text || !points || points.length === 0) return null;
+    const ys = points.map((p) => p.y);
+    const xs = points.map((p) => p.x);
+    const top = Math.min(...ys);
+    const bottom = Math.max(...ys);
+    return { text, top, bottom, left: Math.min(...xs), height: bottom - top };
+  }).filter((b) => b !== null);
+  const lines = groupLines(blocks);
+  const typicalHeight = median(lines.map((line) => median(line.map((b) => b.height)))) || 0.02;
+  const out = [];
+  let previousBottom = null;
+  for (const line of lines) {
+    const top = Math.min(...line.map((b) => b.top));
+    const bottom = Math.max(...line.map((b) => b.bottom));
+    const height = median(line.map((b) => b.height));
+    if (previousBottom !== null && top - previousBottom > typicalHeight * 0.9) out.push("");
+    previousBottom = bottom;
+    let text = [...line].sort((a, b) => a.left - b.left).map((b) => b.text).join(" ");
+    const bullet = text.match(BULLET_RE);
+    if (bullet) text = `- ${text.slice(bullet[0].length)}`;
+    else if (line.length === 1 && height > typicalHeight * 1.25 && text.split(" ").length <= 8) {
+      text = `## ${text}`;
+    }
+    out.push(text);
+  }
+  return out.join("\n");
+}
+async function describeOrTranslateFallback(img, mime, apiKey, signal, prompt) {
+  const content = [{ type: "text", text: prompt }];
+  if (img && mime) {
+    content.push({ type: "image_url", image_url: { url: toDataUrl(img, mime) } });
+  }
+  const response = await fetch(CHAT_ENDPOINT2, {
+    method: "POST",
+    signal,
+    headers: { "Content-Type": "application/json", Authorization: `Bearer ${apiKey}` },
+    body: JSON.stringify({
+      model: NVIDIA_FALLBACK_MODEL,
+      max_tokens: 4096,
+      frequency_penalty: 0.4,
+      temperature: 0,
+      messages: [{ role: "user", content }]
+    })
+  });
+  if (!response.ok) throw httpStatusToOcrError(response.status, "nvidia");
+  const payload = await response.json();
+  const markdown = payload.choices?.[0]?.message?.content;
+  if (typeof markdown !== "string" || markdown.length === 0) {
+    throw new OcrError("UNKNOWN", "nvidia : r\xE9ponse sans contenu");
+  }
+  return { markdown, raw: payload };
+}
 var nvidiaProvider = {
   id: "nvidia",
   model: NVIDIA_OCR_MODEL,
   async convertImage(img, mime, apiKey, signal, prompt) {
+    if (!prompt.includes(NO_TEXT_SENTINEL)) {
+      return describeOrTranslateFallback(img, mime, apiKey, signal, prompt);
+    }
     let payloadImg = img;
     let payloadMime = mime;
-    if (payloadMime === "image/webp" || payloadImg.length > NVIDIA_MAX_IMAGE_BYTES) {
-      payloadImg = await shrinkToMaxBytes(payloadImg, NVIDIA_MAX_IMAGE_BYTES);
+    if (payloadMime !== "image/png" && payloadMime !== "image/jpeg") {
+      payloadImg = await (0, import_sharp2.default)(img).jpeg({ quality: 90 }).toBuffer();
       payloadMime = "image/jpeg";
     }
-    const response = await fetch(ENDPOINT4, {
+    const response = await fetch(OCR_ENDPOINT, {
       method: "POST",
       signal,
-      headers: {
-        "Content-Type": "application/json",
-        Authorization: `Bearer ${apiKey}`
-      },
+      headers: { "Content-Type": "application/json", Authorization: `Bearer ${apiKey}` },
       body: JSON.stringify({
-        model: NVIDIA_OCR_MODEL,
-        max_tokens: 4096,
-        // Llama vision peut dégénérer en boucle de répétition sans pénalité
-        // (observé en réel : même phrase répétée ~200 fois jusqu'à max_tokens).
-        frequency_penalty: 0.4,
-        // Petit modèle (11B) : sans température 0 ni cadrage renforcé, il "interprète"
-        // (résumé en anglais observé en réel 12/07/2026 au lieu d'une transcription).
-        // ATTENTION : pas de message system — le endpoint NIM llama vision rejette
-        // les requêtes system + image (constaté en réel 12/07/2026, appel en échec).
-        temperature: 0,
-        messages: [
-          {
-            role: "user",
-            content: [
-              {
-                type: "text",
-                text: "You are an OCR engine. You copy text from images character by character. You never summarize, never translate, never comment, never add steps or headings of your own. You only describe the image in the single case where it contains no readable text at all, exactly as instructed below.\n\n" + prompt
-              },
-              { type: "image_url", image_url: { url: toDataUrl(payloadImg, payloadMime) } }
-            ]
-          }
-        ]
+        input: [{ type: "image_url", url: toDataUrl(payloadImg, payloadMime) }],
+        merge_levels: ["paragraph"]
       })
     });
     if (!response.ok) throw httpStatusToOcrError(response.status, "nvidia");
     const payload = await response.json();
-    const markdown = payload.choices?.[0]?.message?.content;
-    if (typeof markdown !== "string" || markdown.length === 0) {
-      throw new OcrError("UNKNOWN", "nvidia : r\xE9ponse sans contenu");
+    const detections = payload.data?.[0]?.text_detections ?? [];
+    if (detections.length === 0) {
+      return { markdown: NO_TEXT_SENTINEL, raw: payload };
     }
-    return { markdown, raw: payload };
+    return { markdown: reconstructReadingOrder(detections), raw: payload };
   },
   translateText(text, apiKey, signal, prompt) {
     return callOpenAiCompatibleChatText(
-      ENDPOINT4,
-      NVIDIA_OCR_MODEL,
+      CHAT_ENDPOINT2,
+      NVIDIA_FALLBACK_MODEL,
       apiKey,
       signal,
       prompt,
@@ -788,19 +834,19 @@ var nvidiaProvider = {
       "nvidia",
       8192,
       0.4
-      // même garde-fou anti-répétition que convertImage ci-dessus
+      // même garde-fou anti-répétition qu'en OCR (voir callOpenAiCompatibleChatText)
     );
   }
 };
 
 // ../core/src/ocr/openai-provider.ts
 var OPENAI_OCR_MODEL = OCR_MODELS.openai;
-var ENDPOINT5 = "https://api.openai.com/v1/chat/completions";
+var ENDPOINT4 = "https://api.openai.com/v1/chat/completions";
 var openAiProvider = {
   id: "openai",
   model: OPENAI_OCR_MODEL,
   async convertImage(img, mime, apiKey, signal, prompt) {
-    const response = await fetch(ENDPOINT5, {
+    const response = await fetch(ENDPOINT4, {
       method: "POST",
       signal,
       headers: {
@@ -831,7 +877,7 @@ var openAiProvider = {
   },
   translateText(text, apiKey, signal, prompt) {
     return callOpenAiCompatibleChatText(
-      ENDPOINT5,
+      ENDPOINT4,
       OPENAI_OCR_MODEL,
       apiKey,
       signal,
@@ -1522,8 +1568,31 @@ function buildJsonEnvelope(doc) {
 function serializeJsonExport(doc) {
   return JSON.stringify(buildJsonEnvelope(doc), null, 2);
 }
+var ILLEGAL_FILENAME_CHARS = /[\\/:*?"<>|\x00-\x1f]/g;
+function sanitizeFilename(name) {
+  return name.replace(ILLEGAL_FILENAME_CHARS, " ").replace(/\s+/g, " ").trim();
+}
+var MAX_FILENAME_BYTES = 255;
+var RESERVED_SUFFIX_BYTES = 11;
+var encoder = new TextEncoder();
+function truncateToByteLength(name, maxBytes) {
+  if (encoder.encode(name).length <= maxBytes) return name;
+  let result = "";
+  let bytes = 0;
+  for (const char of name) {
+    const charBytes = encoder.encode(char).length;
+    if (bytes + charBytes > maxBytes) break;
+    result += char;
+    bytes += charBytes;
+  }
+  return result.trim();
+}
 async function resolveCollisionPath(dir, stem, ext) {
-  const candidate = (n2) => (0, import_node_path3.join)(dir, n2 === 0 ? `${stem}${ext}` : `${stem} (${n2})${ext}`);
+  const safeStem = truncateToByteLength(
+    sanitizeFilename(stem),
+    MAX_FILENAME_BYTES - RESERVED_SUFFIX_BYTES
+  );
+  const candidate = (n2) => (0, import_node_path3.join)(dir, n2 === 0 ? `${safeStem}${ext}` : `${safeStem} (${n2})${ext}`);
   let n = 0;
   while (n < 999) {
     try {
@@ -1709,6 +1778,7 @@ var CONVERSION_CODE_MAP = {
   TRANSLATION_INCOHERENT: "translation_incoherent",
   URL_FORBIDDEN: "url_forbidden",
   URL_UNREACHABLE: "url_unreachable",
+  URL_EMPTY_CONTENT: "url_empty_content",
   HEIC_HEVC_UNSUPPORTED: "heic_hevc_unsupported",
   IMAGE_DECODE_UNSUPPORTED: "image_decode_unsupported",
   UNKNOWN: "unknown"
@@ -1741,6 +1811,8 @@ function toCliError(err) {
         return { code: "url_forbidden", message: err.message };
       case "URL_UNREACHABLE":
         return { code: "url_unreachable", message: err.message };
+      case "URL_EMPTY_CONTENT":
+        return { code: "url_empty_content", message: err.message };
       default:
         return { code: "conversion_failed", message: err.message };
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "sygal-cli",
-  "version": "0.5.3",
+  "version": "0.5.6",
   "description": "Sygal CLI - convert files and web pages to Markdown/JSON (local MarkItDown pipeline, OCR for images)",
   "author": "Cyrill Semah",
   "license": "SEE LICENSE IN LICENSE",
@@ -37,9 +37,9 @@
     "@sygal/core": "0.1.0"
   },
   "optionalDependencies": {
-    "@sygal/sidecar-darwin-arm64": "0.5.3",
-    "@sygal/sidecar-win32-x64": "0.5.3",
-    "@sygal/sidecar-linux-x64": "0.5.3"
+    "@sygal/sidecar-darwin-arm64": "0.5.6",
+    "@sygal/sidecar-win32-x64": "0.5.6",
+    "@sygal/sidecar-linux-x64": "0.5.6"
   },
   "scripts": {
     "build": "esbuild src/index.ts --bundle --platform=node --target=node20 --format=cjs --outfile=dist/index.js --external:sharp --external:gpt-tokenizer --external:commander --external:picocolors",