wormclaude 1.0.213 → 1.0.214

package/dist/clone.js

@@ -0,0 +1,184 @@
+// Tam-site klonlama (mirror) — gerçek baytları çeker, birebir yerel kopya yazar.
+// WebFetch HTML'i siler (sadece metin) → klon için işe yaramaz; bu modül ham HTML + tüm
+// asset'leri (CSS/JS/görsel/font) indirir, iç linkleri+asset yollarını yerele düzeltir.
+// wget --mirror / HTTrack mantığı, aynı-host, sayfa limitli. Bağımlılık yok (regex tabanlı).
+import fs from 'node:fs';
+import path from 'node:path';
+const UA = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36' };
+const ASSET_EXT = /\.(css|js|mjs|png|jpe?g|gif|webp|avif|svg|ico|bmp|woff2?|ttf|eot|otf|mp4|webm|ogg|mp3|wav|pdf|json|xml|map)(\?.*)?$/i;
+const PAGE_EXT = /\.(html?|php|aspx?|jsp|cfm)(\?.*)?$/i;
+function san(s) { return s.replace(/(\?|%3F|#|%23).*$/i, '').replace(/[^a-zA-Z0-9._/-]/g, '_'); }
+// URL → yerel dosya yolu (sayfa). / → index.html, /about → about/index.html, /a.html → a.html
+function pageFile(u, root) {
+    let p = decodeURIComponent(u.pathname);
+    const last = p.split('/').pop() || '';
+    if (p.endsWith('/') || last === '')
+        p += 'index.html';
+    else if (!/\.[a-z0-9]{1,6}$/i.test(last))
+        p += '/index.html';
+    else if (!/\.html?$/i.test(last) && PAGE_EXT.test(last))
+        p = p.replace(/\.[^.]+$/, '.html');
+    return path.join(root, san(p).replace(/^[/\\]+/, ''));
+}
+// URL → yerel asset dosyası (host+path bazlı, _assets altında)
+function assetFile(u, assetsDir) {
+    let rel = san(u.host + u.pathname);
+    if (!/\.[a-z0-9]{1,6}$/i.test(rel.split('/').pop() || ''))
+        rel += '.bin';
+    return path.join(assetsDir, rel);
+}
+function relHref(fromFile, toFile) {
+    let r = path.relative(path.dirname(fromFile), toFile).replace(/\\/g, '/');
+    if (!r.startsWith('.'))
+        r = './' + r;
+    return r;
+}
+function extractRefs(html) {
+    const out = new Set();
+    for (const m of html.matchAll(/(?:href|src)\s*=\s*["']([^"']+)["']/gi))
+        out.add(m[1]);
+    for (const m of html.matchAll(/srcset\s*=\s*["']([^"']+)["']/gi))
+        for (const part of m[1].split(',')) {
+            const u = part.trim().split(/\s+/)[0];
+            if (u)
+                out.add(u);
+        }
+    return [...out].filter((r) => r && !/^(data:|javascript:|mailto:|tel:|#)/i.test(r));
+}
+export async function cloneSite(startUrl, outDir, opts = {}) {
+    const maxPages = Math.min(Math.max(opts.maxPages ?? 30, 1), 200);
+    if (!/^https?:\/\//i.test(startUrl))
+        startUrl = 'https://' + startUrl;
+    const start = new URL(startUrl);
+    const host = start.host;
+    const root = path.resolve(outDir);
+    const assetsDir = path.join(root, '_assets');
+    fs.mkdirSync(root, { recursive: true });
+    const visited = new Set();
+    const queue = [start.href.replace(/#.*$/, '')];
+    const pageMap = new Map(); // sayfa absUrl → yerel dosya
+    const assetCache = new Map(); // assetUrl → yerel dosya (veya null=başarısız)
+    const rawPages = [];
+    const errors = [];
+    async function getAsset(absUrl) {
+        if (assetCache.has(absUrl))
+            return assetCache.get(absUrl);
+        assetCache.set(absUrl, null);
+        try {
+            const res = await fetch(absUrl, { headers: UA, signal: AbortSignal.timeout(15000) });
+            if (!res.ok) {
+                errors.push(`asset ${res.status} ${absUrl}`);
+                return null;
+            }
+            const u = new URL(absUrl);
+            const dest = assetFile(u, assetsDir);
+            fs.mkdirSync(path.dirname(dest), { recursive: true });
+            const ct = res.headers.get('content-type') || '';
+            if (/css/i.test(ct) || /\.css(\?|$)/i.test(absUrl)) {
+                let css = await res.text();
+                css = await rewriteCss(css, absUrl, dest);
+                fs.writeFileSync(dest, css);
+            }
+            else if (/text|javascript|json|xml|svg/i.test(ct) || /\.(js|mjs|json|xml|svg)(\?|$)/i.test(absUrl)) {
+                fs.writeFileSync(dest, await res.text());
+            }
+            else {
+                fs.writeFileSync(dest, Buffer.from(await res.arrayBuffer()));
+            }
+            assetCache.set(absUrl, dest);
+            return dest;
+        }
+        catch (e) {
+            errors.push(`asset ${absUrl}: ${e.message}`);
+            return null;
+        }
+    }
+    async function rewriteCss(css, cssUrl, cssFile) {
+        const refs = [...css.matchAll(/url\(\s*['"]?([^'")]+)['"]?\s*\)/gi)];
+        for (const m of refs) {
+            const ref = m[1];
+            if (/^(data:|#)/i.test(ref))
+                continue;
+            try {
+                const abs = new URL(ref, cssUrl).href;
+                const f = await getAsset(abs);
+                if (f)
+                    css = css.split(m[0]).join(`url("${relHref(cssFile, f)}")`);
+            }
+            catch { }
+        }
+        return css;
+    }
+    // ── PASS 1: sayfaları gez, asset'leri indir ──
+    while (queue.length && rawPages.length < maxPages) {
+        const cur = queue.shift();
+        if (visited.has(cur))
+            continue;
+        visited.add(cur);
+        let html;
+        try {
+            const res = await fetch(cur, { headers: UA, signal: AbortSignal.timeout(20000) });
+            if (!res.ok) {
+                errors.push(`page ${res.status} ${cur}`);
+                continue;
+            }
+            if (!/text\/html/i.test(res.headers.get('content-type') || ''))
+                continue;
+            html = await res.text();
+        }
+        catch (e) {
+            errors.push(`page ${cur}: ${e.message}`);
+            continue;
+        }
+        const u = new URL(cur);
+        const file = pageFile(u, root);
+        pageMap.set(cur, file);
+        rawPages.push({ url: u, file, html });
+        // linkleri+asset'leri çıkar
+        for (const ref of extractRefs(html)) {
+            let abs;
+            try {
+                abs = new URL(ref, cur);
+            }
+            catch {
+                continue;
+            }
+            abs.hash = '';
+            const href = abs.href;
+            const isAsset = ASSET_EXT.test(abs.pathname);
+            if (isAsset) {
+                await getAsset(href);
+            }
+            else if (abs.host === host && (PAGE_EXT.test(abs.pathname) || !/\.[a-z0-9]{1,6}$/i.test(abs.pathname.split('/').pop() || ''))) {
+                if (!visited.has(href) && rawPages.length + queue.length < maxPages)
+                    queue.push(href);
+            }
+        }
+    }
+    // ── PASS 2: her sayfanın HTML'inde asset + iç-link yollarını yerele düzelt, yaz ──
+    for (const pg of rawPages) {
+        let html = pg.html;
+        for (const ref of extractRefs(html)) {
+            let abs;
+            try {
+                abs = new URL(ref, pg.url.href);
+            }
+            catch {
+                continue;
+            }
+            const bare = abs.href.replace(/#.*$/, '');
+            let local = null;
+            if (assetCache.get(bare))
+                local = assetCache.get(bare);
+            else if (pageMap.has(bare))
+                local = pageMap.get(bare);
+            if (local) {
+                const rel = relHref(pg.file, local);
+                html = html.split(`"${ref}"`).join(`"${rel}"`).split(`'${ref}'`).join(`'${rel}'`);
+            }
+        }
+        fs.mkdirSync(path.dirname(pg.file), { recursive: true });
+        fs.writeFileSync(pg.file, html);
+    }
+    return { pages: rawPages.length, assets: [...assetCache.values()].filter(Boolean).length, outDir: root, pageFiles: rawPages.map((p) => p.file), errors: errors.slice(0, 30) };
+}

package/dist/theme.js

@@ -16,4 +16,4 @@ export const theme = {
     synType: '#a78bfa', // tip/sınıf adları, sabitler
     synProp: '#e0e0e0', // özellik/anahtar adları
 };
-export const VERSION = '1.0.213';
+export const VERSION = '1.0.214';

package/dist/tools.js

@@ -19,6 +19,7 @@ import { getExcludedTools } from './extensions.js';
 import { checkCommand, isShellCommandReadOnly } from './cmdsec.js';
 import * as Diff from 'diff';
 import * as computer from './computer.js';
+import { cloneSite } from './clone.js';
 // Agent/alt-agent araçlarının backend'e ulaşması için config. cli.tsx başlangıçta
 // setToolConfig ile aynı (mutable) config nesnesini verir → /config değişiklikleri görülür.
 let toolConfig = null;
@@ -443,6 +444,25 @@ export const toolSchemas = [
             },
         },
     },
+    {
+        type: 'function',
+        function: {
+            name: 'CloneSite',
+            description: 'Tam SİTE KLONLAMA (mirror) — gerçek HTML+CSS+JS+görselleri indirip BİREBİR yerel kopya yazar. ' +
+                'Kullanıcı bir siteyi "klonla / kopyala / indir / mirror / tam klon" istediğinde BUNU kullan (WebFetch DEĞİL — ' +
+                'WebFetch sadece metin döndürür, klonlama için işe yaramaz). İç linkleri takip eder (aynı host, sayfa limitli), ' +
+                'tüm asset yollarını yerele düzeltir → çıktı tarayıcıda offline açılır. Bittiğinde kaç sayfa/asset indiğini özetle.',
+            parameters: {
+                type: 'object',
+                properties: {
+                    url: { type: 'string', description: 'Klonlanacak sitenin başlangıç URL\'i (örn. https://site.com)' },
+                    out_dir: { type: 'string', description: 'Çıktı klasörü (örn. ./site-klon). Yoksa oluşturulur.' },
+                    max_pages: { type: 'number', description: 'En fazla kaç sayfa gezilsin (varsayılan 30, üst sınır 200). Tek sayfa için 1.' },
+                },
+                required: ['url', 'out_dir'],
+            },
+        },
+    },
     {
         type: 'function',
         function: {
@@ -685,7 +705,7 @@ const computerToolSchemas = [
 // çağırıp işi yapar, planı ekrana basmaz. (Gerekirse buraya yeni araç eklenir.)
 const CORE_TOOLS = new Set([
     'Bash', 'PowerShell', 'Read', 'Write', 'Edit', 'Glob', 'Grep',
-    'WebFetch', 'WebSearch', 'Sleep', 'SecurityScan', 'CodeAudit', 'JwtAudit', 'CreateDocument',
+    'WebFetch', 'WebSearch', 'CloneSite', 'Sleep', 'SecurityScan', 'CodeAudit', 'JwtAudit', 'CreateDocument',
     'TaskOutput', // uzun komutları arka planda çalıştırıp bitişini yoklamak için (run_in_background)
     'AskUserQuestion', // GERİ EKLENDİ: FLAT şema (options: string[]) ile 32B temiz çağrı üretiyor
     // (test edildi). Eski degenere NESTED şemadandı ([{label,description}]). Handler string→{label}
@@ -717,6 +737,7 @@ const TOOL_META = {
     Glob: { readOnly: true, concurrencySafe: true },
     Grep: { readOnly: true, concurrencySafe: true },
     WebFetch: { readOnly: true, validate: (a) => (a && a.url ? null : 'url gerekli') },
+    CloneSite: { needsPermission: true, validate: (a) => (a && a.url && a.out_dir ? null : 'url ve out_dir gerekli') },
     TaskOutput: { readOnly: true, concurrencySafe: true },
     Bash: { needsPermission: true, validate: (a) => (a && a.command ? null : 'command gerekli') },
     Write: { needsPermission: true, validate: (a) => (a && a.file_path ? null : 'file_path gerekli') },
@@ -1231,6 +1252,13 @@ export function toolLabel(name, args) {
             catch {
                 return String(args.url).slice(0, 50);
             } })()}`;
+        if (name === 'CloneSite')
+            return `🧬 Site klonlanıyor: ${(() => { try {
+                return new URL(/^https?:/.test(args.url) ? args.url : 'https://' + args.url).hostname;
+            }
+            catch {
+                return String(args.url).slice(0, 40);
+            } })()} → ${args.out_dir}`;
         if (name === 'Agent')
             return `Agent(${args.description || ''}${args.subagent_type ? ':' + args.subagent_type : ''}${args.run_in_background ? ', bg' : ''})`;
         if (name === 'TaskOutput')
@@ -1737,6 +1765,28 @@ export async function executeTool(name, args) {
             _webFetchCache.set(url, { text: txt, t: Date.now() });
             return { ok: true, output: header + (txt || '(empty)') };
         }
+        if (name === 'CloneSite') {
+            const url = String(args.url || '');
+            const outDir = String(args.out_dir || '');
+            if (!url || !outDir)
+                return { ok: false, output: 'url ve out_dir gerekli' };
+            const maxPages = Number(args.max_pages) || 30;
+            try {
+                const r = await cloneSite(url, outDir, { maxPages });
+                const lines = [
+                    `✓ Klon tamam: ${r.pages} sayfa + ${r.assets} asset indirildi → ${r.outDir}`,
+                    `Aç: ${path.join(r.outDir, 'index.html')} (tarayıcıda offline açılır, asset yolları yerele düzeltildi)`,
+                ];
+                if (r.pageFiles.length)
+                    lines.push('Sayfalar: ' + r.pageFiles.slice(0, 12).map((f) => path.relative(r.outDir, f)).join(', ') + (r.pageFiles.length > 12 ? ` (+${r.pageFiles.length - 12})` : ''));
+                if (r.errors.length)
+                    lines.push(`Atlanan/hatalı ${r.errors.length} kaynak (ölü link/erişim) — klon yine de çalışır.`);
+                return { ok: true, output: lines.join('\n') };
+            }
+            catch (e) {
+                return { ok: false, output: 'Klonlama hatası: ' + (e?.message || String(e)) };
+            }
+        }
         if (name === 'WebSearch') {
             // Once gateway arama proxy'sini dene (Tavily anahtari sunucuda ayarliysa onu kullanir; anahtar istemciye gelmez)
             try {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "wormclaude",
-  "version": "1.0.213",
+  "version": "1.0.214",
   "description": "WormClaude CLI - uncensored security+code assistant (ink TUI, Claude-style)",
   "type": "module",
   "bin": {