project2txt 1.1.0 → 1.2.0

package/README.md

@@ -31,10 +31,10 @@ project2txt <path_or_repo> [flags]
 project2txt ./myProject --out bundle.txt --maxLines 5000
 
 # short repo syntax
-project2txt facebook/react --dir scans --name react.txt
+project2txt facebook/react --dir scans --out react.txt
 
 # full URL
-project2txt https://github.com/vercel/next.js --dir output --name next.txt --maxMb 10
+project2txt https://github.com/vercel/next.js --dir output --out next.txt --maxMb 10
 
 # keep clone folder
 project2txt user/repo --keep

package/index.js

@@ -1,7 +1,7 @@
 #!/usr/bin/env node
 /**
  * Склеивает проект в один текстовый файл для ИИ
- * node project2singletxt.js [путь_или_репо] [--out имя] [--dir папка] [--maxMb 5] [--maxLines 5000] [--keep]
+ * node project2txt.js [путь_или_репо] [--compress] [--out имя] [--dir папка] [--maxMb 5] [--maxLines 5000] [--keep]
  */
 const fs   = require('fs');
 const path = require('path');
@@ -10,6 +10,7 @@ const ignore = require('ignore');
 const pino   = require('pino');
 const { execSync } = require('child_process');
 const tmp = require('tmp');
+const CWD = process.cwd();
 tmp.setGracefulCleanup();
 
 const logger = pino({ level: 'info' });
@@ -20,8 +21,9 @@ let projectRoot = argv[0] || '.';
 let outFile     = 'project.txt';
 let maxSizeMb   = 5;
 let outDir      = 'output';
-let maxLines    = 0;               // 0 = без лимита строк
+let maxLines    = 0;
 const keepFlag  = argv.includes('--keep');
+const compressFlag = argv.includes('--compress'); // НОВЫЙ ФЛАГ
 
 const outFlag  = argv.indexOf('--out');
 const dirFlag  = argv.indexOf('--dir');
@@ -33,6 +35,113 @@ if (dirFlag   !== -1 && argv[dirFlag   + 1]) outDir   = argv[dirFlag   + 1];
 if (maxMbFlag !== -1 && argv[maxMbFlag + 1]) maxSizeMb= Number(argv[maxMbFlag + 1]);
 if (maxLFlag  !== -1 && argv[maxLFlag  + 1]) maxLines = Number(argv[maxLFlag  + 1]);
 
+/* ========== ФУНКЦИЯ СЖАТИЯ ДЛЯ ИИ ========== */
+function compressForAI(code, filePath) {
+  if (!compressFlag) return code; // Если флаг не указан - возвращаем как есть
+  
+  const ext = path.extname(filePath).toLowerCase();
+  
+  // Базовое сжатие (для всех файлов)
+  let compressed = code
+    // Удаляем множественные пустые строки (max 2 подряд)
+    .replace(/\n\s*\n\s*\n+/g, '\n\n')
+    // Удаляем пробелы в конце строк
+    .replace(/[ \t]+$/gm, '')
+    // Удаляем однострочные комментарии
+    .replace(/\/\/.*$/gm, '')
+    // Удаляем блоки комментариев
+    .replace(/\/\*[\s\S]*?\*\//g, '')
+    // Удаляем debug-выражения
+    .replace(/^\s*(console\.(log|warn|error|info|time|timeEnd)\(.*\)|debugger);?\s*$/gm, '')
+    .replace(/\s*console\.(log|warn|error|info)\(.*\)\s*;/g, '');
+  
+  // Специфичные оптимизации по типам файлов
+  switch (ext) {
+    case '.js':
+    case '.jsx':
+    case '.ts':
+    case '.tsx':
+      // Удаляем импорты типов TypeScript
+      compressed = compressed.replace(/import type .*?from .*?['"][^'"]+['"];?\n?/g, '');
+      // Удаляем пустые экспорты
+      compressed = compressed.replace(/export\s*{\s*};?\n?/g, '');
+      break;
+      
+    case '.json':
+      // Минификация JSON (без пробелов)
+      try {
+        const obj = JSON.parse(compressed);
+        compressed = JSON.stringify(obj);
+      } catch (e) {
+        // Если невалидный JSON, просто сжимаем пробелы
+        compressed = compressed
+          .replace(/\s*([\{\}\[\],:])\s*/g, '$1')
+          .replace(/{\s*/g, '{').replace(/\s*}/g, '}');
+      }
+      break;
+      
+    case '.html':
+      // Удаляем комментарии HTML
+      compressed = compressed.replace(/<!--[\s\S]*?-->/g, '');
+      // Сжимаем пробелы в тегах
+      compressed = compressed.replace(/>\s+</g, '><');
+      break;
+      
+    case '.css':
+    case '.scss':
+    case '.less':
+      // Удаляем CSS комментарии
+      compressed = compressed.replace(/\/\*[\s\S]*?\*\//g, '');
+      // Сжимаем пробелы
+      compressed = compressed.replace(/\s*([\{\}:;,])\s*/g, '$1');
+      break;
+  }
+  
+  // Финальная очистка
+  compressed = compressed
+    .replace(/\n{3,}/g, '\n\n')  // Не больше 2 пустых строк подряд
+    .trim();
+  
+  return compressed;
+}
+
+/* ========== ГЕНЕРАЦИЯ СУММАРИ ПРОЕКТА ========== */
+function generateProjectSummary(files, projectRoot) {
+  const summary = [];
+  summary.push('=== PROJECT SUMMARY ===\n');
+  
+  // Группируем файлы по типам
+  const fileTypes = {};
+  files.forEach(file => {
+    const ext = path.extname(file) || 'no-extension';
+    fileTypes[ext] = (fileTypes[ext] || 0) + 1;
+  });
+  
+  summary.push('File types:');
+  Object.entries(fileTypes).forEach(([ext, count]) => {
+    summary.push(`  ${ext || '(no ext)'}: ${count} files`);
+  });
+  
+  // Находим ключевые файлы
+  const keyFiles = files.filter(f => 
+    /^(package\.json|tsconfig\.json|webpack\.config|index\.|app\.|main\.|readme)/i.test(path.basename(f))
+  );
+  
+  if (keyFiles.length) {
+    summary.push('\nKey files:');
+    keyFiles.forEach(file => {
+      try {
+        const content = fs.readFileSync(path.join(projectRoot, file), 'utf8');
+        const lines = content.split('\n').length;
+        summary.push(`  ${file} (${lines} lines)`);
+      } catch (e) {}
+    });
+  }
+  
+  summary.push('\n=== END SUMMARY ===\n\n');
+  return summary.join('\n');
+}
+
 /* ========== clone GitHub repo if needed ========== */
 function cloneIfNeeded(input) {
   if (fs.existsSync(input)) return path.resolve(input);
@@ -46,7 +155,7 @@ function cloneIfNeeded(input) {
   return clonePath;
 }
 projectRoot = cloneIfNeeded(projectRoot);
-outDir      = path.resolve(projectRoot, outDir);
+outDir = path.resolve(CWD, outDir);
 fs.mkdirSync(outDir, { recursive: true });
 
 const maxBytes = maxSizeMb * 1024 * 1024;
@@ -125,11 +234,26 @@ function splitRespectingBoundaries(fullText, maxLines) {
   const filtered = files.sort().filter(f => !ig.ignores(f));
   if (!filtered.length) { logger.warn('no files found'); process.exit(0); }
 
-  let fullText = '';
+  logger.info({ 
+    totalFiles: filtered.length, 
+    compress: compressFlag ? 'ON' : 'OFF',
+    maxSizeMb 
+  });
+
+  // Добавляем суммари проекта в начало
+  let fullText = generateProjectSummary(filtered, projectRoot);
+  
   for (const rel of filtered) {
     const head = `----- file: ${rel} -----\n`;
     const tail = '-----------------------------------------\n';
-    fullText += head + fs.readFileSync(path.join(projectRoot, rel), 'utf8') + tail;
+    const fileContent = fs.readFileSync(path.join(projectRoot, rel), 'utf8');
+    
+    // Применяем сжатие только если включен флаг --compress
+    const processedContent = compressFlag 
+      ? compressForAI(fileContent, rel) 
+      : fileContent;
+    
+    fullText += head + processedContent + tail;
   }
 
   const chunks = splitRespectingBoundaries(fullText, maxLines);
@@ -149,9 +273,22 @@ function splitRespectingBoundaries(fullText, maxLines) {
     }
     fs.writeFileSync(target, chunk);
     writtenBytes += buffer.length;
-    logger.info({ chunk: target, lines: chunk.split(/\r?\n/).length }, 'written');
+    const stats = {
+      chunk: path.basename(target), 
+      lines: chunk.split(/\r?\n/).length,
+      sizeKB: (buffer.length / 1024).toFixed(1)
+    };
+    logger.info(stats, 'written');
   });
-  logger.info({ outDir, totalMb: (writtenBytes / 1024 / 1024).toFixed(2) }, 'done');
+  
+  const stats = { 
+    outDir, 
+    totalFiles: filtered.length,
+    totalChunks: chunks.length,
+    totalMB: (writtenBytes / 1024 / 1024).toFixed(2),
+    compressUsed: compressFlag
+  };
+  logger.info(stats, 'done');
 })().catch(err => {
   logger.error(err);
   process.exit(1);

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "project2txt",
-  "version": "1.1.0",
+  "version": "1.2.0",
   "description": "Concatenate any project (local or GitHub repo) into a single text file for AI",
   "main": "index.js",
   "bin": {