botrun-horse 2.29.2 → 2.30.0

package/botrun-c/.claude/skills/pdf-multimodal-processor/scripts/process_pdf.py

@@ -0,0 +1,515 @@
+#!/usr/bin/env python3
+# /// script
+# requires-python = ">=3.8"
+# dependencies = [
+#     "requests>=2.28.0",
+#     "pdf2image>=1.17.0",
+#     "Pillow>=10.0.0",
+#     "pdfplumber>=0.10.0",
+# ]
+# ///
+"""
+PDF 多模態處理器
+將 PDF 轉換為圖片，透過座標感知 ML OCR API 進行文字辨識，合併為單一 JSON 檔案。
+
+使用方式：
+# 單一檔案
+uv run process_pdf.py --input <PDF_PATH> --output <OUTPUT_DIR>
+
+# 多個檔案
+uv run process_pdf.py --input a.pdf b.pdf c.pdf --output <OUTPUT_DIR>
+
+# 整個目錄
+uv run process_pdf.py --input <PDF_DIR> --output <OUTPUT_DIR>
+"""
+
+import argparse
+import json
+import sys
+import time
+from datetime import datetime
+from pathlib import Path
+
+import requests
+
+# API 設定
+API_BASE = "https://app.botrun.ai/azure-ocr-api"
+ANALYZE_ENDPOINT = f"{API_BASE}/vision/v3.2/read/analyze"
+RESULTS_ENDPOINT = f"{API_BASE}/vision/v3.2/read/analyzeResults"
+
+# Polling 設定
+MAX_POLL_RETRIES = 4
+POLL_WAIT_SECONDS = 15
+
+
+def log_message(message: str) -> None:
+    """記錄處理訊息"""
+    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+    print(f"[{timestamp}] {message}")
+
+
+def pdf_to_images(pdf_path: Path, output_dir: Path, dpi: int = 200, quality: int = 85) -> list:
+    """
+    將 PDF 轉換為多張圖片
+
+    Args:
+        pdf_path: PDF 檔案路徑
+        output_dir: 輸出目錄
+        dpi: 圖片解析度
+        quality: JPEG 品質
+
+    Returns:
+        輸出圖片路徑列表
+    """
+    from pdf2image import convert_from_path
+
+    log_message(f"開始轉換 PDF: {pdf_path.name}")
+
+    # 創建輸出目錄
+    output_dir.mkdir(parents=True, exist_ok=True)
+
+    # 轉換 PDF 為圖片
+    pages = convert_from_path(pdf_path, dpi=dpi)
+    total_pages = len(pages)
+    log_message(f"PDF 共 {total_pages} 頁")
+
+    output_files = []
+    for i, page in enumerate(pages, 1):
+        output_path = output_dir / f"{pdf_path.stem}_page_{i}.jpg"
+        page.save(output_path, 'JPEG', quality=quality, optimize=True)
+        output_files.append(output_path)
+        log_message(f"  已保存第 {i} 頁: {output_path.name}")
+
+    return output_files
+
+
+def submit_ocr_request(image_path: Path) -> str:
+    """
+    提交 OCR 請求
+
+    Args:
+        image_path: 圖片檔案路徑
+
+    Returns:
+        operation_id
+    """
+    log_message(f"提交 OCR 請求: {image_path.name}")
+
+    with open(image_path, 'rb') as f:
+        image_data = f.read()
+
+    response = requests.post(
+        ANALYZE_ENDPOINT,
+        headers={'Content-Type': 'application/octet-stream'},
+        data=image_data
+    )
+
+    if response.status_code != 202:
+        raise RuntimeError(f"OCR 請求失敗: {response.status_code} - {response.text}")
+
+    # 從 header 取得 operation-location
+    operation_location = response.headers.get('operation-location', '')
+
+    if not operation_location:
+        raise RuntimeError("無法取得 operation-location")
+
+    # 從 URL 中提取 operation_id
+    operation_id = operation_location.split('/')[-1]
+    log_message(f"  Operation ID: {operation_id}")
+
+    return operation_id
+
+
+def poll_ocr_result(operation_id: str) -> dict:
+    """
+    輪詢 OCR 結果
+
+    Args:
+        operation_id: 操作 ID
+
+    Returns:
+        OCR 結果
+    """
+    result_url = f"{RESULTS_ENDPOINT}/{operation_id}"
+
+    for attempt in range(1, MAX_POLL_RETRIES + 1):
+        log_message(f"  輪詢結果 (第 {attempt}/{MAX_POLL_RETRIES} 次)...")
+
+        response = requests.get(result_url)
+
+        if response.status_code != 200:
+            raise RuntimeError(f"取得結果失敗: {response.status_code} - {response.text}")
+
+        result = response.json()
+        status = result.get('status', '')
+
+        if status == 'succeeded':
+            log_message(f"  OCR 處理完成")
+            return result
+        elif status == 'failed':
+            raise RuntimeError(f"OCR 處理失敗: {result}")
+        else:
+            # running 或 notStarted
+            if attempt < MAX_POLL_RETRIES:
+                log_message(f"  狀態: {status}，等待 {POLL_WAIT_SECONDS} 秒...")
+                time.sleep(POLL_WAIT_SECONDS)
+
+    raise TimeoutError(f"OCR 處理超時，已等待 {MAX_POLL_RETRIES * POLL_WAIT_SECONDS} 秒")
+
+
+def process_ocr_result(ocr_result: dict) -> dict:
+    """
+    處理 OCR 結果，提取文字和行資訊
+
+    Args:
+        ocr_result: 座標感知 ML OCR API 返回的結果
+
+    Returns:
+        處理後的結果
+    """
+    analyze_result = ocr_result.get('analyzeResult', {})
+    read_results = analyze_result.get('readResults', [])
+
+    lines = []
+    text_parts = []
+
+    for read_result in read_results:
+        for line in read_result.get('lines', []):
+            line_text = line.get('text', '')
+            bounding_box = line.get('boundingBox', [])
+
+            lines.append({
+                'text': line_text,
+                'boundingBox': bounding_box
+            })
+            text_parts.append(line_text)
+
+    return {
+        'status': ocr_result.get('status', ''),
+        'text': '\n'.join(text_parts),
+        'lines': lines
+    }
+
+
+def ocr_image(image_path: Path) -> dict:
+    """
+    對單張圖片進行 OCR
+
+    Args:
+        image_path: 圖片路徑
+
+    Returns:
+        OCR 結果
+    """
+    # 提交請求
+    operation_id = submit_ocr_request(image_path)
+
+    # 等待一下再開始輪詢
+    time.sleep(2)
+
+    # 輪詢結果
+    raw_result = poll_ocr_result(operation_id)
+
+    # 處理結果
+    return process_ocr_result(raw_result)
+
+
+def extract_text_native(pdf_path: Path) -> list:
+    """
+    使用 pdfplumber 逐頁嘗試提取原生文字
+
+    Args:
+        pdf_path: PDF 檔案路徑
+
+    Returns:
+        每頁結果列表，每項包含 page_num, has_text, text
+    """
+    import pdfplumber
+
+    log_message(f"嘗試 pdfplumber 原生文字提取: {pdf_path.name}")
+
+    pages_info = []
+    with pdfplumber.open(pdf_path) as pdf:
+        for i, page in enumerate(pdf.pages, 1):
+            is_scanned = len(page.chars) == 0
+            text = ""
+            if not is_scanned:
+                text = page.extract_text(layout=True) or ""
+            pages_info.append({
+                'page_num': i,
+                'has_text': not is_scanned,
+                'text': text,
+            })
+            method = "原生文字" if not is_scanned else "掃描頁（需 OCR）"
+            log_message(f"  第 {i} 頁: {method}")
+
+    native_count = sum(1 for p in pages_info if p['has_text'])
+    ocr_count = len(pages_info) - native_count
+    log_message(f"分析結果: {native_count} 頁原生文字, {ocr_count} 頁需 OCR")
+
+    return pages_info
+
+
+def get_output_image_dir(output_path: Path, source_name: str) -> Path:
+    """
+    根據輸出路徑取得圖片輸出目錄
+
+    Args:
+        output_path: JSON 輸出路徑
+        source_name: 原始檔案名稱（不含副檔名）
+
+    Returns:
+        圖片輸出目錄
+    """
+    return output_path.parent / f"[img]{source_name}"
+
+
+def process_pdf(input_path: Path, output_path: Path, dpi: int = 200, quality: int = 85) -> dict:
+    """
+    處理 PDF 檔案：先嘗試原生文字提取，掃描頁才走 OCR
+
+    Args:
+        input_path: 輸入 PDF 檔案路徑
+        output_path: 輸出 JSON 路徑
+        dpi: 圖片解析度
+        quality: JPEG 品質
+
+    Returns:
+        處理結果
+    """
+    source_name = input_path.stem
+
+    result = {
+        'source_file': input_path.name,
+        'file_type': 'pdf',
+        'total_pages': 0,
+        'processed_at': datetime.now().isoformat(),
+        'pages': [],
+        'full_text': ''
+    }
+
+    # 1. pdfplumber 逐頁分析
+    pages_info = extract_text_native(input_path)
+    result['total_pages'] = len(pages_info)
+
+    # 找出需要 OCR 的頁面
+    ocr_page_nums = [p['page_num'] for p in pages_info if not p['has_text']]
+
+    # 2. 只對掃描頁轉圖片 + OCR
+    ocr_results_map = {}
+    if ocr_page_nums:
+        log_message(f"對 {len(ocr_page_nums)} 頁掃描頁進行 OCR...")
+        image_dir = get_output_image_dir(output_path, source_name)
+        image_dir.mkdir(parents=True, exist_ok=True)
+
+        from pdf2image import convert_from_path
+
+        for page_num in ocr_page_nums:
+            log_message(f"OCR 處理第 {page_num}/{len(pages_info)} 頁...")
+            # 只轉換該頁
+            images = convert_from_path(
+                input_path, dpi=dpi,
+                first_page=page_num, last_page=page_num
+            )
+            image_path = image_dir / f"{source_name}_page_{page_num}.jpg"
+            images[0].save(image_path, 'JPEG', quality=quality, optimize=True)
+
+            ocr_result = ocr_image(image_path)
+            ocr_results_map[page_num] = {
+                'image_file': image_path.name,
+                'ocr_result': ocr_result,
+            }
+
+    # 3. 組合所有頁面結果
+    all_texts = []
+    for page_info in pages_info:
+        page_num = page_info['page_num']
+
+        if page_info['has_text']:
+            # 原生文字
+            page_result = {
+                'page': page_num,
+                'extraction_method': 'native',
+                'text': page_info['text'],
+            }
+            all_texts.append(page_info['text'])
+        else:
+            # OCR
+            ocr_data = ocr_results_map[page_num]
+            page_result = {
+                'page': page_num,
+                'extraction_method': 'ocr',
+                'image_file': ocr_data['image_file'],
+                'ocr_result': ocr_data['ocr_result'],
+            }
+            all_texts.append(ocr_data['ocr_result'].get('text', ''))
+
+        result['pages'].append(page_result)
+
+    # 4. 合併所有頁面文字
+    result['full_text'] = '\n\n'.join(all_texts)
+
+    return result
+
+
+def save_result(result: dict, output_path: Path) -> None:
+    """儲存結果到 JSON 檔案和 Markdown 檔案"""
+    output_path.parent.mkdir(parents=True, exist_ok=True)
+
+    # 儲存 JSON 檔案
+    with open(output_path, 'w', encoding='utf-8') as f:
+        json.dump(result, f, ensure_ascii=False, indent=2)
+
+    log_message(f"結果已儲存至: {output_path}")
+
+    # 儲存 Markdown 檔案（與 JSON 同名，副檔名為 .md）
+    md_path = output_path.with_suffix('.md')
+    full_text = result.get('full_text', '')
+
+    with open(md_path, 'w', encoding='utf-8') as f:
+        f.write(full_text)
+
+    log_message(f"Markdown 已儲存至: {md_path}")
+
+
+def collect_pdf_files(input_paths: list) -> list:
+    """
+    收集所有要處理的 PDF 檔案
+
+    Args:
+        input_paths: 輸入路徑列表（可以是檔案或目錄）
+
+    Returns:
+        PDF 檔案路徑列表
+    """
+    pdf_files = []
+
+    for input_path in input_paths:
+        if input_path.is_file():
+            if input_path.suffix.lower() == '.pdf':
+                pdf_files.append(input_path)
+            else:
+                log_message(f"跳過非 PDF 檔案: {input_path.name}")
+        elif input_path.is_dir():
+            # 掃描目錄下的所有 PDF
+            found = sorted(input_path.glob("*.pdf"))
+            log_message(f"在目錄 '{input_path}' 找到 {len(found)} 個 PDF")
+            pdf_files.extend(found)
+        else:
+            log_message(f"警告：路徑不存在 '{input_path}'")
+
+    return pdf_files
+
+
+def main():
+    parser = argparse.ArgumentParser(
+        description="PDF 多模態處理器：將 PDF 轉換為圖片並進行 OCR，合併為單一 JSON"
+    )
+    parser.add_argument(
+        "--input", "-i",
+        type=Path,
+        nargs='+',
+        required=True,
+        help="輸入 PDF 檔案或目錄（可指定多個）"
+    )
+    parser.add_argument(
+        "--output", "-o",
+        type=Path,
+        required=True,
+        help="輸出目錄"
+    )
+    parser.add_argument(
+        "--dpi", "-d",
+        type=int,
+        default=200,
+        help="圖片解析度（預設 200，OCR 建議最低 150）"
+    )
+    parser.add_argument(
+        "--quality", "-q",
+        type=int,
+        default=85,
+        help="JPEG 品質（預設 85，搭配 optimize=True 壓縮）"
+    )
+
+    args = parser.parse_args()
+
+    # 收集所有 PDF 檔案
+    pdf_files = collect_pdf_files(args.input)
+
+    if not pdf_files:
+        print("錯誤：找不到任何 PDF 檔案")
+        sys.exit(1)
+
+    # 確保輸出目錄存在
+    output_dir = args.output
+    output_dir.mkdir(parents=True, exist_ok=True)
+
+    # 顯示處理資訊
+    print("=" * 60)
+    print("PDF 多模態處理器（批次模式）")
+    print("=" * 60)
+    log_message(f"找到 {len(pdf_files)} 個 PDF 檔案")
+    log_message(f"輸出目錄: {output_dir}")
+    log_message(f"解析度: {args.dpi} DPI")
+    log_message(f"JPEG 品質: {args.quality}")
+    print("-" * 60)
+
+    # 批次處理所有 PDF
+    success_count = 0
+    error_count = 0
+    results_summary = []
+
+    for idx, pdf_file in enumerate(pdf_files, 1):
+        print(f"\n[{idx}/{len(pdf_files)}] 處理: {pdf_file.name}")
+        print("-" * 40)
+
+        # 輸出檔案路徑（根據 PDF 檔名自動產生）
+        output_json = output_dir / f"{pdf_file.stem}.json"
+
+        try:
+            # 處理 PDF
+            result = process_pdf(pdf_file, output_json, args.dpi, args.quality)
+
+            # 儲存結果
+            save_result(result, output_json)
+
+            success_count += 1
+            results_summary.append({
+                'file': pdf_file.name,
+                'status': 'success',
+                'pages': result['total_pages']
+            })
+            log_message(f"完成！共 {result['total_pages']} 頁")
+
+        except Exception as e:
+            error_count += 1
+            results_summary.append({
+                'file': pdf_file.name,
+                'status': 'error',
+                'error': str(e)
+            })
+            log_message(f"錯誤：{e}")
+
+    # 顯示總結
+    print("\n" + "=" * 60)
+    print("批次處理完成")
+    print("=" * 60)
+    log_message(f"成功: {success_count} 個")
+    log_message(f"失敗: {error_count} 個")
+    print("-" * 60)
+
+    for item in results_summary:
+        status_icon = "✓" if item['status'] == 'success' else "✗"
+        if item['status'] == 'success':
+            print(f"  {status_icon} {item['file']} ({item['pages']} 頁)")
+        else:
+            print(f"  {status_icon} {item['file']} - {item['error']}")
+
+    print("=" * 60)
+
+    if error_count > 0:
+        sys.exit(1)
+
+
+if __name__ == "__main__":
+    main()

package/botrun-c/.claude/skills/ripgrep/346/220/234/345/260/213/346/212/200/350/203/275/SKILL.md

@@ -0,0 +1,81 @@
+---
+name: ripgrep搜尋技能
+description: 安全 Ripgrep 搜尋服務。當使用者需要「搜尋程式碼」、「找函數」、「grep」、「rg」、「搜尋檔案內容」時使用。
+allowed-tools: Bash
+---
+
+# 🔍 安全搜尋技能
+
+## 觸發條件
+- 使用者說「搜尋程式碼」、「找函數」、「grep」、「rg」
+- 需要在程式碼中搜尋特定字串或正規表達式
+- 需要找出某個變數、函數、類別的定義或使用位置
+
+## 執行方式
+
+執行以下腳本進行搜尋：
+
+```bash
+node $OFFICIAL_SKILLS_DIR/ripgrep搜尋技能/scripts/secure-search.mjs "搜尋模式"
+```
+
+### 進階選項
+
+```bash
+# 指定搜尋路徑（相對於工作目錄）
+node .../secure-search.mjs "pattern" --path "src"
+
+# 不區分大小寫
+node .../secure-search.mjs "pattern" -i
+
+# 顯示前後文（各 3 行）
+node .../secure-search.mjs "pattern" -C 3
+
+# 只搜尋特定檔案類型
+node .../secure-search.mjs "pattern" --type js
+node .../secure-search.mjs "pattern" --type ts
+
+# 組合使用
+node .../secure-search.mjs "TODO" --path "src" -i -C 2 --type ts
+```
+
+## 輸出格式
+
+腳本會輸出 Markdown 格式的搜尋結果：
+
+```markdown
+## 搜尋結果：pattern
+
+**搜尋路徑**: src
+**匹配數量**: 15 筆
+
+\`\`\`
+src/index.ts:10:  function handlePattern() {
+src/utils.ts:25:  const pattern = /regex/;
+...
+\`\`\`
+```
+
+## 安全特性
+- 所有路徑都被限制在工作目錄內
+- 禁止絕對路徑和 `..` 路徑遍歷
+- 禁止危險參數（--pre, --replace）
+- 禁止 shell 元字元（;|&`$><）
+
+## 支援的 rg 參數
+- `-i` / `--ignore-case`：不區分大小寫
+- `-C <N>` / `--context <N>`：顯示前後 N 行
+- `-A <N>` / `--after-context <N>`：顯示後 N 行
+- `-B <N>` / `--before-context <N>`：顯示前 N 行
+- `--type <type>`：只搜尋特定類型（js, ts, py, etc.）
+- `-w` / `--word-regexp`：完整單字匹配
+- `-l` / `--files-with-matches`：只顯示檔案名稱
+
+## 範例
+
+使用者：「幫我找一下哪裡有用到 validatePath 函數」
+
+執行：
+```bash
+node $OFFICIAL_SKILLS_DIR/ripgrep搜尋技能/scripts/secure-search.mjs "validatePath" -C 2
+```

package/botrun-c/.claude/skills/ripgrep/346/220/234/345/260/213/346/212/200/350/203/275/scripts/package.json

@@ -0,0 +1,13 @@
+{
+  "name": "secure-search-scripts",
+  "version": "1.0.0",
+  "description": "安全搜尋技能腳本",
+  "type": "module",
+  "main": "secure-search.mjs",
+  "scripts": {
+    "test": "node secure-search.mjs 'test'"
+  },
+  "keywords": ["ripgrep", "search", "security"],
+  "author": "Botrun",
+  "license": "MIT"
+}