aiecs 1.0.0__py3-none-any.whl

aiecs/scripts/DEPENDENCY_SYSTEM_SUMMARY.md

@@ -0,0 +1,241 @@
+# AIECS 依赖检查系统实现总结
+
+## 概述
+
+基于 `/home/coder1/python-middleware-dev/docs/TOOLS_USED_INSTRUCTION/TOOL_SPECIAL_SPECIAL_INSTRUCTIONS.md` 文档中的工具特殊使用说明，我们为 AIECS 包实现了一个全面的依赖检查系统。
+
+## 实现的功能
+
+### 1. 综合依赖检查脚本 (`dependency_checker.py`)
+
+**功能**:
+- 检查所有 AIECS 工具的系统级依赖、Python包依赖和模型文件
+- 支持 6 个主要工具：Image Tool、ClassFire Tool、Office Tool、Stats Tool、Report Tool、Scraper Tool
+- 生成详细的依赖状态报告
+- 提供安装命令和影响说明
+
+**特点**:
+- 跨平台支持 (Linux、macOS、Windows)
+- 详细的错误处理和日志记录
+- 可扩展的架构，易于添加新工具
+
+### 2. 快速依赖检查脚本 (`quick_dependency_check.py`)
+
+**功能**:
+- 快速检查关键依赖项
+- 适合安装后验证
+- 生成简洁的状态报告
+- 提供基本的安装命令
+
+**特点**:
+- 轻量级，执行速度快
+- 专注于关键依赖
+- 适合自动化场景
+
+### 3. 自动依赖修复脚本 (`dependency_fixer.py`)
+
+**功能**:
+- 自动安装缺失的依赖项
+- 支持交互和非交互模式
+- 智能的依赖分组和安装顺序
+- 详细的修复报告
+
+**特点**:
+- 用户友好的确认机制
+- 支持多种包管理器 (apt、brew、pip)
+- 完整的错误处理和回滚
+
+### 4. 集成到安装流程
+
+**setup.py 更新**:
+- 在 `run_post_install()` 函数中集成依赖检查
+- 添加了 3 个新的命令行工具入口点
+- 提供安装后的自动验证
+
+**命令行工具**:
+- `aiecs-check-deps`: 完整依赖检查
+- `aiecs-quick-check`: 快速依赖检查  
+- `aiecs-fix-deps`: 自动依赖修复
+
+## 支持的依赖类型
+
+### 系统级依赖
+
+1. **Java 运行时环境** (Office Tool)
+   - 用于 Apache Tika 文档解析
+   - 支持 OpenJDK 11+
+
+2. **Tesseract OCR 引擎** (Image Tool, Office Tool)
+   - 图像文字识别
+   - 支持多语言包
+
+3. **图像处理库** (Image Tool, Report Tool)
+   - libjpeg, libpng, libtiff 等
+   - Pillow 系统依赖
+
+4. **统计文件格式库** (Stats Tool)
+   - libreadstat (SAS/SPSS/Stata 文件)
+   - Excel 处理库
+
+5. **PDF 生成库** (Report Tool)
+   - WeasyPrint 系统依赖
+   - cairo, pango, gdk-pixbuf 等
+
+6. **浏览器自动化库** (Scraper Tool)
+   - Playwright 浏览器二进制文件
+   - 系统图形库
+
+### Python 包依赖
+
+- **核心框架**: FastAPI, uvicorn, pydantic, httpx
+- **任务队列**: celery, redis
+- **数据处理**: pandas, numpy, scipy, scikit-learn
+- **文档处理**: python-docx, python-pptx, openpyxl, pdfplumber
+- **NLP 处理**: spacy, transformers, nltk
+- **图像处理**: pillow, pytesseract
+- **网页抓取**: playwright, scrapy, beautifulsoup4
+- **报告生成**: jinja2, matplotlib, weasyprint
+
+### 模型文件依赖
+
+1. **spaCy 模型**
+   - en_core_web_sm (英文)
+   - zh_core_web_sm (中文)
+
+2. **Transformers 模型**
+   - facebook/bart-large-cnn (英文摘要)
+   - t5-base (多语言摘要)
+
+3. **NLTK 数据包**
+   - stopwords, punkt, wordnet, averaged_perceptron_tagger
+
+4. **Playwright 浏览器**
+   - Chromium, Firefox, WebKit
+
+## 安装后自动检查流程
+
+当用户运行 `pip install aiecs` 时：
+
+1. **Weasel 库补丁应用**
+   - 修复 weasel 库的验证问题
+   - 确保 spaCy 配置正常工作
+
+2. **NLP 数据下载**
+   - 下载 NLTK 数据包
+   - 下载 spaCy 模型
+
+3. **系统依赖检查**
+   - 运行快速依赖检查
+   - 显示缺失的依赖项
+   - 提供安装指导
+
+4. **安装总结**
+   - 显示所有步骤的状态
+   - 提供后续操作建议
+
+## 使用方法
+
+### 安装后验证
+
+```bash
+# 快速检查
+aiecs-quick-check
+
+# 完整检查
+aiecs-check-deps
+
+# 自动修复
+aiecs-fix-deps
+```
+
+### 开发环境设置
+
+```bash
+# 检查所有依赖
+aiecs-check-deps
+
+# 自动修复缺失依赖
+aiecs-fix-deps --non-interactive
+
+# 仅检查不修复
+aiecs-fix-deps --check-only
+```
+
+## 故障排除
+
+### 常见问题解决
+
+1. **Java 未安装**
+   ```bash
+   # Ubuntu/Debian
+   sudo apt-get install openjdk-11-jdk
+   
+   # macOS
+   brew install openjdk@11
+   ```
+
+2. **Tesseract OCR 未安装**
+   ```bash
+   # Ubuntu/Debian
+   sudo apt-get install tesseract-ocr tesseract-ocr-eng
+   
+   # macOS
+   brew install tesseract
+   ```
+
+3. **spaCy 模型未下载**
+   ```bash
+   python -m spacy download en_core_web_sm
+   python -m spacy download zh_core_web_sm
+   ```
+
+4. **Playwright 浏览器未安装**
+   ```bash
+   playwright install
+   ```
+
+## 扩展性
+
+### 添加新工具依赖检查
+
+1. 在 `DependencyChecker` 类中添加新的检查方法
+2. 在 `check_all_dependencies()` 中注册新工具
+3. 更新安装命令映射
+
+### 自定义检查逻辑
+
+```python
+from aiecs.scripts.dependency_checker import DependencyChecker
+
+checker = DependencyChecker()
+tools = checker.check_all_dependencies()
+report = checker.generate_report(tools)
+```
+
+## 文件结构
+
+```
+aiecs/scripts/
+├── dependency_checker.py          # 完整依赖检查
+├── quick_dependency_check.py      # 快速依赖检查
+├── dependency_fixer.py            # 自动依赖修复
+├── test_dependency_checker.py     # 测试脚本
+├── README_DEPENDENCY_CHECKER.md   # 使用说明
+└── DEPENDENCY_SYSTEM_SUMMARY.md   # 系统总结
+```
+
+## 总结
+
+这个依赖检查系统解决了 AIECS 包作为项目依赖时的关键问题：
+
+1. **自动检查**: 安装后自动验证所有依赖
+2. **详细报告**: 清楚显示缺失的依赖和影响
+3. **自动修复**: 提供一键修复功能
+4. **跨平台支持**: 支持主流操作系统
+5. **易于扩展**: 可以轻松添加新工具的依赖检查
+
+通过这个系统，用户可以在安装 AIECS 后立即了解哪些功能可用，哪些需要额外安装依赖，以及如何获得这些依赖。这大大提高了用户体验和包的可用性。
+
+
+
+

aiecs/scripts/README_DEPENDENCY_CHECKER.md

@@ -0,0 +1,309 @@
+# AIECS Dependency Checker
+
+AIECS 包含一个全面的依赖检查系统，用于验证所有工具所需的系统级依赖、Python包和模型文件。
+
+## 概述
+
+AIECS 的各个工具需要不同的依赖项才能正常工作：
+
+- **系统级依赖**: Java、Tesseract OCR、图像处理库等
+- **Python包依赖**: 各种Python库和框架
+- **模型文件**: spaCy模型、NLTK数据、Transformers模型等
+
+## 命令行工具
+
+### 1. 快速依赖检查
+
+```bash
+aiecs-quick-check
+```
+
+快速检查关键依赖项，适合安装后验证。
+
+### 2. 完整依赖检查
+
+```bash
+aiecs-check-deps
+```
+
+执行完整的依赖检查，包括所有工具的所有依赖项。
+
+### 3. 自动依赖修复
+
+```bash
+aiecs-fix-deps
+```
+
+自动安装缺失的依赖项（需要用户确认）。
+
+```bash
+aiecs-fix-deps --non-interactive
+```
+
+非交互模式，自动批准所有修复。
+
+### 4. 仅检查模式
+
+```bash
+aiecs-fix-deps --check-only
+```
+
+只检查依赖项，不执行修复。
+
+## 工具特定依赖
+
+### Image Tool (图像处理工具)
+
+**系统依赖**:
+- Tesseract OCR 引擎
+- Pillow 图像处理库的系统依赖
+
+**Python包**:
+- PIL (Pillow)
+- pytesseract
+
+**模型文件**:
+- Tesseract 语言包 (eng, chi_sim, chi_tra, 等)
+
+**安装命令**:
+```bash
+# Ubuntu/Debian
+sudo apt-get install tesseract-ocr tesseract-ocr-eng
+sudo apt-get install libjpeg-dev zlib1g-dev libpng-dev libtiff-dev libwebp-dev libopenjp2-7-dev
+
+# macOS
+brew install tesseract
+brew install libjpeg zlib libpng libtiff webp openjpeg
+```
+
+### ClassFire Tool (文本分类工具)
+
+**Python包**:
+- spacy
+- transformers
+- nltk
+- rake_nltk
+
+**模型文件**:
+- spaCy 模型: en_core_web_sm, zh_core_web_sm
+- Transformers 模型: facebook/bart-large-cnn, t5-base
+- NLTK 数据: stopwords, punkt, wordnet, averaged_perceptron_tagger
+
+**安装命令**:
+```bash
+# spaCy 模型
+python -m spacy download en_core_web_sm
+python -m spacy download zh_core_web_sm
+
+# NLTK 数据
+python -c "import nltk; nltk.download('stopwords')"
+python -c "import nltk; nltk.download('punkt')"
+python -c "import nltk; nltk.download('wordnet')"
+python -c "import nltk; nltk.download('averaged_perceptron_tagger')"
+```
+
+### Office Tool (办公文档处理工具)
+
+**系统依赖**:
+- Java 运行时环境 (OpenJDK 11+)
+- Tesseract OCR (可选)
+
+**Python包**:
+- tika
+- python-docx
+- python-pptx
+- openpyxl
+- pdfplumber
+- pytesseract
+- PIL
+
+**安装命令**:
+```bash
+# Ubuntu/Debian
+sudo apt-get install openjdk-11-jdk
+sudo apt-get install tesseract-ocr tesseract-ocr-eng
+
+# macOS
+brew install openjdk@11
+brew install tesseract
+```
+
+### Stats Tool (统计分析工具)
+
+**系统依赖**:
+- libreadstat (用于SAS/SPSS/Stata文件)
+- Excel处理库
+
+**Python包**:
+- pandas
+- numpy
+- scipy
+- scikit-learn
+- statsmodels
+- pyreadstat
+- openpyxl
+
+**安装命令**:
+```bash
+# Ubuntu/Debian
+sudo apt-get install libreadstat-dev
+sudo apt-get install libxml2-dev libxslt1-dev
+
+# macOS
+brew install readstat
+brew install libxml2 libxslt
+```
+
+### Report Tool (报告生成工具)
+
+**系统依赖**:
+- WeasyPrint 依赖 (PDF生成)
+- Matplotlib 依赖 (图表生成)
+
+**Python包**:
+- jinja2
+- matplotlib
+- weasyprint
+- bleach
+- markdown
+- pandas
+- openpyxl
+- python-docx
+- python-pptx
+
+**安装命令**:
+```bash
+# Ubuntu/Debian
+sudo apt-get install libcairo2-dev libpango1.0-dev libgdk-pixbuf2.0-dev libffi-dev shared-mime-info
+sudo apt-get install libfreetype6-dev libpng-dev libjpeg-dev libtiff-dev libwebp-dev
+
+# macOS
+brew install cairo pango gdk-pixbuf libffi
+brew install freetype libpng libjpeg libtiff webp
+```
+
+### Scraper Tool (网页抓取工具)
+
+**系统依赖**:
+- Playwright 浏览器二进制文件
+- Playwright 系统依赖
+
+**Python包**:
+- playwright
+- scrapy
+- httpx
+- beautifulsoup4
+- lxml
+
+**安装命令**:
+```bash
+# 安装 Playwright 浏览器
+playwright install
+
+# 安装系统依赖
+playwright install-deps
+```
+
+## 安装后自动检查
+
+当您安装 AIECS 时，系统会自动运行依赖检查：
+
+```bash
+pip install aiecs
+```
+
+安装过程中会显示：
+1. Weasel 库补丁应用
+2. NLP 数据下载
+3. 系统依赖检查
+
+## 故障排除
+
+### 常见问题
+
+1. **Java 未安装**
+   ```bash
+   # 检查 Java 版本
+   java -version
+   
+   # 安装 Java
+   sudo apt-get install openjdk-11-jdk  # Ubuntu/Debian
+   brew install openjdk@11              # macOS
+   ```
+
+2. **Tesseract OCR 未安装**
+   ```bash
+   # 检查 Tesseract
+   tesseract --version
+   
+   # 安装 Tesseract
+   sudo apt-get install tesseract-ocr tesseract-ocr-eng  # Ubuntu/Debian
+   brew install tesseract                                # macOS
+   ```
+
+3. **spaCy 模型未下载**
+   ```bash
+   # 下载 spaCy 模型
+   python -m spacy download en_core_web_sm
+   python -m spacy download zh_core_web_sm
+   ```
+
+4. **Playwright 浏览器未安装**
+   ```bash
+   # 安装 Playwright 浏览器
+   playwright install
+   ```
+
+### 手动修复
+
+如果自动修复失败，您可以手动安装缺失的依赖：
+
+1. 运行完整检查：
+   ```bash
+   aiecs-check-deps
+   ```
+
+2. 根据报告中的安装命令手动安装
+
+3. 重新运行检查验证
+
+### 日志文件
+
+依赖检查会生成以下日志文件：
+- `dependency_check.log` - 详细检查日志
+- `dependency_fix.log` - 修复过程日志
+- `dependency_report.txt` - 检查报告
+
+## 开发人员说明
+
+### 添加新的依赖检查
+
+1. 在 `dependency_checker.py` 中添加新的检查函数
+2. 在相应的工具依赖检查函数中调用
+3. 更新安装命令映射
+
+### 自定义检查
+
+您可以创建自定义的依赖检查脚本：
+
+```python
+from aiecs.scripts.dependency_checker import DependencyChecker
+
+checker = DependencyChecker()
+tools = checker.check_all_dependencies()
+report = checker.generate_report(tools)
+print(report)
+```
+
+## 支持
+
+如果您遇到依赖问题，请：
+
+1. 运行 `aiecs-check-deps` 获取详细报告
+2. 查看生成的日志文件
+3. 尝试使用 `aiecs-fix-deps` 自动修复
+4. 如果问题仍然存在，请提交 issue 到项目仓库
+
+
+
+

aiecs/scripts/README_WEASEL_PATCH.md

@@ -0,0 +1,126 @@
+# Weasel Library Patch Scripts
+
+这个目录包含用于修复weasel库重复验证器函数错误的脚本，该错误导致测试失败。
+
+## 问题描述
+
+错误发生是因为weasel库中有重复的验证器函数，但没有`allow_reuse=True`参数：
+
+```
+pydantic.v1.errors.ConfigError: duplicate validator function "weasel.schemas.ProjectConfigSchema.check_legacy_keys"; if this is intended, set `allow_reuse=True`
+```
+
+**注意**: 实际的问题是在 `@root_validator` 装饰器中，而不是 `@validator`。
+
+## 可用脚本
+
+### 1. `run_weasel_patch.sh` (推荐使用)
+最简单的解决方案，通过poetry运行补丁：
+- 自动检测poetry虚拟环境
+- 在正确的环境中运行Python补丁脚本
+- 提供清晰的反馈和说明
+
+**使用方法:**
+```bash
+cd python-middleware
+./scripts/run_weasel_patch.sh
+```
+
+### 2. `fix_weasel_validator.py`
+基于Python的方法：
+- 使用正则表达式模式识别和修复验证器装饰器
+- 提供详细的前后对比
+- 创建带时间戳的备份
+
+**使用方法:**
+```bash
+cd python-middleware
+poetry run python3 ./scripts/fix_weasel_validator.py
+```
+
+### 3. `fix_weasel_validator.sh`
+基于bash的方法，使用sed进行文本替换：
+- 简单的sed文本替换
+- 创建备份
+- 显示前后内容
+
+**使用方法:**
+```bash
+cd python-middleware
+./scripts/fix_weasel_validator.sh
+```
+
+### 4. `patch_weasel_library.sh`
+综合解决方案：
+- 结合多种方法
+- 包含测试验证
+- 详细的错误处理
+
+**使用方法:**
+```bash
+cd python-middleware
+./scripts/patch_weasel_library.sh
+```
+
+## 脚本功能
+
+所有脚本都执行以下操作：
+
+1. **定位虚拟环境**: 找到poetry虚拟环境路径
+2. **找到问题文件**: 在site-packages中定位`weasel/schemas.py`
+3. **创建备份**: 制作原始文件的带时间戳备份
+4. **应用补丁**: 向需要的验证器装饰器添加`allow_reuse=True`
+5. **验证修复**: 检查补丁是否正确应用
+
+## 修复内容
+
+脚本将以下代码：
+```python
+@root_validator(pre=True)
+def check_legacy_keys(cls, obj: Dict[str, Any]) -> Dict[str, Any]:
+```
+
+修改为：
+```python
+@root_validator(pre=True, allow_reuse=True)
+def check_legacy_keys(cls, obj: Dict[str, Any]) -> Dict[str, Any]:
+```
+
+脚本同时支持 `@validator` 和 `@root_validator` 装饰器的修复。
+
+## 回滚
+
+如果需要恢复更改，每个脚本都会创建备份文件。您可以使用以下命令恢复：
+```bash
+cp /path/to/backup/file /path/to/original/schemas.py
+```
+
+确切的路径将在脚本输出中显示。
+
+## 故障排除
+
+1. **找不到Poetry**: 确保已安装poetry并且您在项目目录中
+2. **找不到虚拟环境**: 运行`poetry install`创建虚拟环境
+3. **找不到文件**: weasel包可能未安装 - 检查您的依赖项
+4. **权限错误**: 您可能需要使用适当的权限运行
+
+## 运行补丁后
+
+1. 再次尝试运行您的测试：`poetry run pytest`
+2. 如果问题仍然存在，重启您的Python环境/IDE
+3. 修复应该解决重复验证器函数错误
+
+## 注意事项
+
+- 这些脚本可以安全地多次运行
+- 它们在进行更改之前检查补丁是否已应用
+- 所有更改都会自动备份
+- 脚本针对特定问题，不会影响其他功能
+
+## 推荐使用流程
+
+1. 首先尝试使用 `run_weasel_patch.sh`（最简单）
+2. 如果遇到问题，可以尝试直接运行 `poetry run python3 scripts/fix_weasel_validator.py`
+3. 作为最后手段，可以使用 `patch_weasel_library.sh`（最全面）
+
+所有脚本都会在修改前创建备份，因此您可以安全地尝试不同的方法。

aiecs/scripts/__init__.py

@@ -0,0 +1,3 @@
+"""
+Scripts for AIECS post-installation patches and utilities
+"""