pdfget 0.1.0__tar.gz

pdfget-0.1.0/.github/workflows/ci.yml

@@ -0,0 +1,59 @@
+name: CI
+
+on:
+  push:
+    branches: [ main, develop ]
+  pull_request:
+    branches: [ main, develop ]
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        python-version: ["3.12", "3.13"]
+
+    steps:
+    - name: Checkout code
+      uses: actions/checkout@v4
+
+    - name: Set up Python ${{ matrix.python-version }}
+      uses: actions/setup-python@v4
+      with:
+        python-version: ${{ matrix.python-version }}
+
+    - name: Install uv
+      uses: astral-sh/setup-uv@v2
+
+    - name: Install dependencies
+      run: |
+        uv sync --dev
+
+    - name: Run code quality checks
+      run: |
+        uv run ruff check .
+        uv run ruff format --check .
+
+    - name: Run type checking
+      run: |
+        uv run mypy src/
+
+    - name: Run tests
+      run: |
+        uv run pytest tests/ -v --cov=pdfget --cov-report=xml
+
+    - name: Upload coverage to Codecov
+      uses: codecov/codecov-action@v4
+      with:
+        file: ./coverage.xml
+        flags: unittests
+        name: codecov-umbrella
+        fail_ci_if_error: false
+
+    - name: Build package
+      run: |
+        uv build
+
+    - name: Check package
+      run: |
+        uv run twine check dist/*

pdfget-0.1.0/.github/workflows/publish.yml

@@ -0,0 +1,141 @@
+name: Release & Publish
+
+on:
+  push:
+    tags:
+      - 'v*'  # 触发条件：推送以 v 开头的标签
+
+permissions:
+  contents: write  # 允许创建release
+
+jobs:
+  release-and-publish:
+    runs-on: ubuntu-latest
+
+    steps:
+    - name: Checkout code
+      uses: actions/checkout@v6.0.1
+
+    - name: Set up Python 3.12
+      uses: actions/setup-python@v5
+      with:
+        python-version: "3.12"
+
+    - name: Install uv
+      uses: astral-sh/setup-uv@v7.1.4
+
+    - name: Install dependencies
+      run: |
+        uv sync --dev
+
+    - name: Run tests
+      run: |
+        uv run pytest tests/ -v --cov=src --cov-report=xml
+
+    - name: Run code quality checks
+      run: |
+        uv run ruff check .
+        uv run ruff format --check .
+        uv run mypy src/
+
+    - name: Build package
+      run: |
+        uv build
+
+    - name: Check package
+      run: |
+        uv run twine check dist/*
+
+    - name: Generate release notes
+      id: release_notes
+      run: |
+        # 从CHANGELOG.md提取最新版本信息
+        python << 'EOF'
+        import re
+
+        with open('CHANGELOG.md', 'r', encoding='utf-8') as f:
+            content = f.read()
+
+        # 查找最新的版本信息
+        version_match = re.search(r'^## \[([0-9.]+)\] - ([0-9-]+)', content, re.MULTILINE)
+        if version_match:
+            version = version_match.group(1)
+            date = version_match.group(2)
+
+            # 提取该版本的主要内容
+            version_start = version_match.start()
+            next_version_match = re.search(r'\n## \[', content[version_start + 1:])
+            if next_version_match:
+                version_content = content[version_start:version_start + next_version_match.start()]
+            else:
+                version_content = content[version_start:]
+
+            # 提取主要功能点
+            features = []
+            lines = version_content.split('\n')
+            for line in lines:
+                if '新增功能' in line:
+                    continue
+                if line.startswith('- **') and ('：' in line or ':' in line):
+                    features.append(line.strip())
+
+            # 设置输出
+            print(f"::set-output name=version::{version}")
+            print(f"::set-output name=date::{date}")
+            print(f"::set-output name=features::{'\\n'.join(features[:8])}")  # 限制显示数量
+        else:
+            print("::set-output name=version::unknown")
+            print("::set-output name=features::No release notes found")
+        EOF
+
+    - name: Create GitHub Release
+      uses: softprops/action-gh-release@v2.5.0
+      with:
+        tag_name: ${{ github.ref_name }}
+        name: Release ${{ steps.release_notes.outputs.version }}
+        body: |
+          🎉 PDFGet ${{ steps.release_notes.outputs.version }} 发布！
+
+          ## 📦 安装方法
+          ```bash
+          pip install pdfget==${{ steps.release_notes.outputs.version }}
+          # 或使用uv
+          uv add pdfget==${{ steps.release_notes.outputs.version }}
+          ```
+
+          ## 🚀 主要特性
+          ${{ steps.release_notes.outputs.features }}
+
+          ## 📖 使用示例
+          ```bash
+          # 搜索并下载文献
+          pdfget -s "machine learning" -l 20 -d -t 5
+
+          # 高级检索
+          pdfget -s "cancer AND immunotherapy NOT review" -l 30
+
+          # 批量下载
+          pdfget -i dois.csv -d -t 3
+          ```
+
+          ## 📋 完整更新日志
+          请查看 [CHANGELOG.md](https://github.com/${{ github.repository }}/blob/main/CHANGELOG.md)
+
+          ---
+
+          🤖 自动发布于 ${{ steps.release_notes.outputs.date }}
+        draft: false
+        prerelease: false
+
+    - name: Publish to PyPI
+      env:
+        PYPI_API_TOKEN: ${{ secrets.PYPI_API_TOKEN }}
+      run: |
+        uv publish --token $PYPI_API_TOKEN
+
+    - name: Release Confirmation
+      if: success()
+      run: |
+        echo "✅ Release ${{ steps.release_notes.outputs.version }} published successfully!"
+        echo "📦 PyPI: https://pypi.org/project/pdfget/${{ steps.release_notes.outputs.version }}/"
+        echo "🔗 GitHub: https://github.com/${{ github.repository }}/releases/tag/${{ github.ref_name }}"

pdfget-0.1.0/.gitignore

@@ -0,0 +1,163 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+pip-wheel-metadata/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+.python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# uv
+.uv_cache/
+
+# IDE
+.vscode/
+.idea/
+*.swp
+*.swo
+
+# Data files
+data/pdfs/*.pdf
+data/cache/*.json
+data/logs/*.log
+
+# OS
+.DS_Store
+Thumbs.db
+
+# Environment variables
+.env
+.env.local
+
+# Project specific
+temp/
+tmp/
+
+# Test temporary directories
+MagicMock/
+PaperFetcher().cache_dir/
+unittest.mock/
+temp_*/
+test_*/
+*.tmp

pdfget-0.1.0/.pre-commit-config.yaml

@@ -0,0 +1,26 @@
+repos:
+  - repo: https://github.com/astral-sh/ruff-pre-commit
+    # Ruff version.
+    rev: v0.1.14
+    hooks:
+      # Run the linter.
+      - id: ruff
+        args: [--fix]
+      # Run the formatter.
+      - id: ruff-format
+
+  - repo: local
+    hooks:
+      - id: mypy-local
+        name: mypy
+        entry: uv run mypy src/
+        language: system
+        pass_filenames: false
+
+  - repo: https://github.com/pre-commit/pre-commit-hooks
+    rev: v5.0.0
+    hooks:
+      - id: trailing-whitespace
+      - id: end-of-file-fixer
+      - id: check-yaml
+      - id: check-added-large-files

pdfget-0.1.0/CHANGELOG.md

@@ -0,0 +1,122 @@
+# 更新日志
+
+本文档记录了PDFGet项目的所有重要更改。
+
+格式基于 [Keep a Changelog](https://keepachangelog.com/zh-CN/1.0.0/)，
+并且本项目遵循 [语义化版本](https://semver.org/lang/zh-CN/)。
+
+## [0.1.0] - 2025-12-07
+
+### 🎉 首次发布
+
+#### ✨ 新增功能
+- **高级文献搜索**：支持布尔运算符(AND、OR、NOT)、字段检索(title:、author:、journal:)、短语检索
+- **智能缓存系统**：24小时自动过期，避免重复下载
+- **并发下载**：多线程并行下载，3-5倍速度提升
+- **批量处理**：支持CSV/TXT文件批量下载
+- **丰富元数据**：包含作者、单位、期刊、摘要、引用等10+个字段
+- **简洁命令行**：单字母参数(-s, -l, -t, -d, -v)，易于使用
+
+#### 🔧 核心特性
+- **Europe PMC API集成**：权威学术数据源
+- **线程安全设计**：并发环境下的数据一致性
+- **智能重试机制**：网络错误自动重试
+- **优雅降级**：PDF不可用时自动获取HTML全文
+
+#### 📊 性能表现
+| 文献数量 | 单线程耗时 | 并发耗时 | 性能提升 |
+|---------|-----------|----------|----------|
+| 5篇     | ~25秒     | ~8秒     | 3x       |
+| 20篇    | ~100秒    | ~25秒    | 4x       |
+| 50篇    | ~250秒    | ~60秒    | 4x       |
+
+#### 🛠️ 技术实现
+- **Python 3.12+**：现代Python特性和类型注解
+- **ThreadPoolExecutor**：高效的线程池管理
+- **智能缓存**：24小时自动过期
+- **模块化设计**：清晰的代码结构
+- **自动化代码质量**：pre-commit hooks自动检查和修复
+
+#### 📦 包结构
+```
+pdfget/
+├── src/pdfget/
+│   ├── __init__.py          # 包初始化
+│   ├── __main__.py          # 命令行入口
+│   ├── main.py              # 主程序逻辑
+│   ├── fetcher.py           # 核心文献获取器
+│   ├── concurrent_downloader.py  # 并发下载器
+│   └── config.py            # 配置文件
+├── tests/                   # 测试文件
+├── data/                    # 数据目录
+│   ├── pdfs/               # 下载的PDF
+│   └── cache/              # 缓存文件
+├── tests/                   # pytest测试
+├── README.md               # 项目文档
+├── CHANGELOG.md            # 更新日志
+├── pyproject.toml          # 项目配置
+└── pytest.ini             # 测试配置
+```
+
+#### 🧪 测试覆盖
+- **28个测试用例**：100%通过率
+- **核心功能覆盖**：60%+代码覆盖率
+- **Mock测试**：避免实际网络请求
+- **并发测试**：验证多线程安全性
+
+#### 📖 使用示例
+```bash
+# 搜索文献
+uv run pdfget -s "machine learning" -l 20
+
+# 高级检索
+uv run pdfget -s "cancer AND immunotherapy NOT review" -l 30
+
+# 并发下载
+uv run pdfget -s "deep learning" -l 50 -d -t 5
+
+# 单篇下载
+uv run pdfget --doi 10.1016/j.cell.2020.01.021
+
+# 批量下载
+uv run pdfget -i dois.csv -d -t 3
+```
+
+#### 🔍 高级检索语法
+```bash
+# 布尔运算符
+uv run pdfget -s "cancer AND immunotherapy" -l 30
+
+# 字段检索
+uv run pdfget -s 'title:"deep learning" AND author:hinton'
+
+# 短语检索
+uv run pdfget -s '"quantum computing"' -l 10
+```
+
+#### 🏗️ 开发工具集成
+- **ruff**：代码规范检查
+- **pytest**：单元测试框架
+- **pytest-cov**：测试覆盖率
+- **uv**：现代Python包管理
+
+#### 📄 许可证
+- MIT License - 允许自由使用和修改
+
+---
+
+## 版本说明
+
+- **主版本**：不兼容的API修改
+- **次版本**：向下兼容的功能性新增
+- **修订版本**：向下兼容的问题修正
+
+## 贡献指南
+
+欢迎提交Issue和Pull Request来改进这个工具！
+
+## 联系方式
+
+如有问题或建议，请通过以下方式联系：
+- 提交GitHub Issue
+- 发送邮件至 gqy (qingyu_ge@foxmail.com)

pdfget-0.1.0/PKG-INFO

@@ -0,0 +1,200 @@
+Metadata-Version: 2.4
+Name: pdfget
+Version: 0.1.0
+Summary: 智能文献搜索与批量下载工具，支持高级检索和并发下载
+Author-email: gqy <qingyu_ge@foxmail.com>
+License: MIT
+Requires-Python: >=3.12
+Requires-Dist: pandas>=2.0.0
+Requires-Dist: requests>=2.31.0
+Provides-Extra: dev
+Requires-Dist: black>=24.0.0; extra == 'dev'
+Requires-Dist: isort>=5.13.0; extra == 'dev'
+Requires-Dist: mypy>=1.9.0; extra == 'dev'
+Requires-Dist: pytest-cov>=5.0.0; extra == 'dev'
+Requires-Dist: pytest>=8.0.0; extra == 'dev'
+Requires-Dist: ruff>=0.5.0; extra == 'dev'
+Description-Content-Type: text/markdown
+
+# PDFGet - 高效文献下载工具
+
+智能文献搜索与批量下载工具，支持高级检索和并发下载。
+
+## 1. 项目概述
+
+PDFGet是一个专为科研工作者设计的智能文献搜索与批量下载工具，集成了Europe PMC等权威学术数据库，提供高效的文献获取和管理功能。
+
+### 1.1 主要特性
+
+- 🔍 **高级搜索**：支持布尔运算符、字段检索、短语检索
+- 🚀 **并发下载**：多线程并行下载，3-5倍速度提升
+- 📊 **丰富元数据**：包含作者、单位、期刊、摘要、引用等完整信息
+- 💾 **智能缓存**：24小时缓存，避免重复下载
+- 📄 **批量处理**：支持CSV/TXT文件批量下载
+
+## 2. 安装与配置
+
+### 2.1 系统要求
+
+详细的系统要求和依赖信息请查看 [pyproject.toml](pyproject.toml) 文件。
+
+### 2.2 安装方法
+
+```bash
+# 使用pip安装
+pip install pdfget
+
+# 使用uv安装
+uv add pdfget
+
+# 或从源码安装
+git clone https://github.com/gqy20/pdfget.git
+cd pdfget
+pip install -e .
+```
+
+### 2.3 快速开始
+
+安装完成后，您可以直接使用 `pdfget` 命令：
+
+```bash
+# 搜索文献
+pdfget -s "machine learning" -l 20
+
+# 搜索并下载
+pdfget -s "cancer immunotherapy" -d
+
+# 并发下载（5线程）
+pdfget -s "deep learning" -l 50 -d -t 5
+
+# 单篇文献下载
+pdfget --doi 10.1016/j.cell.2020.01.021
+
+# 批量下载
+pdfget -i dois.csv -d -t 3
+```
+
+如果您使用 uv 作为包管理器，也可以：
+```bash
+# 使用uv运行
+uv run pdfget -s "machine learning" -l 20
+```
+
+## 3. 高级检索语法
+
+### 3.1 布尔运算符
+```bash
+# AND: 同时包含多个关键词
+pdfget -s "cancer AND immunotherapy" -l 30
+
+# OR: 包含任意关键词
+pdfget -s "machine OR deep learning" -l 20
+
+# NOT: 排除特定词汇
+pdfget -s "cancer AND immunotherapy NOT review" -l 30
+
+# 复杂组合
+pdfget -s "(cancer OR tumor) AND immunotherapy NOT mice" -l 25
+```
+
+### 3.2 字段检索
+```bash
+# 标题检索
+pdfget -s 'title:"deep learning"' -l 15
+
+# 作者检索
+pdfget -s 'author:hinton AND title:"neural networks"' -l 10
+
+# 期刊检索
+pdfget -s 'journal:nature AND cancer' -l 20
+
+# 年份检索
+pdfget -s 'cancer AND year:2023' -l 15
+```
+
+### 3.3 短语和精确匹配
+```bash
+# 短语检索（用双引号）
+pdfget -s '"quantum computing"' -l 10
+
+# 混合使用
+pdfget -s '"gene expression" AND (cancer OR tumor) NOT review' -l 20
+```
+
+### 3.4 实用检索技巧
+- 使用括号分组复杂的布尔逻辑
+- 短语用双引号确保精确匹配
+- 可以组合多个字段进行精确检索
+- 使用 NOT 过滤掉不相关的结果（如综述、评论等）
+
+## 4. 性能优势
+
+### 4.1 并发下载效率对比
+
+| 文献数量 | 单线程耗时 | 并发耗时 | 性能提升 |
+|---------|-----------|----------|----------|
+| 5篇     | ~25秒     | ~8秒     | 3x       |
+| 20篇    | ~100秒    | ~25秒    | 4x       |
+| 50篇    | ~250秒    | ~60秒    | 4x       |
+
+## 5. 命令行参数详解
+
+### 5.1 核心参数
+- `-s QUERY` : 搜索文献
+- `--doi DOI` : 下载单个文献
+- `-i FILE` : 批量输入文件
+- `-d` : 下载PDF
+
+### 5.2 优化参数
+- `-l NUM` : 搜索结果数量（默认50）
+- `-t NUM` : 并发线程数（默认3）
+- `-v` : 详细输出
+
+## 6. 输出格式与文件结构
+
+### 6.1 搜索结果格式
+```json
+{
+  "query": "关键词",
+  "total": 10,
+  "results": [
+    {
+      "title": "文献标题",
+      "authors": ["作者1", "作者2"],
+      "journal": "期刊名称",
+      "year": "2025",
+      "doi": "10.1016/xxx",
+      "affiliation": "作者单位",
+      "citedBy": 0,
+      "keywords": ["关键词1", "关键词2"]
+    }
+  ]
+}
+```
+
+### 6.2 文件目录结构
+```
+data/
+├── pdfs/           # 下载的PDF文件
+├── cache/          # 缓存文件
+└── download_results.json  # 下载结果记录
+```
+
+## 7. 许可证
+
+本项目采用 MIT License，允许自由使用和修改。
+
+## 📚 更新日志
+
+<details>
+<summary><strong>📋 查看版本更新历史</strong></summary>
+
+- 🔗 **完整更新日志**: [CHANGELOG.md](CHANGELOG.md)
+- ✨ **最新版本 (v0.1.0)**: 高级文献搜索 + 并发下载 + 智能缓存
+
+</details>
+
+## 🔗 相关链接
+
+- **项目源码**: [GitHub Repository](https://github.com/gqy20/pdfget)
+- **问题反馈**: [GitHub Issues](https://github.com/gqy20/pdfget/issues)