vvr-scraper 1.1.0__tar.gz

vvr_scraper-1.1.0/LICENSE

@@ -0,0 +1,8 @@
+The MIT License (MIT)
+Copyright © 2025 Trần Phan Thanh Tùng
+
+Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the “Software”), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE

vvr_scraper-1.1.0/PKG-INFO

@@ -0,0 +1,127 @@
+Metadata-Version: 2.4
+Name: vvr-scraper
+Version: 1.1.0
+Summary: Công cụ tải web novel từ Valvrare Team (Asynchronous & Optimized)
+Author: Valvrare Team Crawler Contributors
+License: MIT
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: alive-progress==3.3.0
+Requires-Dist: beautifulsoup4==4.13.4
+Requires-Dist: EbookLib==0.19
+Requires-Dist: httpx>=0.28.0
+Requires-Dist: lxml>=6.0.0
+Requires-Dist: pillow>=11.3.0
+Requires-Dist: playwright>=1.54.0
+Requires-Dist: prompt-toolkit>=3.0.43
+Requires-Dist: reportlab>=4.4.3
+Requires-Dist: simple-term-menu>=1.6.6
+Requires-Dist: loguru>=0.7.2
+Requires-Dist: rich>=13.7.0
+Dynamic: license-file
+
+# Web Novel Scraper
+
+## Mô tả dự án
+Dự án **Web Novel Scraper** là một công cụ được viết bằng Python để tải và lưu các bộ truyện từ trang web [Valvrare Team](https://valvrareteam.net) dưới dạng file PDF và/hoặc EPUB. Công cụ này sử dụng các thư viện như `playwright`, `BeautifulSoup`, `ebooklib`, và `reportlab` để thu thập nội dung (bao gồm văn bản và hình ảnh minh họa) từ các chương truyện, sau đó tạo file đầu ra theo định dạng người dùng chọn.
+
+## Tính năng
+- **Tìm kiếm truyện trực tiếp (Live Search)**: Tìm kiếm truyện ngay trong terminal với gợi ý thời gian thực khi nhập (từ 3 ký tự). Tự động xác định slug chính xác từ tên truyện.
+- **Tải nội dung song song**: Hỗ trợ tải nhiều chương cùng lúc với số lượng tác vụ song song tùy chỉnh.
+- **Hỗ trợ Metadata chuyên sâu (Genres/Tags)**: Tự động trích xuất thể loại và nhúng vào metadata của file EPUB (`DC:subject`), giúp quản lý thư viện (ví dụ: trên Calibre) dễ dàng hơn.
+- **Tiêu đề chương nguyên bản**: Sử dụng tiêu đề thực tế từ website thay vì slug URL, giúp tên file và mục lục rõ ràng, dễ đọc.
+- **Vượt rào cản (Session Capture)**: Hỗ trợ lấy session thủ công qua trình duyệt (non-headless) để vượt qua Cloudflare hoặc truy cập các chương yêu cầu đăng nhập.
+- **Định dạng đầu ra**: Lưu nội dung dưới dạng PDF, EPUB, hoặc các định dạng khác.
+- **Ghi log lỗi**: Lưu danh sách các chương bị lỗi vào file `cac_chuong_da_bo_qua.txt`.
+- **Tự động sắp xếp files**: Tự động tạo và sắp xếp các file chương(chapter) vào các thư mục tập(volume) với tên file đã được chuẩn hóa nhưng vẫn giữ nguyên tiếng Việt.
+
+## Yêu cầu cài đặt
+Để chạy dự án, bạn cần cài đặt Python 3.8+ và các thư viện sau:
+
+-**Cách 1: Cài đặt thủ công**
+```bash
+pip install -r requirements.txt
+```
+
+Cài đặt trình duyệt Playwright (chromium-headless-shell):
+```bash
+playwright install chromium-headless-shell
+```
+
+Font hỗ trợ tiếng Việt (nếu tải PDF):
+- **DejaVuSans** (mặc định): Tự động tải xuống khi cần.
+- **NotoSerif**: Tự động tải xuống khi cần.
+- Nếu muốn dùng font có sẵn, đặt file font (.ttf) vào cùng thư mục với mã nguồn.
+
+-**Cách 1: Sử dụng file cài đặt tự động**
+
+Chạy file `install.bat` (Windows) hoặc `install.sh` (Linux/macOS) để tự động cài đặt các thư viện cần thiết trong môi trường ảo (venv) và trình duyệt Playwright.
+
+-**Cách 2: Sử dụng file setup.sh (Linux/macOS) - Khuyến nghị**
+
+File `setup.sh` cung cấp các tính năng nâng cao:
+- Tạo môi trường ảo sử dụng `uv` (nếu có) hoặc `venv` mặc định
+- Cài đặt dependencies từ `requirements.txt`
+- Cài đặt trình duyệt Playwright
+- **Thêm alias `vvrt`** vào shell config (bash/zsh) để chạy scraper từ bất kỳ đâu
+- Hỗ trợ chạy kiểm thử (pytest) sau khi cài đặt
+
+```bash
+chmod +x setup.sh
+./setup.sh
+```
+
+**Lưu ý:** Alias `vvrt` có thể không hoạt động ngay lập tức. Nếu lệnh `vvrt` không được nhận diện, hãy chạy lệnh `source ~/.bashrc` (bash) hoặc `source ~/.zshrc` (zsh) hoặc khởi động lại terminal.
+
+Sau khi cài đặt, bạn có thể chạy scraper bằng lệnh `vvrt` từ bất kỳ thư mục nào.
+## Xử lý Cloudflare và Đăng nhập
+
+Valvrare Team đã áp dụng các biện pháp bảo vệ (Cloudflare, JWT tokens). Công cụ này hỗ trợ chế độ **Dynamic Session Capture** để vượt qua các rào cản này:
+
+1. **`--login`**: Khi chạy lệnh này, một trình duyệt thực (không ẩn danh) sẽ mở ra. Bạn hãy thực hiện đăng nhập trên trình duyệt đó. Sau khi hoàn tất và thấy nội dung truyện, hãy quay lại terminal và nhấn **Enter**.
+2. **Lưu Session**: Thông tin đăng nhập (cookies, local storage) sẽ được lưu vào file ẩn `.vvr_session.json`. Các lần chạy sau sẽ tự động sử dụng session này mà không cần đăng nhập lại.
+3. **`--refresh-session`**: Sử dụng khi session cũ đã hết hạn và bạn cần đăng nhập lại để lấy session mới.
+4. **`--verbose`**: Hiển thị log chi tiết về các request, bao gồm cookies và headers. Rất hữu ích để kiểm tra xem session có được áp dụng đúng hay không.
+
+Ví dụ:
+```bash
+python scraper.py "ten-truyen" --login --verbose
+```
+
+**Cảnh báo:** Không chia sẻ log khi dùng `--verbose` lên mạng hoặc cho người lạ vì nó chứa session token cá nhân của bạn.
+
+## Cách sử dụng
+
+**Phương pháp 1: Sử dụng Python trực tiếp**
+```bash
+python scraper.py
+```
+
+**Phương pháp 2: Sử dụng alias `vvrt` (sau khi chạy `setup.sh`)**
+```bash
+vvrt
+```
+
+Sau đó làm theo hướng dẫn trong terminal.
+
+## Lưu ý
+- Đảm bảo kết nối internet ổn định để tải nội dung và hình ảnh.
+- Một số chương có thể bị bỏ qua nếu gặp lỗi tải (xem file `cac_chuong_da_bo_qua.txt`).
+- Font tiếng Việt sẽ tự động tải xuống khi cần.
+- Tôn trọng quyền tác giả và chỉ sử dụng nội dung tải về cho mục đích cá nhân.
+
+## Loi thuong gap
+- After running `setup.py`: can not run `vvrt` command not found -> manualy add alias to your shell config
+```
+# Bash/Zsh
+alias vvrt='path-to-your-python path-to-scraper.py'
+# Other shell
+
+```
+
+## Giấy phép
+Dự án này được phát hành dưới [Giấy phép MIT](LICENSE). Xem file `LICENSE` để biết thêm chi tiết.
+
+## Liên hệ
+Nếu bạn có câu hỏi hoặc góp ý, vui lòng liên hệ qua email: notthanhtung@gmail.com hoặc mở issue trên repository.

vvr_scraper-1.1.0/README.md

@@ -0,0 +1,104 @@
+# Web Novel Scraper
+
+## Mô tả dự án
+Dự án **Web Novel Scraper** là một công cụ được viết bằng Python để tải và lưu các bộ truyện từ trang web [Valvrare Team](https://valvrareteam.net) dưới dạng file PDF và/hoặc EPUB. Công cụ này sử dụng các thư viện như `playwright`, `BeautifulSoup`, `ebooklib`, và `reportlab` để thu thập nội dung (bao gồm văn bản và hình ảnh minh họa) từ các chương truyện, sau đó tạo file đầu ra theo định dạng người dùng chọn.
+
+## Tính năng
+- **Tìm kiếm truyện trực tiếp (Live Search)**: Tìm kiếm truyện ngay trong terminal với gợi ý thời gian thực khi nhập (từ 3 ký tự). Tự động xác định slug chính xác từ tên truyện.
+- **Tải nội dung song song**: Hỗ trợ tải nhiều chương cùng lúc với số lượng tác vụ song song tùy chỉnh.
+- **Hỗ trợ Metadata chuyên sâu (Genres/Tags)**: Tự động trích xuất thể loại và nhúng vào metadata của file EPUB (`DC:subject`), giúp quản lý thư viện (ví dụ: trên Calibre) dễ dàng hơn.
+- **Tiêu đề chương nguyên bản**: Sử dụng tiêu đề thực tế từ website thay vì slug URL, giúp tên file và mục lục rõ ràng, dễ đọc.
+- **Vượt rào cản (Session Capture)**: Hỗ trợ lấy session thủ công qua trình duyệt (non-headless) để vượt qua Cloudflare hoặc truy cập các chương yêu cầu đăng nhập.
+- **Định dạng đầu ra**: Lưu nội dung dưới dạng PDF, EPUB, hoặc các định dạng khác.
+- **Ghi log lỗi**: Lưu danh sách các chương bị lỗi vào file `cac_chuong_da_bo_qua.txt`.
+- **Tự động sắp xếp files**: Tự động tạo và sắp xếp các file chương(chapter) vào các thư mục tập(volume) với tên file đã được chuẩn hóa nhưng vẫn giữ nguyên tiếng Việt.
+
+## Yêu cầu cài đặt
+Để chạy dự án, bạn cần cài đặt Python 3.8+ và các thư viện sau:
+
+-**Cách 1: Cài đặt thủ công**
+```bash
+pip install -r requirements.txt
+```
+
+Cài đặt trình duyệt Playwright (chromium-headless-shell):
+```bash
+playwright install chromium-headless-shell
+```
+
+Font hỗ trợ tiếng Việt (nếu tải PDF):
+- **DejaVuSans** (mặc định): Tự động tải xuống khi cần.
+- **NotoSerif**: Tự động tải xuống khi cần.
+- Nếu muốn dùng font có sẵn, đặt file font (.ttf) vào cùng thư mục với mã nguồn.
+
+-**Cách 1: Sử dụng file cài đặt tự động**
+
+Chạy file `install.bat` (Windows) hoặc `install.sh` (Linux/macOS) để tự động cài đặt các thư viện cần thiết trong môi trường ảo (venv) và trình duyệt Playwright.
+
+-**Cách 2: Sử dụng file setup.sh (Linux/macOS) - Khuyến nghị**
+
+File `setup.sh` cung cấp các tính năng nâng cao:
+- Tạo môi trường ảo sử dụng `uv` (nếu có) hoặc `venv` mặc định
+- Cài đặt dependencies từ `requirements.txt`
+- Cài đặt trình duyệt Playwright
+- **Thêm alias `vvrt`** vào shell config (bash/zsh) để chạy scraper từ bất kỳ đâu
+- Hỗ trợ chạy kiểm thử (pytest) sau khi cài đặt
+
+```bash
+chmod +x setup.sh
+./setup.sh
+```
+
+**Lưu ý:** Alias `vvrt` có thể không hoạt động ngay lập tức. Nếu lệnh `vvrt` không được nhận diện, hãy chạy lệnh `source ~/.bashrc` (bash) hoặc `source ~/.zshrc` (zsh) hoặc khởi động lại terminal.
+
+Sau khi cài đặt, bạn có thể chạy scraper bằng lệnh `vvrt` từ bất kỳ thư mục nào.
+## Xử lý Cloudflare và Đăng nhập
+
+Valvrare Team đã áp dụng các biện pháp bảo vệ (Cloudflare, JWT tokens). Công cụ này hỗ trợ chế độ **Dynamic Session Capture** để vượt qua các rào cản này:
+
+1. **`--login`**: Khi chạy lệnh này, một trình duyệt thực (không ẩn danh) sẽ mở ra. Bạn hãy thực hiện đăng nhập trên trình duyệt đó. Sau khi hoàn tất và thấy nội dung truyện, hãy quay lại terminal và nhấn **Enter**.
+2. **Lưu Session**: Thông tin đăng nhập (cookies, local storage) sẽ được lưu vào file ẩn `.vvr_session.json`. Các lần chạy sau sẽ tự động sử dụng session này mà không cần đăng nhập lại.
+3. **`--refresh-session`**: Sử dụng khi session cũ đã hết hạn và bạn cần đăng nhập lại để lấy session mới.
+4. **`--verbose`**: Hiển thị log chi tiết về các request, bao gồm cookies và headers. Rất hữu ích để kiểm tra xem session có được áp dụng đúng hay không.
+
+Ví dụ:
+```bash
+python scraper.py "ten-truyen" --login --verbose
+```
+
+**Cảnh báo:** Không chia sẻ log khi dùng `--verbose` lên mạng hoặc cho người lạ vì nó chứa session token cá nhân của bạn.
+
+## Cách sử dụng
+
+**Phương pháp 1: Sử dụng Python trực tiếp**
+```bash
+python scraper.py
+```
+
+**Phương pháp 2: Sử dụng alias `vvrt` (sau khi chạy `setup.sh`)**
+```bash
+vvrt
+```
+
+Sau đó làm theo hướng dẫn trong terminal.
+
+## Lưu ý
+- Đảm bảo kết nối internet ổn định để tải nội dung và hình ảnh.
+- Một số chương có thể bị bỏ qua nếu gặp lỗi tải (xem file `cac_chuong_da_bo_qua.txt`).
+- Font tiếng Việt sẽ tự động tải xuống khi cần.
+- Tôn trọng quyền tác giả và chỉ sử dụng nội dung tải về cho mục đích cá nhân.
+
+## Loi thuong gap
+- After running `setup.py`: can not run `vvrt` command not found -> manualy add alias to your shell config
+```
+# Bash/Zsh
+alias vvrt='path-to-your-python path-to-scraper.py'
+# Other shell
+
+```
+
+## Giấy phép
+Dự án này được phát hành dưới [Giấy phép MIT](LICENSE). Xem file `LICENSE` để biết thêm chi tiết.
+
+## Liên hệ
+Nếu bạn có câu hỏi hoặc góp ý, vui lòng liên hệ qua email: notthanhtung@gmail.com hoặc mở issue trên repository.

vvr_scraper-1.1.0/pyproject.toml

@@ -0,0 +1,35 @@
+[build-system]
+requires = ["setuptools>=61.0"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "vvr-scraper"
+version = "1.1.0"
+description = "Công cụ tải web novel từ Valvrare Team (Asynchronous & Optimized)"
+readme = "README.md"
+requires-python = ">=3.8"
+license = {text = "MIT"}
+authors = [
+    {name = "Valvrare Team Crawler Contributors"}
+]
+dependencies = [
+    "alive-progress==3.3.0",
+    "beautifulsoup4==4.13.4",
+    "EbookLib==0.19",
+    "httpx>=0.28.0",
+    "lxml>=6.0.0",
+    "pillow>=11.3.0",
+    "playwright>=1.54.0",
+    "prompt-toolkit>=3.0.43",
+    "reportlab>=4.4.3",
+    "simple-term-menu>=1.6.6",
+    "loguru>=0.7.2",
+    "rich>=13.7.0"
+]
+
+[project.scripts]
+vvrt = "vvr_scraper.cli:main"
+
+[tool.setuptools.packages.find]
+where = ["."]
+include = ["vvr_scraper*"]

vvr_scraper-1.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

vvr_scraper-1.1.0/tests/test_scraper.py

@@ -0,0 +1,392 @@
+"""
+Tests for scraper.py - Main crawler functionality
+"""
+import pytest
+import os
+import sys
+import tempfile
+import json
+import asyncio
+from unittest.mock import AsyncMock, MagicMock, patch, mock_open
+
+# Add parent directory to path for imports
+sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
+
+from vvr_scraper.utils import sanitize_filename, HEADERS
+from vvr_scraper.exporter import (
+    tao_file_epub,
+    tao_file_pdf,
+    tao_file_html,
+    tao_file_md,
+    tao_file_txt,
+)
+
+
+# =============================================================================
+# TESTS FOR sanitize_filename
+# =============================================================================
+
+class TestSanitizeFilename:
+    """Tests for the sanitize_filename function"""
+
+    def test_removes_invalid_chars(self):
+        """Test that invalid filename characters are removed"""
+        assert sanitize_filename('test<file>*name?.txt') == 'testfilename.txt'
+        assert sanitize_filename('file:name.txt') == 'filename.txt'
+        assert sanitize_filename('test"quotes".txt') == 'testquotes.txt'
+        assert sanitize_filename('file<angle>.txt') == 'fileangle.txt'
+
+    def test_removes_backslash_and_pipe(self):
+        """Test removal of backslash and pipe characters"""
+        assert sanitize_filename('test\\backslash.txt') == 'testbackslash.txt'
+        assert sanitize_filename('test|pipe.txt') == 'testpipe.txt'
+
+    def test_strips_leading_trailing_spaces_dots(self):
+        """Test that leading/trailing spaces and dots are stripped"""
+        assert sanitize_filename('  filename.txt') == 'filename.txt'
+        assert sanitize_filename('filename.txt  ') == 'filename.txt'
+        assert sanitize_filename('.filename.txt') == 'filename.txt'
+        assert sanitize_filename('filename.txt.') == 'filename.txt'
+
+    def test_collapses_multiple_spaces(self):
+        """Test that multiple spaces are collapsed to single space"""
+        assert sanitize_filename('multiple   spaces') == 'multiple spaces'
+        assert sanitize_filename('a    b    c') == 'a b c'
+
+    def test_handles_empty_string(self):
+        """Test handling of empty string"""
+        assert sanitize_filename('') == ''
+
+    def test_handles_none(self):
+        """Test handling of None input"""
+        assert sanitize_filename(None) == ''
+
+    def test_handles_vietnamese_characters(self):
+        """Test that Vietnamese characters are preserved"""
+        assert sanitize_filename('truyện tranh') == 'truyện tranh'
+        assert sanitize_filename('đầy đủ dấu') == 'đầy đủ dấu'
+
+    def test_complex_filename(self):
+        """Test with a complex realistic filename"""
+        input_name = '  Chương 1: Mở Đầu <Phiên Bản Mới>*.txt  '
+        expected = 'Chương 1 Mở Đầu Phiên Bản Mới.txt'
+        assert sanitize_filename(input_name) == expected
+
+
+# =============================================================================
+# TESTS FOR EXPORT FUNCTIONS
+# =============================================================================
+
+@pytest.mark.asyncio
+class TestTaoFileHtml:
+    """Tests for HTML export function"""
+
+    async def test_creates_valid_html_file(self, tmp_path):
+        """Test that a valid HTML file is created"""
+        content = [
+            {'type': 'text', 'data': 'Paragraph 1'},
+            {'type': 'text', 'data': 'Paragraph 2'},
+        ]
+        filepath = str(tmp_path / "test.html")
+
+        await tao_file_html(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            html = f.read()
+
+        assert '<!DOCTYPE html>' in html
+        assert '<title>Test Chapter</title>' in html
+        assert '<p>Paragraph 1</p>' in html
+        assert '<p>Paragraph 2</p>' in html
+        assert "lang='vi'" in html or 'lang="vi"' in html
+
+    async def test_html_with_images(self, tmp_path):
+        """Test HTML export with image content"""
+        content = [
+            {'type': 'text', 'data': 'Text before'},
+            {'type': 'image', 'data': 'https://example.com/image.jpg'},
+            {'type': 'text', 'data': 'Text after'},
+        ]
+        filepath = str(tmp_path / "test.html")
+
+        await tao_file_html(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            html = f.read()
+
+        assert 'src=\'https://example.com/image.jpg\'' in html or 'src="https://example.com/image.jpg"' in html
+
+    async def test_html_file_unicode_content(self, tmp_path):
+        """Test HTML export with Vietnamese unicode content"""
+        content = [
+            {'type': 'text', 'data': 'Đây là nội dung tiếng Việt'},
+            {'type': 'text', 'data': 'Chữ ơ, ư, ê đầy đủ'},
+        ]
+        filepath = str(tmp_path / "test.html")
+
+        await tao_file_html(content, filepath, "Chương Tiếng Việt")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            html = f.read()
+
+        assert 'Đây là nội dung tiếng Việt' in html
+
+
+@pytest.mark.asyncio
+class TestTaoFileMd:
+    """Tests for Markdown export function"""
+
+    async def test_creates_valid_markdown_file(self, tmp_path):
+        """Test that a valid Markdown file is created"""
+        content = [
+            {'type': 'text', 'data': 'Paragraph 1'},
+            {'type': 'text', 'data': 'Paragraph 2'},
+        ]
+        filepath = str(tmp_path / "test.md")
+
+        await tao_file_md(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            md = f.read()
+
+        assert md.startswith('# Test Chapter')
+        assert 'Paragraph 1' in md
+        assert 'Paragraph 2' in md
+
+    async def test_markdown_with_images(self, tmp_path):
+        """Test Markdown export with image content"""
+        content = [
+            {'type': 'text', 'data': 'Text'},
+            {'type': 'image', 'data': 'https://example.com/image.jpg'},
+        ]
+        filepath = str(tmp_path / "test.md")
+
+        await tao_file_md(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            md = f.read()
+
+        assert '![Minh họa](https://example.com/image.jpg)' in md
+
+
+@pytest.mark.asyncio
+class TestTaoFileTxt:
+    """Tests for plain text export function"""
+
+    async def test_creates_valid_txt_file(self, tmp_path):
+        """Test that a valid text file is created"""
+        content = [
+            {'type': 'text', 'data': 'Line 1'},
+            {'type': 'text', 'data': 'Line 2'},
+        ]
+        filepath = str(tmp_path / "test.txt")
+
+        await tao_file_txt(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            txt = f.read()
+
+        assert txt.startswith('Test Chapter')
+        assert 'Line 1' in txt
+        assert 'Line 2' in txt
+
+    async def test_txt_with_images(self, tmp_path):
+        """Test text export with image placeholders"""
+        content = [
+            {'type': 'text', 'data': 'Text'},
+            {'type': 'image', 'data': 'https://example.com/image.jpg'},
+        ]
+        filepath = str(tmp_path / "test.txt")
+
+        await tao_file_txt(content, filepath, "Test Chapter")
+
+        assert os.path.exists(filepath)
+        with open(filepath, 'r', encoding='utf-8') as f:
+            txt = f.read()
+
+        assert '[Ảnh: https://example.com/image.jpg]' in txt
+
+
+@pytest.mark.asyncio
+class TestTaoFileEpub:
+    """Tests for EPUB export function"""
+
+    async def test_creates_epub_file(self, tmp_path):
+        """Test that an EPUB file is created"""
+        chapters_data = [
+            {
+                'title': 'Chapter 1',
+                'content': [
+                    {'type': 'text', 'data': 'Hello World'},
+                ]
+            }
+        ]
+        filepath = str(tmp_path / "test.epub")
+
+        await tao_file_epub(filepath, "Test Book", "Test Author", chapters_data, genres=["Action", "Fantasy"])
+
+        assert os.path.exists(filepath)
+        # EPUB files are ZIP archives, check basic structure
+        import zipfile
+        with zipfile.ZipFile(filepath, 'r') as zip_ref:
+            names = zip_ref.namelist()
+            assert any('chap_' in n for n in names)
+            assert 'mimetype' in names
+
+    async def test_epub_with_volume_structure(self, tmp_path):
+        """Test EPUB export with volume/chapter hierarchy"""
+        chapters_data = [
+            {
+                'volume': 'Volume 1',
+                'chapters': [
+                    {
+                        'title': 'Chapter 1',
+                        'content': [{'type': 'text', 'data': 'Content'}]
+                    }
+                ]
+            }
+        ]
+        filepath = str(tmp_path / "test.epub")
+
+        await tao_file_epub(filepath, "Test Book", "Test Author", chapters_data)
+
+        assert os.path.exists(filepath)
+
+
+@pytest.mark.asyncio
+class TestTaoFilePdf:
+    """Tests for PDF export function"""
+
+    async def test_pdf_creation_basic(self, tmp_path):
+        """Test basic PDF creation"""
+        content = [
+            {'type': 'text', 'data': 'Test content'},
+        ]
+        filepath = str(tmp_path / "test.pdf")
+
+        # This test may fail if fonts are not available, which is expected
+        await tao_file_pdf(content, filepath, "Test Chapter")
+
+        # File should be created even if font fallback occurs
+        assert os.path.exists(filepath)
+
+
+# =============================================================================
+# TESTS FOR HEADERS CONFIGURATION
+# =============================================================================
+
+class TestHeadersConfiguration:
+    """Tests for HTTP headers configuration"""
+
+    def test_headers_contains_required_fields(self):
+        """Test that HEADERS contains all required fields"""
+        assert 'User-Agent' in HEADERS
+        assert 'Accept' in HEADERS
+        assert 'Accept-Language' in HEADERS
+
+    def test_user_agent_format(self):
+        """Test User-Agent string format"""
+        assert HEADERS['User-Agent'].startswith('Mozilla/5.0')
+        assert 'Chrome' in HEADERS['User-Agent']
+
+
+# =============================================================================
+# INTEGRATION TESTS (Mocked)
+# =============================================================================
+
+class TestScrapingIntegration:
+    """Integration tests with mocked external dependencies"""
+
+    @pytest.mark.asyncio
+    async def test_lay_thong_tin_truyen_structure(self):
+        """Test story info scraping with mocked response"""
+        from vvr_scraper.scraper_core import lay_thong_tin_truyen
+        import httpx
+
+        mock_html = """
+        <html>
+            <h1 class="rd-novel-title">Test Story</h1>
+            <span class="rd-author-name">Author Name</span>
+            <div class="rd-description-content">Story description</div>
+            <span class="rd-genre-tag">Action</span>
+            <span class="rd-genre-tag">Fantasy</span>
+        </html>
+        """
+
+        mock_response = MagicMock()
+        mock_response.text = mock_html
+        mock_response.status_code = 200
+        mock_response.raise_for_status = MagicMock()
+
+        with patch('httpx.AsyncClient') as MockClient:
+            instance = MockClient.return_value
+            instance.get = AsyncMock(return_value=mock_response)
+            instance.__aenter__ = AsyncMock(return_value=instance)
+            instance.__aexit__ = AsyncMock(return_value=None)
+
+            result = await lay_thong_tin_truyen(instance, "test-story")
+
+            assert result.title == 'Test Story'
+            assert result.author == 'Author Name'
+            assert result.description == 'Story description'
+            assert result.genres == ['Action', 'Fantasy']
+
+
+# =============================================================================
+# EDGE CASE TESTS
+# =============================================================================
+
+class TestEdgeCases:
+    """Tests for edge cases and error handling"""
+
+    @pytest.mark.asyncio
+    async def test_empty_content_export(self, tmp_path):
+        """Test exporting empty content"""
+        content = []
+
+        # HTML should still create valid file
+        filepath = str(tmp_path / "empty.html")
+        await tao_file_html(content, filepath, "Empty")
+        assert os.path.exists(filepath)
+
+    def test_very_long_filename(self):
+        """Test sanitization of very long filename"""
+        long_name = "a" * 500
+        result = sanitize_filename(long_name)
+        assert len(result) == len(long_name)  # Length preserved after sanitization
+
+    def test_special_unicode_characters(self):
+        """Test handling of special unicode characters"""
+        test_cases = [
+            ('file\u200bname.txt', 'filename.txt'),  # Zero-width space
+            ('file\u00a0name.txt', 'file\u00a0name.txt'),  # Non-breaking space (kept)
+        ]
+        for input_name, expected in test_cases:
+            result = sanitize_filename(input_name)
+            # Just ensure no exception is raised
+
+    @pytest.mark.asyncio
+    async def test_mixed_content_types(self, tmp_path):
+        """Test export with mixed text and multiple images"""
+        content = [
+            {'type': 'text', 'data': 'Intro'},
+            {'type': 'image', 'data': 'https://example.com/img1.png'},
+            {'type': 'text', 'data': 'Middle'},
+            {'type': 'image', 'data': 'https://example.com/img2.gif'},
+            {'type': 'text', 'data': 'End'},
+        ]
+
+        for fmt, func in [
+            ('html', tao_file_html),
+            ('md', tao_file_md),
+            ('txt', tao_file_txt),
+        ]:
+            filepath = str(tmp_path / f"mixed.{fmt}")
+            await func(content, filepath, "Test")
+            assert os.path.exists(filepath)