article-backup 0.1.0__py3-none-any.whl → 0.2.0__py3-none-any.whl

{article_backup-0.1.0.dist-info → article_backup-0.2.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: article-backup
-Version: 0.1.0
+Version: 0.2.0
 Summary: Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией
 Author-email: Eugene Chaykin <eugene@chayk.in>
 License: Apache-2.0
@@ -31,6 +31,10 @@ Dynamic: license-file
 
 # Article Backup
 
+[![PyPI version](https://badge.fury.io/py/article-backup.svg)](https://pypi.org/project/article-backup/)
+[![Python 3.10+](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/downloads/)
+[![License](https://img.shields.io/badge/License-Apache%202.0-blue.svg)](https://opensource.org/licenses/Apache-2.0)
+
 Скрипт для локального бэкапа статей с платформ **Sponsr.ru** и **Boosty.to**.
 
 Конвертирует статьи в Markdown с YAML-метаданными, скачивает изображения и другие медиафайлы, поддерживает инкрементальную синхронизацию.
@@ -41,15 +45,24 @@ Dynamic: license-file
 - Инкрементальные обновления — скачивает только новые статьи
 - Конвертация в Markdown с frontmatter (title, date, tags, source)
 - Локальное сохранение изображений, видео, аудио, PDF
+- Гибкая фильтрация типов скачиваемых файлов (image, video, audio, document)
 - Сохранение ссылок на встроенные видео (Rutube, YouTube, Vimeo, VK, OK.ru)
 - Исправление внутренних ссылок между статьями
-- Интеграция с Hugo для просмотра в браузере
+- Интеграция с Hugo для просмотра в браузере (поддержка тем, улучшенная типографика)
 - SQLite-индекс для быстрого поиска
 
 ## Установка
 
 Требуется **Python 3.10+**
 
+### Вариант 1: Через pip (рекомендуется)
+
+```bash
+pip install article-backup
+```
+
+### Вариант 2: Из исходников
+
 ```bash
 git clone https://github.com/strannick-ru/article-backup.git
 cd article-backup
@@ -86,7 +99,8 @@ sources:
   - platform: sponsr
     author: pushkin
     display_name: "Пушкин. Проза"
-
+    asset_types: ["image", "document"] # Скачивать только картинки и документы
+    
   - platform: boosty
     author: lermontov
     display_name: "Лермонтов. Стихи"
@@ -120,44 +134,56 @@ console.log("Cookie:\n" + cookie + "\n\nAuthorization:\nBearer " + auth.accessTo
 ### Синхронизация всех авторов
 
 ```bash
+# Если установлено через pip
+article-backup
+
+# Или из исходников
 python backup.py
 ```
 
 ### Скачать один пост по URL
 
 ```bash
-python backup.py "https://sponsr.ru/author/12345/post-title/"
-python backup.py "https://boosty.to/author/posts/uuid"
+article-backup "https://sponsr.ru/author/12345/post-title/"
+article-backup "https://boosty.to/author/posts/uuid"
 ```
 
 ### Указать другой конфиг
 
 ```bash
-python backup.py -c /path/to/config.yaml
+article-backup -c /path/to/config.yaml
 ```
 
 ## Docker
 
 Для серверов с устаревшим Python можно использовать Docker.
 
-```bash
-# Сборка образа
-docker compose build
+Для удобства используйте скрипт `run-docker.sh`, который автоматически подхватывает `output_dir` из вашего `config.yaml` и монтирует правильный volume.
 
-# Синхронизация всех авторов
-docker compose run --rm backup
+```bash
+# Синхронизация + сборка сайта (рекомендуемый способ)
+./run-docker.sh
 
 # Скачать один пост
-docker compose run --rm backup "https://sponsr.ru/author/123/"
+./run-docker.sh "https://sponsr.ru/author/123/"
 
-# Сборка Hugo-сайта
-docker compose run --rm hugo
+# Только пересборка сайта
+./run-docker.sh hugo
 
-# Полная синхронизация (backup + hugo)
-docker compose run --rm backup && docker compose run --rm hugo
+# Пересборка контейнеров
+./run-docker.sh build
+```
+
+### Ручной запуск (Advanced)
+
+Если вы не хотите использовать скрипт, можно запускать через `docker compose`, но нужно вручную указывать путь к бэкапам, если он отличается от `./backup`.
 
-# Пересборка после изменений кода
-docker compose build --no-cache
+```bash
+# Если output_dir в конфиге = ./backup
+docker compose run --rm backup
+
+# Если output_dir другой
+HOST_BACKUP_DIR=/path/to/data docker compose run --rm backup
 ```
 
 ### Cron
@@ -211,8 +237,11 @@ hugo:
   base_url: "https://example.com/"  # URL сайта для production
   title: "Мой архив статей"         # Заголовок сайта
   language_code: "ru"               # Язык контента
+  default_theme: "sepia"            # Тема по умолчанию: light, dark, sepia, gruvbox, everforest
 ```
 
+Сайт поддерживает переключение тем "на лету" (кнопки в углу экрана). Выбор пользователя сохраняется в браузере.
+
 Если секция `hugo:` не указана, используются значения по умолчанию (`http://localhost:1313/`).
 
 ### RSS-ленты

article_backup-0.2.0.dist-info/RECORD

@@ -0,0 +1,14 @@
+backup.py,sha256=6I5hGCY7UFMcH_GC437rcf3Pf5HI38rJdb2V0TKwcT8,6203
+article_backup-0.2.0.dist-info/licenses/LICENSE,sha256=H7HKbB-BFnuJAfBBasE5FntYOdqzSGckwx6wxMlnfSA,10173
+src/__init__.py,sha256=uV3ILKFkjpxUZ3w5HS9i5dxnL-gGIMFBzT96lSOETXM,14
+src/boosty.py,sha256=oozGgcCqCsLup3LNWylb89M9AETudDHEQhExu2JjsDw,9007
+src/config.py,sha256=xmAFMHv1ya2lnyFPZe9hDnRfI5MooIl2aBr2BKAcpGo,3373
+src/database.py,sha256=TSbdI_8OgVtUNT_K5Wxlq0wLq3uti07qKsSuRqY0aoU,5763
+src/downloader.py,sha256=ahmNSPDt5wav-tHlyEK7wmizgnB-kQNsH3sZ3vGF6X0,13493
+src/sponsr.py,sha256=3770Zy_L3CmaJRdyy-rNgQPhPuZpiry9VoCVV_zprts,9896
+src/utils.py,sha256=q_LZ_a-UStZCNBde027FOjDpTCpCtPii54ou48IWeJY,5594
+article_backup-0.2.0.dist-info/METADATA,sha256=MMn8cycysh-0vpJZfAbvlBwEvpCGi4tksGQmOsGv53M,10208
+article_backup-0.2.0.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
+article_backup-0.2.0.dist-info/entry_points.txt,sha256=Nz5rb3V5-Vkm0gJ18e1eOb6fY6f1GeoHiAGGQHQgHrQ,47
+article_backup-0.2.0.dist-info/top_level.txt,sha256=9Iu_UMhupxvQh2cehV6bzaqPeTDrDCakTE82bJG5WxI,11
+article_backup-0.2.0.dist-info/RECORD,,

backup.py

@@ -6,8 +6,9 @@ import argparse
 import os
 import sys
 from pathlib import Path
+from typing import cast
 
-from src.config import Config, load_config, Source
+from src.config import Config, load_config, Source, Platform
 from src.database import Database
 from src.utils import is_post_url, parse_post_url
 from src.sponsr import SponsorDownloader
@@ -25,6 +26,9 @@ languageCode = '{config.hugo.language_code}'
 title = '{config.hugo.title}'
 relativeURLs = true
 
+[params]
+  default_theme = '{config.hugo.default_theme}'
+
 [markup.goldmark.renderer]
   unsafe = true
 
@@ -43,6 +47,12 @@ relativeURLs = true
 
 def ensure_site_content_link(config: Config):
     """Создаёт симлинк site/content → output_dir."""
+    # В Docker-среде (когда задан BACKUP_OUTPUT_DIR) мы не создаем симлинк,
+    # так как пути внутри контейнера (/app/backup) не совпадают с хостовыми.
+    # Симлинк должен создаваться скриптом запуска (run-docker.sh) на хосте.
+    if os.environ.get('BACKUP_OUTPUT_DIR'):
+        return
+
     site_content = Path('site/content')
 
     # Если уже правильный симлинк — ничего не делаем
@@ -89,11 +99,18 @@ def sync_all(config: Config, db: Database):
 
 def download_single_post(url: str, config: Config, db: Database):
     """Скачивает один пост по URL."""
-    platform, author, post_id = parse_post_url(url)
+    platform_str, author, post_id = parse_post_url(url)
+    platform = cast(Platform, platform_str)
 
     # Создаём Source для этого автора
     source = Source(platform=platform, author=author, download_assets=True)
 
+    # Пытаемся найти настройки источника в конфиге
+    for src in config.sources:
+        if src.platform == platform and src.author == author:
+            source = src
+            break
+
     downloader = get_downloader(platform, config, source, db)
     downloader.download_single(post_id)
 

src/boosty.py

@@ -132,7 +132,7 @@ class BoostyDownloader(BaseDownloader):
             elif block_type == "ok_video":
                 # ok.ru видео требует отдельной обработки
                 # Пока сохраняем только превью, если есть
-                preview = block.get("previewUrl", "")
+                preview = block.get("previewUrl") or block.get("preview") or ""
                 if preview:
                     assets.append({
                         "url": preview,

src/config.py

@@ -6,6 +6,7 @@ from pathlib import Path
 from typing import Literal
 
 import yaml
+import os
 
 Platform = Literal['sponsr', 'boosty']
 
@@ -16,6 +17,7 @@ class Source:
     author: str
     download_assets: bool = True
     display_name: str | None = None
+    asset_types: list[str] | None = None
 
 @dataclass
 class Auth:
@@ -29,6 +31,7 @@ class HugoConfig:
     base_url: str = "http://localhost:1313/"
     title: str = "Бэкап статей"
     language_code: str = "ru"
+    default_theme: str = "light"
 
 
 @dataclass
@@ -45,7 +48,11 @@ def load_config(config_path: Path) -> Config:
         data = yaml.safe_load(f)
 
     # output_dir
-    output_dir = Path(data.get('output_dir', './backup'))
+    env_output_dir = os.environ.get('BACKUP_OUTPUT_DIR')
+    if env_output_dir:
+        output_dir = Path(env_output_dir)
+    else:
+        output_dir = Path(data.get('output_dir', './backup'))
 
     # auth
     auth_data = data.get('auth', {})
@@ -63,6 +70,7 @@ def load_config(config_path: Path) -> Config:
             author=src['author'],
             download_assets=src.get('download_assets', True),
             display_name=src.get('display_name'),
+            asset_types=src.get('asset_types'),
         ))
 
     # hugo
@@ -71,6 +79,7 @@ def load_config(config_path: Path) -> Config:
         base_url=hugo_data.get('base_url', HugoConfig.base_url),
         title=hugo_data.get('title', HugoConfig.title),
         language_code=hugo_data.get('language_code', HugoConfig.language_code),
+        default_theme=hugo_data.get('default_theme', HugoConfig.default_theme),
     )
 
     return Config(output_dir=output_dir, auth=auth, sources=sources, hugo=hugo)

src/downloader.py

@@ -61,7 +61,9 @@ def retry_request(
                 time.sleep(delay)
                 delay = min(delay * backoff_factor, max_delay)
 
-    raise last_exception
+    if last_exception:
+        raise last_exception
+    raise Exception("Max retries exceeded")
 
 
 @dataclass
@@ -135,6 +137,7 @@ class BaseDownloader(ABC):
     def download_single(self, post_id: str):
         """Скачивает один пост по ID."""
         print(f"[{self.PLATFORM}] Скачивание поста {post_id}...")
+        self._create_index_files()  # Создаем индексы, чтобы не было "Boosties"
         post = self.fetch_post(post_id)
         if post:
             self._save_post(post)
@@ -251,9 +254,9 @@ class BaseDownloader(ABC):
         def download_one(asset: dict) -> tuple[str, str | None]:
             url = asset["url"]
             try:
-                # Предварительная проверка только по расширению (если есть)
+                # Предварительная проверка (если расширение есть)
                 ext = Path(urlparse(url).path).suffix.lower()
-                if ext and ext not in ALLOWED_EXTENSIONS:
+                if ext and not should_download_asset(url, None, self.source.asset_types):
                     return url, None
 
                 def do_request():
@@ -266,7 +269,7 @@ class BaseDownloader(ABC):
                 content_type = response.headers.get('Content-Type', '')
 
                 # Полная проверка после получения Content-Type
-                if not should_download_asset(url, content_type):
+                if not should_download_asset(url, content_type, self.source.asset_types):
                     return url, None
 
                 filename = self._make_asset_filename(url, content_type, asset.get('alt'))

src/sponsr.py

@@ -150,17 +150,23 @@ class SponsorDownloader(BaseDownloader):
 
     def _parse_post(self, raw_data: dict) -> Post:
         """Парсит сырые данные API в Post."""
-        post_id = str(raw_data['post_id'])
-        title = raw_data.get('post_title', 'Без названия')
-        post_date = raw_data.get('post_date', '')
+        post_id = str(raw_data.get('post_id') or raw_data.get('id'))
+        title = raw_data.get('post_title') or raw_data.get('title') or 'Без названия'
+        post_date = raw_data.get('post_date') or raw_data.get('date') or ''
 
         # URL поста
-        post_url = raw_data.get('post_url', '')
+        post_url = raw_data.get('post_url') or f"/{self.source.author}/{post_id}/"
         if post_url and not post_url.startswith('http'):
             post_url = f"https://sponsr.ru{post_url}"
 
         # HTML контент
-        content_html = raw_data.get('post_text', '')
+        content_obj = raw_data.get('post_text') or raw_data.get('text')
+        if isinstance(content_obj, dict):
+            content_html = content_obj.get('text', '')
+        elif isinstance(content_obj, str):
+            content_html = content_obj
+        else:
+            content_html = ''
 
         # Теги
         tags = raw_data.get('tags', [])

src/utils.py

@@ -6,16 +6,24 @@ from pathlib import Path
 from urllib.parse import urlparse
 from slugify import slugify
 
-# Белый список расширений
-ALLOWED_EXTENSIONS = {
-    '.jpg', '.jpeg', '.png', '.gif', '.webp', '.svg',
-    '.mp4', '.webm', '.mov', '.mkv', '.avi',
-    '.mp3', '.wav', '.flac', '.ogg',
-    '.pdf',
+# Типы ассетов и их расширения
+ASSET_TYPES = {
+    'image': {'.jpg', '.jpeg', '.png', '.gif', '.webp', '.svg'},
+    'video': {'.mp4', '.webm', '.mov', '.mkv', '.avi'},
+    'audio': {'.mp3', '.wav', '.flac', '.ogg'},
+    'document': {'.pdf'},
 }
 
-# Допустимые Content-Type
-ALLOWED_CONTENT_TYPES = {'image/', 'video/', 'audio/', 'application/pdf'}
+# Глобальный список разрешенных расширений
+ALLOWED_EXTENSIONS = set().union(*ASSET_TYPES.values())
+
+# Префиксы Content-Type для категорий
+CONTENT_TYPE_MAP = {
+    'image': ['image/'],
+    'video': ['video/'],
+    'audio': ['audio/'],
+    'document': ['application/pdf'],
+}
 
 # Паттерны для внутренних ссылок
 SPONSR_LINK_PATTERN = re.compile(r'https?://sponsr\.ru/([^/]+)/(\d+)(?:/[^\s\)\]"\'<>]*)?')
@@ -60,21 +68,50 @@ def is_post_url(text: str) -> bool:
         return False
 
 
-def should_download_asset(url: str, content_type: str | None = None) -> bool:
+def should_download_asset(
+    url: str,
+    content_type: str | None = None,
+    allowed_types: list[str] | None = None
+) -> bool:
     """
     Проверяет, нужно ли скачивать файл.
 
     Args:
         url: URL файла
         content_type: Content-Type из заголовков ответа (опционально)
+        allowed_types: Список разрешенных типов (image, video, audio, document).
+                       Если None или пустой — разрешено всё из ALLOWED_EXTENSIONS.
     """
     ext = Path(urlparse(url).path).suffix.lower()
 
+    # Если типы не указаны, используем глобальный фильтр
+    if not allowed_types:
+        if ext:
+            return ext in ALLOWED_EXTENSIONS
+        
+        # Fallback для content-type (старое поведение)
+        if content_type:
+            basic_types = ['image/', 'video/', 'audio/', 'application/pdf']
+            return any(ct in content_type for ct in basic_types)
+        
+        return False
+
+    # Если типы указаны, проверяем строго по ним
+    
+    # 1. Проверка по расширению
     if ext:
-        return ext in ALLOWED_EXTENSIONS
+        for type_name in allowed_types:
+            if ext in ASSET_TYPES.get(type_name, set()):
+                return True
+        # Если расширение есть, но не совпало ни с одним разрешенным типом — запрещаем
+        return False
 
+    # 2. Проверка по Content-Type (если нет расширения)
     if content_type:
-        return any(ct in content_type for ct in ALLOWED_CONTENT_TYPES)
+        for type_name in allowed_types:
+            prefixes = CONTENT_TYPE_MAP.get(type_name, [])
+            if any(prefix in content_type for prefix in prefixes):
+                return True
 
     return False
 

article_backup-0.1.0.dist-info/RECORD

@@ -1,14 +0,0 @@
-backup.py,sha256=StDTlMZmcUYoPCz6c9ez_NYPtO_LgiIYIVJ5HPWqrgw,5420
-article_backup-0.1.0.dist-info/licenses/LICENSE,sha256=H7HKbB-BFnuJAfBBasE5FntYOdqzSGckwx6wxMlnfSA,10173
-src/__init__.py,sha256=uV3ILKFkjpxUZ3w5HS9i5dxnL-gGIMFBzT96lSOETXM,14
-src/boosty.py,sha256=98UuDfoCIXdG6gdrifNlL1hF0iqlknlgceNZ3JxzSSI,8981
-src/config.py,sha256=XQQM4XudXPxQwd8rMMQA3t25PcgYAHjYF3pIF-GDIs0,3025
-src/database.py,sha256=TSbdI_8OgVtUNT_K5Wxlq0wLq3uti07qKsSuRqY0aoU,5763
-src/downloader.py,sha256=hPwdV71__orw60tvjxcPrfvC2OKQFVyYOyV2ttnDXcw,13278
-src/sponsr.py,sha256=awfliPtZ3er7381ZgOCtH3YexlBsFSCbSBN3cLHr4bw,9540
-src/utils.py,sha256=YQBoOghLqxWQSNpMaW5hycDs77ck_KuA3Qd4upRwIJQ,3988
-article_backup-0.1.0.dist-info/METADATA,sha256=wNVdh6jUftUZ-V99hdXzlDPT4dIiptTBAX51pGGABSs,8450
-article_backup-0.1.0.dist-info/WHEEL,sha256=wUyA8OaulRlbfwMtmQsvNngGrxQHAvkKcvRmdizlJi0,92
-article_backup-0.1.0.dist-info/entry_points.txt,sha256=Nz5rb3V5-Vkm0gJ18e1eOb6fY6f1GeoHiAGGQHQgHrQ,47
-article_backup-0.1.0.dist-info/top_level.txt,sha256=9Iu_UMhupxvQh2cehV6bzaqPeTDrDCakTE82bJG5WxI,11
-article_backup-0.1.0.dist-info/RECORD,,