article-backup 0.3.11__tar.gz → 0.3.12__tar.gz

{article_backup-0.3.11 → article_backup-0.3.12}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: article-backup
-Version: 0.3.11
+Version: 0.3.12
 Summary: Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией
 Author-email: Eugene Chaykin <eugene@chayk.in>
 License: Apache-2.0
@@ -91,6 +91,11 @@ hugo:
   title: "Бэкап статей"
   language_code: "ru"
 
+sync:
+  # stop: остановиться, если авторизация любого источника не прошла
+  # continue: пропустить проблемные источники и собрать сайт из доступных данных
+  on_error: stop
+
 auth:
   sponsr_cookie_file: ./sponsr_cookie.txt
   boosty_cookie_file: ./boosty_cookie.txt
@@ -142,6 +147,8 @@ article-backup
 python backup.py
 ```
 
+Перед скачиванием выполняется проверка авторизации для всех источников. По умолчанию `sync.on_error: stop`: если один токен протух, скачивание не начинается и команда завершается с ошибкой. Если указать `sync.on_error: continue`, источники с ошибками авторизации будут пропущены, остальные источники синхронизируются, а Docker-запуск продолжит сборку Hugo-сайта.
+
 ### Скачать один пост по URL
 
 ```bash

{article_backup-0.3.11 → article_backup-0.3.12}/README.md

@@ -60,6 +60,11 @@ hugo:
   title: "Бэкап статей"
   language_code: "ru"
 
+sync:
+  # stop: остановиться, если авторизация любого источника не прошла
+  # continue: пропустить проблемные источники и собрать сайт из доступных данных
+  on_error: stop
+
 auth:
   sponsr_cookie_file: ./sponsr_cookie.txt
   boosty_cookie_file: ./boosty_cookie.txt
@@ -111,6 +116,8 @@ article-backup
 python backup.py
 ```
 
+Перед скачиванием выполняется проверка авторизации для всех источников. По умолчанию `sync.on_error: stop`: если один токен протух, скачивание не начинается и команда завершается с ошибкой. Если указать `sync.on_error: continue`, источники с ошибками авторизации будут пропущены, остальные источники синхронизируются, а Docker-запуск продолжит сборку Hugo-сайта.
+
 ### Скачать один пост по URL
 
 ```bash

{article_backup-0.3.11 → article_backup-0.3.12}/article_backup.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: article-backup
-Version: 0.3.11
+Version: 0.3.12
 Summary: Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией
 Author-email: Eugene Chaykin <eugene@chayk.in>
 License: Apache-2.0
@@ -91,6 +91,11 @@ hugo:
   title: "Бэкап статей"
   language_code: "ru"
 
+sync:
+  # stop: остановиться, если авторизация любого источника не прошла
+  # continue: пропустить проблемные источники и собрать сайт из доступных данных
+  on_error: stop
+
 auth:
   sponsr_cookie_file: ./sponsr_cookie.txt
   boosty_cookie_file: ./boosty_cookie.txt
@@ -142,6 +147,8 @@ article-backup
 python backup.py
 ```
 
+Перед скачиванием выполняется проверка авторизации для всех источников. По умолчанию `sync.on_error: stop`: если один токен протух, скачивание не начинается и команда завершается с ошибкой. Если указать `sync.on_error: continue`, источники с ошибками авторизации будут пропущены, остальные источники синхронизируются, а Docker-запуск продолжит сборку Hugo-сайта.
+
 ### Скачать один пост по URL
 
 ```bash

{article_backup-0.3.11 → article_backup-0.3.12}/article_backup.egg-info/SOURCES.txt

@@ -24,4 +24,5 @@ tests/test_slug_safety.py
 tests/test_sponsr_formatting_fix.py
 tests/test_sponsr_normalize.py
 tests/test_sponsr_tags.py
+tests/test_sync_policy.py
 tests/test_video_embed.py

{article_backup-0.3.11 → article_backup-0.3.12}/backup.py

@@ -26,7 +26,7 @@ def generate_hugo_config(config: Config):
         return json.dumps(value, ensure_ascii=False)
 
     content = f'''baseURL = {toml_str(config.hugo.base_url)}
-languageCode = {toml_str(config.hugo.language_code)}
+locale = {toml_str(config.hugo.language_code)}
 title = {toml_str(config.hugo.title)}
 relativeURLs = true
 
@@ -91,16 +91,35 @@ def get_downloader(platform: str, config: Config, source: Source, db: Database):
         raise ValueError(f"Неизвестная платформа: {platform}")
 
 
-def sync_all(config: Config, db: Database):
-    """Синхронизирует всех авторов из конфига."""
+def preflight_sources(config: Config, db: Database):
+    """Проверяет доступность источников до начала синхронизации."""
+    ready_sources: list[Source] = []
     errors: list[tuple[Source, Exception]] = []
+
     for source in config.sources:
+        try:
+            downloader = get_downloader(source.platform, config, source, db)
+            downloader.check_auth()
+            ready_sources.append(source)
+        except Exception as e:
+            print(f"[{source.platform}] Ошибка проверки авторизации {source.author}: {e}")
+            errors.append((source, e))
+
+    return ready_sources, errors
+
+
+def sync_all(config: Config, db: Database, sources: list[Source] | None = None):
+    """Синхронизирует всех авторов из конфига."""
+    errors: list[tuple[Source, Exception]] = []
+    for source in sources if sources is not None else config.sources:
         try:
             downloader = get_downloader(source.platform, config, source, db)
             downloader.sync()
         except Exception as e:
             print(f"[{source.platform}] Ошибка при синхронизации {source.author}: {e}")
             errors.append((source, e))
+            if config.sync.on_error == 'stop':
+                break
     return errors
 
 
@@ -181,7 +200,15 @@ def main():
             if not config.sources:
                 print("Нет источников в конфиге. Добавьте секцию 'sources'.")
                 sys.exit(1)
-            sync_errors = sync_all(config, db)
+            ready_sources, preflight_errors = preflight_sources(config, db)
+            if preflight_errors:
+                sync_errors.extend(preflight_errors)
+                if config.sync.on_error == 'stop':
+                    print("\nОстановлено из-за ошибок проверки авторизации.")
+                else:
+                    print("\nИсточники с ошибками проверки авторизации будут пропущены.")
+            if not preflight_errors or config.sync.on_error == 'continue':
+                sync_errors.extend(sync_all(config, db, ready_sources))
 
     ensure_site_content_link(config)
     generate_hugo_config(config)
@@ -190,7 +217,8 @@ def main():
         print(f"\nЗавершено с ошибками: {len(sync_errors)}")
         for source, error in sync_errors:
             print(f"  - [{source.platform}] {source.author}: {error}")
-        sys.exit(1)
+        if config.sync.on_error == 'stop':
+            sys.exit(1)
 
     print("\nГотово!")
 

{article_backup-0.3.11 → article_backup-0.3.12}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "article-backup"
-version = "0.3.11"
+version = "0.3.12"
 description = "Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией"
 readme = "README.md"
 license = {text = "Apache-2.0"}

{article_backup-0.3.11 → article_backup-0.3.12}/src/boosty.py

@@ -43,6 +43,17 @@ class BoostyDownloader(BaseDownloader):
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
         })
 
+    def check_auth(self):
+        """Проверяет доступ к ленте автора минимальным API-запросом."""
+        url = f"{self.API_BASE}/blog/{self.source.author}/post/?limit=1"
+
+        def do_request():
+            resp = self.session.get(url, timeout=self.TIMEOUT)
+            resp.raise_for_status()
+            return resp
+
+        retry_request(do_request, max_retries=3)
+
     def fetch_posts_list(
         self,
         existing_ids: set[str] | None = None,

{article_backup-0.3.11 → article_backup-0.3.12}/src/config.py

@@ -34,12 +34,18 @@ class HugoConfig:
     default_theme: str = "light"
 
 
+@dataclass
+class SyncConfig:
+    on_error: Literal['stop', 'continue'] = "stop"
+
+
 @dataclass
 class Config:
     output_dir: Path
     auth: Auth
     sources: list[Source] = field(default_factory=list)
     hugo: HugoConfig = field(default_factory=HugoConfig)
+    sync: SyncConfig = field(default_factory=SyncConfig)
 
 
 def load_config(config_path: Path) -> Config:
@@ -105,7 +111,18 @@ def load_config(config_path: Path) -> Config:
         default_theme=hugo_data.get('default_theme', HugoConfig.default_theme),
     )
 
-    return Config(output_dir=output_dir, auth=auth, sources=sources, hugo=hugo)
+    # sync
+    sync_data = data.get('sync', {})
+    if sync_data is None:
+        sync_data = {}
+    if not isinstance(sync_data, dict):
+        raise ValueError("Секция 'sync' должна быть объектом")
+    sync_on_error = sync_data.get('on_error', SyncConfig.on_error)
+    if sync_on_error not in ('stop', 'continue'):
+        raise ValueError("sync.on_error должен быть 'stop' или 'continue'")
+    sync = SyncConfig(on_error=sync_on_error)
+
+    return Config(output_dir=output_dir, auth=auth, sources=sources, hugo=hugo, sync=sync)
 
 
 def _to_path(value: str | None) -> Path | None:

{article_backup-0.3.11 → article_backup-0.3.12}/src/downloader.py

@@ -98,6 +98,10 @@ class BaseDownloader(ABC):
         """Настройка сессии (cookies, headers)."""
         pass
 
+    def check_auth(self):
+        """Проверяет, что авторизация позволяет читать источник."""
+        raise NotImplementedError(f"{self.PLATFORM} не реализует проверку авторизации")
+
     @abstractmethod
     def fetch_posts_list(
         self,

{article_backup-0.3.11 → article_backup-0.3.12}/src/sponsr.py

@@ -44,6 +44,18 @@ class SponsorDownloader(BaseDownloader):
             'X-Requested-With': 'XMLHttpRequest',
         })
 
+    def check_auth(self):
+        """Проверяет доступ к проекту минимальным API-запросом."""
+        project_id = self._get_project_id()
+        api_url = f"https://sponsr.ru/project/{project_id}/more-posts/?offset=0"
+
+        def do_request():
+            resp = self.session.get(api_url, timeout=self.TIMEOUT)
+            resp.raise_for_status()
+            return resp
+
+        retry_request(do_request, max_retries=3)
+
     def _get_project_id(self) -> str:
         """Получает project_id со страницы проекта."""
         if self._project_id:
@@ -640,6 +652,8 @@ class SponsorDownloader(BaseDownloader):
         markdown = markdown.replace('@@@LBR@@@', r'\[')
         markdown = markdown.replace('@@@RBR@@@', r'\]')
         # Заменяем маркеры пробелов, вставленные в DOM
+        markdown = re.sub(r'[ \t]*@@@SP@@@[ \t]*', '@@@SP@@@', markdown)
+        markdown = re.sub(r'(?:@@@SP@@@)+', '@@@SP@@@', markdown)
         markdown = markdown.replace('@@@SP@@@', ' ')
 
         # Удаляем bidi-маркеры, которые ломают пробелы рядом с текстом

{article_backup-0.3.11 → article_backup-0.3.12}/tests/test_config_hardening.py

@@ -17,6 +17,24 @@ class ConfigHardeningTests(unittest.TestCase):
 
             self.assertEqual(cfg.output_dir, Path("./backup"))
             self.assertEqual(cfg.sources, [])
+            self.assertEqual(cfg.sync.on_error, "stop")
+
+    def test_load_config_accepts_sync_continue_policy(self):
+        with tempfile.TemporaryDirectory() as tmp:
+            cfg_path = Path(tmp) / "config.yaml"
+            cfg_path.write_text("sync:\n  on_error: continue\n", encoding="utf-8")
+
+            cfg = load_config(cfg_path)
+
+            self.assertEqual(cfg.sync.on_error, "continue")
+
+    def test_load_config_rejects_unknown_sync_policy(self):
+        with tempfile.TemporaryDirectory() as tmp:
+            cfg_path = Path(tmp) / "config.yaml"
+            cfg_path.write_text("sync:\n  on_error: ignore\n", encoding="utf-8")
+
+            with self.assertRaisesRegex(ValueError, "sync.on_error"):
+                load_config(cfg_path)
 
     def test_generate_hugo_config_escapes_quotes(self):
         with tempfile.TemporaryDirectory() as tmp:
@@ -42,6 +60,8 @@ class ConfigHardeningTests(unittest.TestCase):
 
                 self.assertIn('title = "Bob\'s \\"backup\\""', toml)
                 self.assertIn('baseURL = "https://example.com/a\\"b"', toml)
+                self.assertIn('locale = "ru"', toml)
+                self.assertNotIn('languageCode', toml)
                 self.assertIn('default_theme = "light\\"mode"', toml)
             finally:
                 os.chdir(old_cwd)

{article_backup-0.3.11 → article_backup-0.3.12}/tests/test_sponsr_normalize.py

@@ -119,6 +119,7 @@ class SponsorNormalizeTests(unittest.TestCase):
         # Ожидаем пробелы вокруг **жирное**
         self.assertIn('слово **жирное** слово', result)
         self.assertNotIn('слово**жирное**слово', result)
+        self.assertNotIn('**жирное**  слово', result)
 
     def test_real_world_case_from_issue(self):
         """Тест реального случая из issue."""

article_backup-0.3.12/tests/test_sync_policy.py

@@ -0,0 +1,129 @@
+import unittest
+import sys
+import tempfile
+from pathlib import Path
+
+import backup
+from src.config import Auth, Config, Source, SyncConfig
+
+
+class DummyDownloader:
+    checks: list[str] = []
+    synced: list[str] = []
+    check_failures: dict[str, Exception] = {}
+    sync_failures: dict[str, Exception] = {}
+
+    def __init__(self, config, source, db):
+        self.source = source
+
+    def check_auth(self):
+        DummyDownloader.checks.append(self.source.author)
+        error = DummyDownloader.check_failures.get(self.source.author)
+        if error:
+            raise error
+
+    def sync(self):
+        DummyDownloader.synced.append(self.source.author)
+        error = DummyDownloader.sync_failures.get(self.source.author)
+        if error:
+            raise error
+
+
+class SyncPolicyTests(unittest.TestCase):
+    def setUp(self):
+        self.old_get_downloader = backup.get_downloader
+        backup.get_downloader = lambda platform, config, source, db: DummyDownloader(config, source, db)
+        DummyDownloader.checks = []
+        DummyDownloader.synced = []
+        DummyDownloader.check_failures = {}
+        DummyDownloader.sync_failures = {}
+
+    def tearDown(self):
+        backup.get_downloader = self.old_get_downloader
+
+    def make_config(self, on_error):
+        return Config(
+            output_dir=Path("/tmp/test"),
+            auth=Auth(),
+            sources=[
+                Source(platform="sponsr", author="good"),
+                Source(platform="boosty", author="bad"),
+            ],
+            sync=SyncConfig(on_error=on_error),
+        )
+
+    def test_preflight_continue_filters_failed_sources(self):
+        config = self.make_config("continue")
+        DummyDownloader.check_failures = {"bad": RuntimeError("401 Unauthorized")}
+
+        ready_sources, errors = backup.preflight_sources(config, object())
+
+        self.assertEqual([source.author for source in ready_sources], ["good"])
+        self.assertEqual([source.author for source, _ in errors], ["bad"])
+        self.assertEqual(DummyDownloader.checks, ["good", "bad"])
+
+    def test_sync_all_continue_keeps_syncing_after_source_error(self):
+        config = self.make_config("continue")
+        DummyDownloader.sync_failures = {"good": RuntimeError("boom")}
+
+        errors = backup.sync_all(config, object())
+
+        self.assertEqual([source.author for source, _ in errors], ["good"])
+        self.assertEqual(DummyDownloader.synced, ["good", "bad"])
+
+    def test_sync_all_stop_stops_after_first_source_error(self):
+        config = self.make_config("stop")
+        DummyDownloader.sync_failures = {"good": RuntimeError("boom")}
+
+        errors = backup.sync_all(config, object())
+
+        self.assertEqual([source.author for source, _ in errors], ["good"])
+        self.assertEqual(DummyDownloader.synced, ["good"])
+
+    def test_main_continue_preflight_errors_do_not_exit_with_failure(self):
+        config = self.make_config("continue")
+        DummyDownloader.check_failures = {"bad": RuntimeError("401 Unauthorized")}
+
+        class DummyDatabase:
+            def __init__(self, path):
+                self.path = path
+
+            def __enter__(self):
+                return self
+
+            def __exit__(self, exc_type, exc, tb):
+                return False
+
+        old_argv = sys.argv
+        old_load_config = backup.load_config
+        old_database = backup.Database
+        old_ensure_link = backup.ensure_site_content_link
+        old_generate_hugo_config = backup.generate_hugo_config
+
+        with tempfile.TemporaryDirectory() as tmp:
+            cfg_path = Path(tmp) / "config.yaml"
+            cfg_path.write_text("", encoding="utf-8")
+            config.output_dir = Path(tmp) / "backup"
+
+            try:
+                sys.argv = ["backup.py", "--config", str(cfg_path)]
+                backup.load_config = lambda path: config
+                backup.Database = DummyDatabase
+                backup.ensure_site_content_link = lambda cfg: None
+                backup.generate_hugo_config = lambda cfg: None
+
+                backup.main()
+            except SystemExit as e:
+                self.fail(f"main() exited with {e.code} for continue policy")
+            finally:
+                sys.argv = old_argv
+                backup.load_config = old_load_config
+                backup.Database = old_database
+                backup.ensure_site_content_link = old_ensure_link
+                backup.generate_hugo_config = old_generate_hugo_config
+
+        self.assertEqual(DummyDownloader.synced, ["good"])
+
+
+if __name__ == "__main__":
+    unittest.main()