article-backup 0.3.7__tar.gz → 0.3.8__tar.gz

{article_backup-0.3.7 → article_backup-0.3.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: article-backup
-Version: 0.3.7
+Version: 0.3.8
 Summary: Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией
 Author-email: Eugene Chaykin <eugene@chayk.in>
 License: Apache-2.0

{article_backup-0.3.7 → article_backup-0.3.8}/article_backup.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: article-backup
-Version: 0.3.7
+Version: 0.3.8
 Summary: Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией
 Author-email: Eugene Chaykin <eugene@chayk.in>
 License: Apache-2.0

{article_backup-0.3.7 → article_backup-0.3.8}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "article-backup"
-version = "0.3.7"
+version = "0.3.8"
 description = "Локальный бэкап статей с Sponsr.ru и Boosty.to в Markdown с Hugo-интеграцией"
 readme = "README.md"
 license = {text = "Apache-2.0"}

{article_backup-0.3.7 → article_backup-0.3.8}/src/downloader.py

@@ -84,6 +84,7 @@ class BaseDownloader(ABC):
     PLATFORM: str = ""
     MAX_WORKERS: int = 5
     TIMEOUT: tuple = (5, 60)
+    FETCH_FULL_POST_IN_SYNC: bool = False
 
     def __init__(self, config: Config, source: Source, db: Database):
         self.config = config
@@ -146,7 +147,19 @@ class BaseDownloader(ABC):
         print(f"  Найдено постов: {len(posts)}, новых: {len(new_posts)}")
 
         for raw_post in new_posts:
-            post = self._parse_post(raw_post)
+            post_id = str(raw_post.get('id', raw_post.get('post_id')))
+
+            # Для некоторых платформ/эндпоинтов список постов может содержать
+            # урезанный или искажённый контент. В этом случае догружаем полный
+            # пост по ID (как в single mode), чтобы сохранить консистентный
+            # результат конвертации Markdown.
+            post = None
+            if self.FETCH_FULL_POST_IN_SYNC and post_id:
+                post = self.fetch_post(post_id)
+
+            if not post:
+                post = self._parse_post(raw_post)
+
             if post:
                 self._save_post(post)
 

{article_backup-0.3.7 → article_backup-0.3.8}/src/sponsr.py

@@ -29,6 +29,7 @@ class SponsorDownloader(BaseDownloader):
     """Загрузчик статей с Sponsr.ru"""
 
     PLATFORM = "sponsr"
+    FETCH_FULL_POST_IN_SYNC = True
 
     def __init__(self, config: Config, source: Source, db: Database):
         self._project_id: str | None = None

{article_backup-0.3.7 → article_backup-0.3.8}/tests/test_incremental_sync.py

@@ -6,10 +6,54 @@ from unittest.mock import MagicMock, patch
 from src.config import Auth, Config, Source
 from src.database import Database
 from src.boosty import BoostyDownloader
+from src.downloader import Post
 from src.sponsr import SponsorDownloader
 
 
 class IncrementalSyncTests(unittest.TestCase):
+    def test_sponsr_sync_fetches_full_post_for_new_items(self):
+        """Sponsr sync догружает полный пост, а не берёт урезанный HTML из списка."""
+        with tempfile.TemporaryDirectory() as tmp:
+            tmp_path = Path(tmp)
+            config = Config(output_dir=tmp_path, auth=Auth())
+            source = Source(platform='sponsr', author='test_author')
+
+            with Database(tmp_path / 'test.db') as db:
+                with patch('src.sponsr.load_cookie', return_value='fake_cookie'):
+                    dl = SponsorDownloader(config, source, db)
+
+                raw_posts = [{
+                    'post_id': '137432',
+                    'post_title': 'Test title',
+                    'post_date': '2025-01-01T00:00:00',
+                    'post_url': '/test_author/137432/test-title',
+                    'post_text': {'text': '<p>bad<strong>html</strong></p>'},
+                }]
+
+                full_post = Post(
+                    post_id='137432',
+                    title='Test title',
+                    content_html='<p>good <strong>html</strong></p>',
+                    post_date='2025-01-01T00:00:00',
+                    source_url='https://sponsr.ru/test_author/137432/test-title',
+                    tags=[],
+                    assets=[],
+                )
+
+                with patch.object(dl, 'fetch_posts_list', return_value=raw_posts):
+                    with patch.object(dl, 'fetch_post', return_value=full_post) as mocked_fetch_post:
+                        dl.sync()
+
+                mocked_fetch_post.assert_called_once_with('137432')
+
+                saved = db.get_post('sponsr', 'test_author', '137432')
+                if saved is None:
+                    self.fail('Пост не был сохранён в БД')
+                md_path = Path(saved.local_path) / 'index.md'
+                content = md_path.read_text(encoding='utf-8')
+                self.assertIn('good **html**', content)
+                self.assertNotIn('bad **html**', content)
+
     def test_sponsr_incremental_stops_on_clean_chunk(self):
         """Sponsr: останавливается на чистом чанке."""
         with tempfile.TemporaryDirectory() as tmp:
@@ -48,12 +92,11 @@ class IncrementalSyncTests(unittest.TestCase):
                     call_count += 1
                     return resp
                 
-                dl.session.get = mock_get
-                
                 # Все посты уже существуют
                 existing_ids = {str(i) for i in range(1, 41)}
-                
-                posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
+
+                with patch.object(dl.session, 'get', side_effect=mock_get):
+                    posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
                 
                 # Должен остановиться после первого чанка + 1 защитный
                 self.assertEqual(call_count, 2)
@@ -102,12 +145,11 @@ class IncrementalSyncTests(unittest.TestCase):
                     call_count += 1
                     return resp
                 
-                dl.session.get = mock_get
-                
                 # Первые 5 постов новые, остальные существуют
                 existing_ids = {str(i) for i in range(6, 41)}
-                
-                posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
+
+                with patch.object(dl.session, 'get', side_effect=mock_get):
+                    posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
                 
                 # Должен загрузить: первый (с новыми) + второй (чистый) + остановиться
                 # Всего 2 чанка с данными (call_count может быть 2 или 3 в зависимости от реализации)
@@ -146,11 +188,10 @@ class IncrementalSyncTests(unittest.TestCase):
                     call_count += 1
                     return resp
                 
-                dl.session.get = mock_get
-                
                 existing_ids = {f"uuid-{i}" for i in range(1, 41)}
-                
-                posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
+
+                with patch.object(dl.session, 'get', side_effect=mock_get):
+                    posts = dl.fetch_posts_list(existing_ids, incremental=True, safety_chunks=1)
                 
                 self.assertEqual(call_count, 2)
                 self.assertEqual(len(posts), 40)