scraper2-hj3415 1.0.1__tar.gz → 2.1.0__tar.gz

scraper2_hj3415-2.1.0/PKG-INFO

@@ -0,0 +1,164 @@
+Metadata-Version: 2.4
+Name: scraper2-hj3415
+Version: 2.1.0
+Summary: Naver WiseReport scraper
+Keywords: example,demo
+Author-email: Hyungjin Kim <hj3415@gmail.com>
+Requires-Python: >=3.11
+Description-Content-Type: text/markdown
+Classifier: Programming Language :: Python :: 3
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Typing :: Typed
+License-File: LICENSE
+Requires-Dist: playwright>=1.55
+Requires-Dist: pandas>=2.3.3
+Requires-Dist: pandas-stubs>=2.3.3
+Requires-Dist: lxml>=6.0.2
+Requires-Dist: typer>=0.21.0
+Requires-Dist: db2-hj3415
+
+# scraper2
+
+KRX 기반 국내 주식 재무(NFS) 데이터 스크래퍼 CLI 도구입니다.
+종목 단건 수집(one)과 유니버스 전체 수집(all)을 명확히 분리해 운영합니다.
+
+⸻
+
+설치
+
+pip install -e .
+
+설치 후 CLI 확인:
+
+scraper2 --help
+
+
+⸻
+
+CLI 구조
+
+scraper2
+ ├─ nfs
+ │   ├─ one   # 종목 1개 수집
+ │   └─ all   # 유니버스 전체 수집
+ └─ mi        # (reserved)
+
+
+⸻
+
+1️⃣ 단일 종목 수집 (one)
+
+사용법
+
+scraper2 nfs one <endpoint> <code> [options]
+
+예시
+
+# 삼성전자 c101 단건 수집 (메모리)
+scraper2 nfs one c101 005930
+
+# 여러 endpoint 동시 수집
+scraper2 nfs one all 005930
+
+# MongoDB 저장
+scraper2 nfs one c101 005930 --sink mongo
+
+# 결과 DTO 출력 비활성화
+scraper2 nfs one c101 005930 --no-show
+
+특징
+	•	항상 종목 1개만 처리
+	•	결과 DTO를 즉시 출력 (디버깅·검증용)
+	•	운영 자동화보다는 수동 테스트 / 검증용
+
+⸻
+
+2️⃣ 유니버스 전체 수집 (all)
+
+사용 전 필수
+
+# universe를 먼저 DB에 적재
+krx sync
+
+
+⸻
+
+사용법
+
+scraper2 nfs all <endpoint> [options]
+
+예시
+
+# krx300 전체 종목 c101 수집
+scraper2 nfs all c101
+
+# 모든 endpoint 수집
+scraper2 nfs all all
+
+# 특정 유니버스 지정
+scraper2 nfs all c103 --universe krx300
+
+# 처리 개수 제한 (테스트용)
+scraper2 nfs all c101 --limit 10
+
+# 진행률 배치 크기 조정
+scraper2 nfs all c101 --chunk 5
+
+실행 중 출력 예시
+
+=== NFS ALL === universe=krx300, endpoint=c101, codes=298, sink=mongo
+
+=== START: c101 === total=298, chunk_size=5
+progress: 25/298 (ok=25, fail=0)
+progress: 50/298 (ok=50, fail=0)
+...
+=== DONE: c101 === ok=297, fail=1, total=298
+
+⏱ elapsed time: 6m 42s
+
+특징
+	•	DB에 저장된 universe_latest 기준
+	•	진행률, 성공/실패 개수 실시간 출력
+	•	전체 작업 종료 시 총 소요 시간 표시
+	•	운영/스케줄러용 메인 모드
+
+⸻
+
+3️⃣ 작업 스케줄러 예시 (cron)
+
+매일 새벽 2시 전체 수집
+
+0 2 * * * /path/to/venv/bin/scraper2 nfs all all >> /var/log/scraper2_nfs.log 2>&1
+
+endpoint 분리 실행 (권장)
+
+0 2 * * * /path/to/venv/bin/scraper2 nfs all c101 >> /var/log/nfs_c101.log 2>&1
+10 2 * * * /path/to/venv/bin/scraper2 nfs all c103 >> /var/log/nfs_c103.log 2>&1
+
+테스트용 제한 실행
+
+0 1 * * * /path/to/venv/bin/scraper2 nfs all c101 --limit 20 >> /var/log/nfs_test.log 2>&1
+
+
+⸻
+
+운영 권장 사항
+	•	all 모드는 반드시 mongo sink 사용
+	•	universe는 krx sync로 관리
+	•	로그에는
+	•	진행률
+	•	ok / fail 개수
+	•	전체 소요 시간
+이 모두 남도록 설계됨
+	•	장애 발생 시 어디까지 진행됐는지 로그만 보고 판단 가능
+
+⸻
+
+요약
+
+목적	명령
+단건 검증	scraper2 nfs one c101 005930
+전체 수집	scraper2 nfs all all
+스케줄러	scraper2 nfs all <endpoint>
+
+

scraper2_hj3415-2.1.0/README.md

@@ -0,0 +1,144 @@
+# scraper2
+
+KRX 기반 국내 주식 재무(NFS) 데이터 스크래퍼 CLI 도구입니다.
+종목 단건 수집(one)과 유니버스 전체 수집(all)을 명확히 분리해 운영합니다.
+
+⸻
+
+설치
+
+pip install -e .
+
+설치 후 CLI 확인:
+
+scraper2 --help
+
+
+⸻
+
+CLI 구조
+
+scraper2
+ ├─ nfs
+ │   ├─ one   # 종목 1개 수집
+ │   └─ all   # 유니버스 전체 수집
+ └─ mi        # (reserved)
+
+
+⸻
+
+1️⃣ 단일 종목 수집 (one)
+
+사용법
+
+scraper2 nfs one <endpoint> <code> [options]
+
+예시
+
+# 삼성전자 c101 단건 수집 (메모리)
+scraper2 nfs one c101 005930
+
+# 여러 endpoint 동시 수집
+scraper2 nfs one all 005930
+
+# MongoDB 저장
+scraper2 nfs one c101 005930 --sink mongo
+
+# 결과 DTO 출력 비활성화
+scraper2 nfs one c101 005930 --no-show
+
+특징
+	•	항상 종목 1개만 처리
+	•	결과 DTO를 즉시 출력 (디버깅·검증용)
+	•	운영 자동화보다는 수동 테스트 / 검증용
+
+⸻
+
+2️⃣ 유니버스 전체 수집 (all)
+
+사용 전 필수
+
+# universe를 먼저 DB에 적재
+krx sync
+
+
+⸻
+
+사용법
+
+scraper2 nfs all <endpoint> [options]
+
+예시
+
+# krx300 전체 종목 c101 수집
+scraper2 nfs all c101
+
+# 모든 endpoint 수집
+scraper2 nfs all all
+
+# 특정 유니버스 지정
+scraper2 nfs all c103 --universe krx300
+
+# 처리 개수 제한 (테스트용)
+scraper2 nfs all c101 --limit 10
+
+# 진행률 배치 크기 조정
+scraper2 nfs all c101 --chunk 5
+
+실행 중 출력 예시
+
+=== NFS ALL === universe=krx300, endpoint=c101, codes=298, sink=mongo
+
+=== START: c101 === total=298, chunk_size=5
+progress: 25/298 (ok=25, fail=0)
+progress: 50/298 (ok=50, fail=0)
+...
+=== DONE: c101 === ok=297, fail=1, total=298
+
+⏱ elapsed time: 6m 42s
+
+특징
+	•	DB에 저장된 universe_latest 기준
+	•	진행률, 성공/실패 개수 실시간 출력
+	•	전체 작업 종료 시 총 소요 시간 표시
+	•	운영/스케줄러용 메인 모드
+
+⸻
+
+3️⃣ 작업 스케줄러 예시 (cron)
+
+매일 새벽 2시 전체 수집
+
+0 2 * * * /path/to/venv/bin/scraper2 nfs all all >> /var/log/scraper2_nfs.log 2>&1
+
+endpoint 분리 실행 (권장)
+
+0 2 * * * /path/to/venv/bin/scraper2 nfs all c101 >> /var/log/nfs_c101.log 2>&1
+10 2 * * * /path/to/venv/bin/scraper2 nfs all c103 >> /var/log/nfs_c103.log 2>&1
+
+테스트용 제한 실행
+
+0 1 * * * /path/to/venv/bin/scraper2 nfs all c101 --limit 20 >> /var/log/nfs_test.log 2>&1
+
+
+⸻
+
+운영 권장 사항
+	•	all 모드는 반드시 mongo sink 사용
+	•	universe는 krx sync로 관리
+	•	로그에는
+	•	진행률
+	•	ok / fail 개수
+	•	전체 소요 시간
+이 모두 남도록 설계됨
+	•	장애 발생 시 어디까지 진행됐는지 로그만 보고 판단 가능
+
+⸻
+
+요약
+
+목적	명령
+단건 검증	scraper2 nfs one c101 005930
+전체 수집	scraper2 nfs all all
+스케줄러	scraper2 nfs all <endpoint>
+

{scraper2_hj3415-1.0.1 → scraper2_hj3415-2.1.0}/pyproject.toml

@@ -4,8 +4,8 @@ build-backend = "flit_core.buildapi"
 
 [project]
 name = "scraper2-hj3415"                          # PyPI 이름 (하이픈 허용)
-version = "1.0.1"
-description = "Naver WiseReport C103/C104 scraper + ingestion orchestrator"
+version = "2.1.0"
+description = "Naver WiseReport scraper"
 readme = "README.md"
 requires-python = ">=3.11"
 license = { file = "LICENSE" }
@@ -18,25 +18,17 @@ classifiers = [
 ]
 
 dependencies = [
-  "logging-hj3415>=0.1",
-  "httpx>=0.28",
-  "tenacity>=9.1",
   "playwright>=1.55",
-  "pandas>=2.3",
-  "tabulate>=0.9",
-  "contracts-hj3415>=0.1",
-  "db2-hj3415>=0.1",
+  "pandas>=2.3.3",
+  "pandas-stubs>=2.3.3",
+  "lxml>=6.0.2",
+  "typer>=0.21.0",
+  "db2-hj3415",
 ]
 
-# 선택적 의존성 (pip install your-pkg[dev] 형태)
-[project.optional-dependencies]
-dev = ["pytest>=8", "pytest-cov>=7.0", "pytest-asyncio>=1.2", "ruff>=0.5", "mypy>=1.10"]
-
-
 [tool.flit.module]
-name = "scraper2_hj3415"
-path = "src/scraper2_hj3415"
-
+name = "scraper2"
+path = "src/scraper2"
 
 [project.scripts]
-scraper2 = "scraper2_hj3415.entrypoints.cli:app"
+scraper2 = "scraper2.main:app"

scraper2_hj3415-2.1.0/src/scraper2/adapters/out/playwright/browser.py

@@ -0,0 +1,103 @@
+# src/scraper2/adapters/out/playwright/session.py
+from __future__ import annotations
+from typing import Any
+from io import StringIO
+import pandas as pd
+from playwright.async_api import Page
+
+class PlaywrightBrowser:
+    def __init__(self, page: Page):
+        self.page = page
+
+    async def goto(self, url: str, timeout_ms: int = 10_000) -> None:
+        self.page.set_default_timeout(10_000)
+        await self.page.goto(url, timeout=timeout_ms)
+
+    async def title(self) -> str:
+        return await self.page.title()
+
+    async def current_url(self) -> str:
+        return self.page.url
+
+    async def wait(self, selector: str, timeout_ms: int = 10_000) -> None:
+        await self.page.wait_for_selector(selector, timeout=timeout_ms, state="attached")
+
+    async def text(self, selector: str) -> str:
+        await self.wait(selector)
+        return (await self.page.locator(selector).first.text_content()) or ""
+
+    async def texts(self, selector: str) -> list[str]:
+        await self.wait(selector)
+        loc = self.page.locator(selector)
+        items = await loc.all()
+        out: list[str] = []
+        for it in items:
+            out.append((await it.text_content()) or "")
+        return out
+
+    async def text_first_by_text(self, needle: str) -> str:
+        return (await self.page.get_by_text(needle).first.text_content()) or ""
+
+    async def inner_text(self, selector: str) -> str:
+        await self.wait(selector)
+        return await self.page.locator(selector).first.inner_text()
+
+    async def click(self, selector: str) -> None:
+        await self.wait(selector)
+        await self.page.locator(selector).click()
+
+    async def table_records(
+            self,
+            table_selector: str,
+            *,
+            header: int | list[int] = 0
+    ) -> list[dict[str, Any]]:
+        await self.wait(table_selector)
+
+        table = self.page.locator(table_selector).first
+        html = await table.evaluate("el => el.outerHTML")  # <table> 포함
+        #print(html)
+
+        try:
+            df = pd.read_html(StringIO(html), header=header)[0]
+            #print(df.head(3))
+        except Exception as e:
+            # ImportError(lxml 없음), ValueError 등 모두 여기서 잡아서 원인 노출
+            raise RuntimeError(f"pd.read_html failed: {type(e).__name__}: {e}") from e
+
+        if header == 0:
+            if "항목" in df.columns:
+                df["항목"] = df["항목"].astype(str).str.replace("펼치기", "").str.strip()
+
+            df.columns = (
+                df.columns.astype(str)
+                .str.replace("연간컨센서스보기", "", regex=False)
+                .str.replace("연간컨센서스닫기", "", regex=False)
+                .str.replace("(IFRS연결)", "", regex=False)
+                .str.replace("(IFRS별도)", "", regex=False)
+                .str.replace("(GAAP개별)", "", regex=False)
+                .str.replace("(YoY)", "", regex=False)
+                .str.replace("(QoQ)", "", regex=False)
+                .str.replace("(E)", "", regex=False)
+                .str.replace(".", "", regex=False)
+                .str.strip()
+            )
+
+        # NaN -> None 처리
+        records: list[dict[str, Any]] = df.where(pd.notnull(df), None).to_dict(orient="records")
+        return records
+
+    async def outer_html(self, selector: str) -> str:
+        loc = self.page.locator(selector).first
+        return await loc.evaluate("el => el.outerHTML")
+
+    async def all_texts(self, selector: str) -> list[str]:
+        # selector는 css도 되고, "xpath=..." 도 됨
+        loc = self.page.locator(selector)
+        return await loc.all_text_contents()
+
+    async def outer_html_nth(self, selector: str, index: int) -> str:
+        loc = self.page.locator(selector).nth(index)
+        # index가 범위를 벗어나면 playwright가 에러를 내는데,
+        # 필요하면 여기서 더 친절한 에러로 감싸도 됨.
+        return await loc.evaluate("el => el.outerHTML")

scraper2_hj3415-2.1.0/src/scraper2/adapters/out/playwright/browser_factory.py

@@ -0,0 +1,112 @@
+# scraper2/adapters/out/playwright/browser_factory.py
+from __future__ import annotations
+
+import asyncio
+from contextlib import asynccontextmanager
+from dataclasses import dataclass
+from typing import AsyncIterator
+
+from scraper2.app.ports.browser.browser_factory_port import BrowserFactoryPort
+from scraper2.app.ports.browser.browser_port import BrowserPort
+from scraper2.adapters.out.playwright.session import PlaywrightPageSession
+from scraper2.adapters.out.playwright.browser import PlaywrightBrowser
+
+
+@dataclass
+class _LeaseItem:
+    session: PlaywrightPageSession
+    browser: BrowserPort
+
+
+class PlaywrightBrowserFactory(BrowserFactoryPort):
+    """
+    풀링 방식:
+    - astart()에서 max_concurrency 만큼 세션/페이지/브라우저를 미리 생성
+    - lease()는 큐에서 하나 빌려주고 반납받음
+    - aclose()에서 모두 종료
+    """
+
+    def __init__(self, *, headless: bool, timeout_ms: int, max_concurrency: int = 2):
+        self.headless = headless
+        self.timeout_ms = timeout_ms
+        self.max_concurrency = max_concurrency
+
+        self._pool: asyncio.Queue[_LeaseItem] = asyncio.Queue(maxsize=max_concurrency)
+        self._items: list[_LeaseItem] = []  # 종료용 레퍼런스
+        self._started = False
+        self._start_lock = asyncio.Lock()
+        self._closed = False
+
+    async def astart(self) -> None:
+        """
+        풀을 미리 채움.
+        여러 번 호출돼도 1회만 초기화되도록 방어.
+        """
+        if self._started:
+            return
+
+        async with self._start_lock:
+            if self._started:
+                return
+            if self._closed:
+                raise RuntimeError("Factory is closed; cannot start again.")
+
+            for _ in range(self.max_concurrency):
+                session = PlaywrightPageSession(headless=self.headless, timeout_ms=self.timeout_ms)
+                page = await session.start()
+                browser = PlaywrightBrowser(page)
+
+                item = _LeaseItem(session=session, browser=browser)
+                self._items.append(item)
+                await self._pool.put(item)
+
+            self._started = True
+
+    @asynccontextmanager
+    async def lease(self) -> AsyncIterator[BrowserPort]:
+        """
+        브라우저 하나를 풀에서 빌려줌.
+        사용 후 반드시 풀에 반납.
+        """
+        if self._closed:
+            raise RuntimeError("Factory is closed; cannot lease.")
+        if not self._started:
+            await self.astart()
+
+        item = await self._pool.get()
+        try:
+            yield item.browser
+        finally:
+            # close 중이면 반납하지 말고 그냥 종료 플로우에 맡김
+            if not self._closed:
+                await self._pool.put(item)
+
+    async def aclose(self) -> None:
+        """
+        풀에 있는 모든 세션 종료.
+        - 실행 중인 lease가 끝나기 전에 닫으면: 남아있는 세션만 닫히고,
+          나중에 lease가 반납하려 할 때 _closed=True라 put이 안 되도록 처리.
+        """
+        if self._closed:
+            return
+        self._closed = True
+
+        # 전체 세션 종료
+        # (이미 대여 중인 애도 결국 같은 session 객체이므로 close 시도됨)
+        for item in self._items:
+            try:
+                await item.session.close()
+            except Exception:
+                # 종료 단계에서는 예외 삼키는 게 보통 안전
+                pass
+
+        self._items.clear()
+
+        # 큐 비우기 (참조 제거)
+        try:
+            while True:
+                self._pool.get_nowait()
+        except asyncio.QueueEmpty:
+            pass
+
+

scraper2_hj3415-2.1.0/src/scraper2/adapters/out/playwright/session.py

@@ -0,0 +1,121 @@
+# src/scraper2/adapters/out/playwright/session.py
+from __future__ import annotations
+
+import os
+import subprocess
+import sys
+from dataclasses import dataclass
+from typing import Optional
+
+from playwright.async_api import (
+    async_playwright,
+    Browser,
+    BrowserContext,
+    Page,
+    Error as PWError,
+)
+
+
+def _install_playwright_browsers(*names: str) -> None:
+    """python -m playwright install [names...] 를 코드에서 실행"""
+    subprocess.run([sys.executable, "-m", "playwright", "install", *names], check=True)
+
+    if sys.platform.startswith("linux"):
+        # deps는 실패해도 그냥 진행 (환경에 따라 불필요/권한 문제)
+        try:
+            subprocess.run(
+                [sys.executable, "-m", "playwright", "install-deps"], check=True
+            )
+        except Exception:
+            pass
+
+
+def _need_install(e: Exception) -> bool:
+    msg = str(e)
+    return (
+        "Executable doesn't exist" in msg
+        or "download new browsers" in msg
+        or "playwright install" in msg
+        or "Please run the following command" in msg
+    )
+
+
+@dataclass
+class PlaywrightPageSession:
+    """
+    main에서 쓰기 쉬운 세션:
+        s = PlaywrightPageSession(headless=True)
+        page = await s.start()
+        ...
+        await s.close()
+    """
+
+    headless: bool = True
+    browser_name: str = "chromium"
+    timeout_ms: int = 10_000
+    auto_install: bool = True  # env PW_SKIP_AUTO_INSTALL=1이면 자동으로 꺼짐
+
+    # runtime resources
+    pw: Optional[object] = None
+    browser: Optional[Browser] = None
+    context: Optional[BrowserContext] = None
+    page: Optional[Page] = None
+
+    async def start(self) -> Page:
+        if self.page is not None:
+            return self.page  # 이미 시작된 경우 재사용(원치 않으면 제거)
+
+        self.pw = await async_playwright().start()
+        try:
+            browser_type = getattr(self.pw, self.browser_name)
+
+            try:
+                self.browser = await browser_type.launch(headless=self.headless)
+            except PWError as e:
+                should_auto = self.auto_install and os.getenv("PW_SKIP_AUTO_INSTALL") != "1"
+                if should_auto and _need_install(e):
+                    # pw 종료 -> 설치 -> pw 재시작
+                    await self.pw.stop()
+                    _install_playwright_browsers(self.browser_name)
+                    self.pw = await async_playwright().start()
+                    browser_type = getattr(self.pw, self.browser_name)
+                    self.browser = await browser_type.launch(headless=self.headless)
+                else:
+                    raise
+
+            self.context = await self.browser.new_context()
+            self.page = await self.context.new_page()
+            self.page.set_default_timeout(self.timeout_ms)
+            return self.page
+
+        except Exception:
+            # start 중간에 터지면 자원 정리
+            await self.close()
+            raise
+
+    async def close(self) -> None:
+        # 역순 정리 (page는 context close 시 같이 정리됨)
+        if self.context is not None:
+            try:
+                await self.context.close()
+            except Exception:
+                pass
+            finally:
+                self.context = None
+                self.page = None
+
+        if self.browser is not None:
+            try:
+                await self.browser.close()
+            except Exception:
+                pass
+            finally:
+                self.browser = None
+
+        if self.pw is not None:
+            try:
+                await self.pw.stop()
+            except Exception:
+                pass
+            finally:
+                self.pw = None