scraper2-hj3415 2.4.1__py3-none-any.whl → 2.7.0__py3-none-any.whl

scraper2_hj3415/app/domain/doc.py

@@ -0,0 +1,16 @@
+# scraper2_hj3415/app/domain/doc.py
+from __future__ import annotations
+
+from dataclasses import dataclass
+from typing import Mapping
+from scraper2_hj3415.app.domain.endpoint import EndpointKind
+from scraper2_hj3415.app.domain.types import BlockKey, LabelsMap
+from scraper2_hj3415.app.domain.blocks import BlockData
+
+
+@dataclass(frozen=True)
+class NfsDoc:
+    code: str
+    endpoint_kind: EndpointKind
+    blocks: Mapping[BlockKey, BlockData]
+    labels: Mapping[BlockKey, LabelsMap]

scraper2_hj3415/app/domain/endpoint.py

@@ -0,0 +1,11 @@
+# scraper2_hj3415/app/domain/endpoint.py
+from __future__ import annotations
+
+from enum import StrEnum
+
+class EndpointKind(StrEnum):
+    C101 = "c101"
+    C103 = "c103"
+    C104 = "c104"
+    C106 = "c106"
+    C108 = "c108"

scraper2_hj3415/app/domain/series.py

@@ -0,0 +1,11 @@
+# scraper2_hj3415/app/domain/series.py
+from __future__ import annotations
+
+from dataclasses import dataclass
+from typing import Mapping
+from scraper2_hj3415.app.domain.types import MetricKey, Period, Num
+
+@dataclass(frozen=True)
+class MetricSeries:
+    key: MetricKey
+    values: Mapping[Period, Num]

scraper2_hj3415/app/domain/types.py

@@ -0,0 +1,19 @@
+# scraper2_hj3415/app/domain/types.py
+from __future__ import annotations
+
+from typing import Mapping, Any, Sequence, TypeAlias, Literal
+
+BlockKey = str
+MetricKey = str
+Period = str
+Num = float | int | None
+
+Record: TypeAlias = Mapping[str, Any]
+Records: TypeAlias = Sequence[Record]
+RawLabel = str
+LabelsMap = dict[MetricKey, RawLabel]
+
+Sink = Literal["memory", "mongo"]
+
+
+

scraper2_hj3415/app/parsing/_normalize/label.py

@@ -0,0 +1,92 @@
+# scraper2_hj3415/app/parsing/_normalize/label.py
+from __future__ import annotations
+
+import re
+from typing import Any
+
+from common_hj3415.utils import clean_text
+from scraper2_hj3415.app.parsing._normalize.text import normalize_text
+
+# -----------------------------
+# 일반적인 라벨 정규화
+# -----------------------------
+
+UI_LABEL_NOISE = (
+    "펼치기",
+    "접기",
+    "더보기",
+)
+
+
+def sanitize_label(x: Any) -> str:
+    """
+    raw label(항목_raw 포함)에서:
+      - '펼치기' 같은 UI 텍스트 제거
+      - 과도한 공백 정리
+      - 양끝 공백 제거
+    """
+    s = normalize_text(x)
+
+    # UI 노이즈 단어 제거
+    for w in UI_LABEL_NOISE:
+        s = s.replace(w, " ")
+
+    return clean_text(s)
+
+
+# -----------------------------
+# metric 라벨 정규화
+# -----------------------------
+_BRACKET_PATTERN = re.compile(r"\[[^\]]*\]")  # [구K-IFRS] 등
+_EXTRA_WORDS_PATTERN = re.compile(r"(펼치기|연간컨센서스보기|연간컨센서스닫기)")
+_ALL_PAREN_PATTERN = re.compile(r"\([^)]*\)")  # ★ 모든 괄호 제거
+
+
+def normalize_label_base(text: str | None) -> str:
+    s = sanitize_label(text)
+    s = _EXTRA_WORDS_PATTERN.sub("", s)
+    s = _BRACKET_PATTERN.sub("", s)
+    s = _ALL_PAREN_PATTERN.sub("", s)
+    s = s.replace("*", "")
+    return clean_text(s)
+
+
+def normalize_metric_label(text: str | None) -> str:
+    # "보유 지분 (%)" → "보유 지분"   (공백 유지)
+    return normalize_label_base(text)
+
+
+def normalize_key_label(text: str | None) -> str:
+    # "보유 지분 (%)" → "보유지분"
+    s = normalize_label_base(text)
+    return s.replace(" ", "").replace("\xa0", "").replace("%", "").strip()
+
+
+# -----------------------------
+# 컬럼명 정규화
+# -----------------------------
+_COL_PAREN_PATTERN = re.compile(r"\((IFRS[^)]*|E|YoY|QoQ)[^)]*\)")
+_COL_EXTRA_WORDS = re.compile(r"(연간컨센서스보기|연간컨센서스닫기)")
+_COL_DOTNUM = re.compile(r"\.\d+$")  # pandas 중복 컬럼 suffix 제거용 (.1, .2 ...)
+
+
+def normalize_col_label(col: str | None) -> str:
+    """
+    컬럼명 정규화
+    예)
+      "2024/12 (IFRS연결)  연간컨센서스보기" -> "2024/12"
+      "2025/12(E) (IFRS연결)  연간컨센서스닫기" -> "2025/12"
+      "전년대비 (YoY)" -> "전년대비"
+      "전년대비 (YoY).1" -> "전년대비"  (중복은 후처리에서 _2/_3로 자동 분리)
+    """
+    s = normalize_text(col)
+    # 1) pandas가 붙인 .1 같은 suffix 제거 (정규화 충돌은 후단에서 처리)
+    s = _COL_DOTNUM.sub("", s)
+
+    # 2) 컨센서스 문구 제거
+    s = _COL_EXTRA_WORDS.sub("", s)
+
+    # 3) 괄호 주석 제거: (IFRS...), (E), (YoY), (QoQ)
+    s = _COL_PAREN_PATTERN.sub("", s)
+
+    return clean_text(s)

scraper2_hj3415/app/parsing/_normalize/table.py

@@ -0,0 +1,53 @@
+# scraper2_hj3415/app/parsing/_normalize/table.py
+from __future__ import annotations
+
+from collections import Counter
+
+import numpy as np
+import pandas as pd
+from .label import normalize_col_label, normalize_metric_label
+
+
+def _dedupe_columns(cols: list[str]) -> list[str]:
+    """
+    정규화 후 중복 컬럼명이 생기면 자동으로 _2, _3 ... 붙여서 유니크하게 만든다.
+    예) ["전년대비", "전년대비"] -> ["전년대비", "전년대비_2"]
+    """
+    seen: Counter[str] = Counter()
+    out: list[str] = []
+    for c in cols:
+        c = c or ""
+        seen[c] += 1
+        if seen[c] == 1:
+            out.append(c)
+        else:
+            out.append(f"{c}_{seen[c]}")
+    return out
+
+
+# -----------------------------
+# 3) DataFrame 전체 정규화 + records 변환
+# -----------------------------
+def normalize_metrics_df(df: pd.DataFrame) -> pd.DataFrame:
+    """
+    - 컬럼명 전체 정규화
+    - '항목' 값 정규화
+    - NaN -> None
+    - 중복 컬럼명 자동 분리(_2/_3)
+    """
+    if df is None or df.empty:
+        return df
+
+    df = df.copy()
+
+    # 컬럼명 정규화 + 중복 방지
+    norm_cols = [normalize_col_label(c) for c in df.columns.astype(str).tolist()]
+    df.columns = _dedupe_columns(norm_cols)
+
+    # 항목 값 정규화
+    if "항목" in df.columns:
+        df["항목"] = df["항목"].map(normalize_metric_label)
+
+    # NaN -> None
+    df = df.replace({np.nan: None})
+    return df

scraper2_hj3415/app/parsing/_normalize/text.py

@@ -0,0 +1,31 @@
+# scraper2_hj3415/app/parsing/_normalize/text.py
+from __future__ import annotations
+
+from typing import Any
+
+from common_hj3415.utils import clean_text
+
+
+def normalize_text(x: object | None) -> str:
+    """
+    임의의 값을 문자열로 정규화한다.
+    - None → ""
+    - 문자열 표현 규칙(clean_text) 적용
+    """
+    s = "" if x is None else str(x)
+    return clean_text(s)
+
+
+_NUM_EMPTY = {"", "-", "N/A", "NA", "null", "None"}
+
+
+def display_text(x: Any) -> str:
+    """
+    출력용 문자열로 정규화한다.
+    - '-', 'N/A' 등 의미 없는 값은 제거
+    """
+    s = normalize_text(x)
+    if not s or s in _NUM_EMPTY:
+        return ""
+    return s
+

scraper2_hj3415/app/parsing/_normalize/values.py

@@ -0,0 +1,70 @@
+# scraper2_hj3415/app/parsing/_normalize/values.py
+from __future__ import annotations
+import re
+from typing import Any
+from scraper2_hj3415.app.parsing._normalize.text import normalize_text
+
+
+def parse_numeric(
+    x: Any,
+    *,
+    strip_units: bool = False,
+    keep_text: bool = False,
+) -> int | float | str | None:
+    """
+    문자열을 숫자로 파싱 시도한다.
+
+    - strip_units=True:
+        '원', '%', '억' 등 단위를 제거한 뒤 숫자 파싱
+    - strip_units=False:
+        순수 숫자만 파싱
+    """
+    s = normalize_text(x)
+    if not s:
+        return None
+
+    t = s.replace(",", "")
+    if strip_units:
+        t = (
+            t.replace("원", "")
+             .replace("억원", "")
+             .replace("억", "")
+             .replace("%", "")
+             .strip()
+        )
+
+    # 정수
+    if re.fullmatch(r"-?\d+", t):
+        return int(t)
+
+    # 실수
+    if re.fullmatch(r"-?\d+(\.\d+)?", t):
+        return float(t)
+
+    return s if keep_text else None
+
+
+def to_number(x: Any) -> int | float | None:
+    """숫자만 허용 (실패 시 None)"""
+    return parse_numeric(x, strip_units=True, keep_text=False)
+
+def to_number_or_text(x: Any) -> float | str | None:
+    """숫자면 숫자, 아니면 텍스트"""
+    return parse_numeric(x, strip_units=True, keep_text=True)
+
+def to_num_or_text(x: Any) -> int | float | str | None:
+    """범용 셀 정규화"""
+    return parse_numeric(x, strip_units=False, keep_text=True)
+
+def to_int(x: Any) -> int | None:
+    v = parse_numeric(x, strip_units=True, keep_text=False)
+    if isinstance(v, (int, float)):
+        return int(v)
+    return None
+
+def to_float(x: Any) -> float | None:
+    v = parse_numeric(x, strip_units=True, keep_text=False)
+    if isinstance(v, (int, float)):
+        return float(v)
+    return None
+

scraper2_hj3415/app/parsing/_tables/html_table.py

@@ -0,0 +1,89 @@
+from typing import Any, Sequence
+
+from io import StringIO
+import pandas as pd
+
+from logging_hj3415 import logger
+from scraper2_hj3415.app.parsing._normalize.table import normalize_metrics_df
+from scraper2_hj3415.app.parsing._normalize.label import sanitize_label
+from common_hj3415.utils import clean_text
+
+
+def _flatten_col(col: Any) -> str:
+    """
+    pandas MultiIndex 컬럼(tuple)을 사람이 쓰기 좋은 단일 key로 변환한다.
+    - ('재무년월','재무년월') 같은 중복은 하나로 축약
+    - 단위 문자열 제거
+    - '주재 무제표' 같은 깨진 라벨 보정
+    """
+    if isinstance(col, tuple):
+        parts = [clean_text(p) for p in col if clean_text(p)]
+        if not parts:
+            s = ""
+        elif len(parts) == 2 and parts[0] == parts[1]:
+            s = parts[0]
+        else:
+            s = "_".join(parts)
+    else:
+        s = clean_text(col)
+
+    s = (
+        s.replace("(억원, %)", "")
+        .replace("(원)", "")
+        .replace("(배)", "")
+        .replace("(%)", "")
+        .strip()
+    )
+    s = s.replace("주재 무제표", "주재무제표")
+    return clean_text(s)
+
+
+def try_html_table_to_df(
+    html: str, *, flatten_cols: bool = False, header: int | Sequence[int] = 0
+) -> pd.DataFrame | None:
+    try:
+        dfs = pd.read_html(StringIO(html), header=header)
+    except Exception as e:
+        logger.exception("pd.read_html failed: {}", e)
+        return None
+    if not dfs:
+        return None
+    df = dfs[0]
+    if df is None or df.empty:
+        return None
+
+    if flatten_cols:
+        df = df.copy()
+        df.columns = [_flatten_col(c) for c in df.columns]
+    return df
+
+
+def df_to_c1034_metric_list(df: pd.DataFrame) -> list[dict[str, Any]]:
+    """
+    C103 테이블 DataFrame -> 정규화된 records(list[dict])
+    - 항목이 비면 제거
+    - 항목_raw(정규화 전 원래 라벨) 보존
+    """
+    if df is None or df.empty:
+        return []
+
+    df = df.copy()
+
+    # 정규화 전에 원래 항목 라벨 보존(공백, 펼치기, 닫기등 제외)
+    if "항목" in df.columns:
+        df["항목_raw"] = (
+            df["항목"]
+            .where(df["항목"].notna(), None)
+            .map(lambda x: sanitize_label(x) if x is not None else None)
+        )
+
+    df = normalize_metrics_df(df)
+
+    records: list[dict[str, Any]] = []
+    for r in df.to_dict(orient="records"):
+        item = r.get("항목")
+        if not item:
+            continue
+        records.append(r)
+    return records
+

scraper2_hj3415/app/parsing/c101/_sise_normalizer.py

@@ -0,0 +1,103 @@
+# scraper2/app/parsing/_sise_normalize.py
+from __future__ import annotations
+
+import re
+from typing import Mapping
+
+# 공통 구분자: 값/키 둘 다 여기로 쪼갬
+_DEFAULT_SEP = "/"
+
+_UNIT_REPLACEMENTS = {
+    "Weeks": "주",
+    "Week": "주",
+    # 필요해지면 여기에 추가
+    # "Days": "일",
+    # "Months": "개월",
+}
+
+
+def _clean_token(s: str) -> str:
+    # 괄호/공백 제거 + 중복 공백 정리
+    s = s.strip()
+    s = s.replace("(", " ").replace(")", " ")
+    s = re.sub(r"\s+", " ", s).strip()
+    return s
+
+
+def _compact_key(s: str) -> str:
+    s = _clean_token(s)
+    s = _replace_units(s)      # ✅ 여기서 Weeks → 주
+    return s.replace(" ", "")
+
+def _split_slash(s: str) -> list[str]:
+    return [p.strip() for p in s.split(_DEFAULT_SEP)]
+
+def _replace_units(s: str) -> str:
+    for src, dst in _UNIT_REPLACEMENTS.items():
+        s = s.replace(src, dst)
+    return s
+
+
+def _maybe_expand_pair_key_value(key: str, value: str) -> dict[str, str] | None:
+    ks = _split_slash(key)
+    vs = _split_slash(value)
+    if len(ks) <= 1 or len(ks) != len(vs):
+        return None
+
+    out: dict[str, str] = {}
+
+    # 1) 특수 케이스: "수익률 (1M/3M/6M/1Y)"
+    first = _clean_token(ks[0])
+    m = re.match(r"^(?P<prefix>.+?)\s+(?P<token>[0-9A-Za-z]+)$", first)
+    if m:
+        prefix = m.group("prefix").strip()
+        token0 = m.group("token").strip()
+        tokens = [token0] + [_clean_token(x) for x in ks[1:]]
+        for tok, v in zip(tokens, vs):
+            out[_compact_key(f"{prefix}{tok}")] = v
+        return out
+
+    # 2) 일반 케이스 + "prefix 전파" (52Weeks 최고/최저 같은 패턴)
+    # 첫 토큰이 "52Weeks 최고"처럼 "prefix + label"이면,
+    # 이후 토큰이 "최저"처럼 prefix가 생략된 경우 prefix를 붙여준다.
+    first_tok = _clean_token(ks[0])
+    m2 = re.match(r"^(?P<prefix>[0-9A-Za-z]+)\s+(?P<label>.+)$", first_tok)
+    if m2:
+        prefix = m2.group("prefix").strip()
+        label0 = m2.group("label").strip()
+        labels = [label0] + [_clean_token(x) for x in ks[1:]]
+        for lab, v in zip(labels, vs):
+            out[_compact_key(f"{prefix}{lab}")] = v
+        return out
+
+    # 3) 완전 일반: 그대로 매칭
+    for k, v in zip(ks, vs):
+        out[_compact_key(k)] = v
+    return out
+
+
+def normalize_sise_kv_map(src: Mapping[str, str]) -> dict[str, str]:
+    """
+    c101 시세 블록(dict[str,str])을 "정규화된 키 dict"로 변환.
+
+    정규화 규칙:
+    - key/value에 "/"가 있고 길이가 맞으면 분해해 여러 항목으로 확장
+      예) "거래량/거래대금" -> "거래량", "거래대금"
+      예) "52Weeks 최고/최저" -> "52Weeks최고", "52Weeks최저"
+      예) "수익률 (1M/3M/6M/1Y)" -> "수익률1M", "수익률3M", ...
+    - 나머지는 key의 공백 제거 정도만 적용해서 유지
+    """
+    out: dict[str, str] = {}
+
+    for k, v in src.items():
+        k = k.strip()
+        v = v.strip()
+
+        expanded = _maybe_expand_pair_key_value(k, v)
+        if expanded:
+            out.update(expanded)
+            continue
+
+        out[_compact_key(k)] = v
+
+    return out

scraper2_hj3415/app/parsing/c101/company_overview.py

@@ -0,0 +1,47 @@
+# scraper2_hj3415/app/parsing/c101/company_overview.py
+from __future__ import annotations
+
+import re
+from typing import Any
+from scraper2_hj3415.app.ports.browser.browser_port import BrowserPort
+from common_hj3415.utils import clean_text
+
+# 정규표현식
+_DATE_RE = re.compile(r"(\d{4}\.\d{2}\.\d{2})")  # YYYY.MM.DD
+
+async def parse_c101_company_overview(browser: BrowserPort) -> dict[str, Any]:
+    """
+    '기업개요' 섹션에서
+    - 기준일자([기준:YYYY.MM.DD])
+    - 개요 문장들(li.dot_cmp)
+    을 추출한다.
+    """
+    out: dict[str, Any] = {}
+
+    기준_sel = "div.header-table p"
+    개요_ul_sel = "div.cmp_comment ul.dot_cmp"
+    개요_li_sel = "div.cmp_comment ul.dot_cmp > li.dot_cmp"
+
+    # 1) 기준일자
+    await browser.wait_attached(기준_sel)
+    raw = clean_text(await browser.text_content_first(기준_sel))
+
+    m = _DATE_RE.search(raw)
+    out["기준일자"] = m.group(1) if m else raw
+
+    # 2) 개요 문장들
+    await browser.wait_attached(개요_ul_sel)
+    li_texts = await browser.all_texts(개요_li_sel)
+
+    lines: list[str] = []
+    for t in li_texts:
+        ct = clean_text(t)
+        if ct:
+            lines.append(ct)
+
+    # out["개요_리스트"] = lines # 일단 필요 없음
+    out["개요"] = "".join(
+        lines
+    )  # 정책: 저장용이면 join("") 유지, 표시용이면 "\n".join 고려
+
+    return out