scmgen 0.10.0__tar.gz

scmgen-0.10.0/PKG-INFO

@@ -0,0 +1,155 @@
+Metadata-Version: 2.4
+Name: scmgen
+Version: 0.10.0
+Summary: SCM-генератор синтетических данных для uplift/ITE/CATE-бенчмарков: явный DAG, полный ground truth, оси патологий данных
+Author-email: DK <dk.promsoft@gmail.com>
+Project-URL: Homepage, https://github.com/Causal-Fin-AI/scmgen
+Requires-Python: >=3.12
+Description-Content-Type: text/markdown
+Requires-Dist: numpy>=2
+Requires-Dist: pandas>=2
+Requires-Dist: pyyaml>=6
+Provides-Extra: io
+Requires-Dist: pyarrow>=15; extra == "io"
+Provides-Extra: dev
+Requires-Dist: pytest>=8; extra == "dev"
+Requires-Dist: pyarrow>=15; extra == "dev"
+
+# scmgen — SCM-генератор синтетических данных для uplift/ITE-бенчмарков
+
+Генератор порождает:
+
+* **SCM с явным DAG над переменными** (ковариаты X, воздействие T, отклик Y) — структура графа и роли узлов
+  являются параметрами экспериментального дизайна;
+* выборку из него любого размера, вложенную по n;
+* **полный ground truth** — потенциальные исходы, ITE / CATE / ATE и их дисперсии, граф, разметку сегментов и
+  применённых патологий данных.
+
+Режимы назначения воздействия: **rct** (e(x) = const, дефолт) и **obs** (e(x) зависит от конфаундеров).
+Семейства исхода: gaussian (с природным масштабом «размера клиента»), binary, zero-inflated lognormal, beta
+(доля с массами в 0 и 1). Модель отделена от выборки: `sample_scm(config, model_seed)` строит объект `SCM`
+(граф, коэффициенты, константы калибровки), `scm.sample(n, sample_seed)` — выборку любого n из той же задачи,
+`generate(config, n, seed)` — обёртка с одним seed. Воздействие бинарное.
+
+Публичная копия репозитория — https://github.com/Causal-Fin-AI/scmgen. Документация — папка `docs/`
+(`docs/README.md` — оглавление): порождающая модель, контракт полей истины, формат датасета,
+воспроизводимость и эталоны, параметры конфига, реестр патологий, библиотека сценариев; история версий —
+`CHANGELOG.md`.
+
+## Установка
+
+Python ≥ 3.12. Зависимости ядра — `numpy`, `pandas`, `pyyaml`; parquet-сериализация требует `pyarrow`
+(extra `io`).
+
+```bash
+pip install scmgen
+# с поддержкой parquet
+pip install "scmgen[io]"
+# для разработки
+git clone https://github.com/Causal-Fin-AI/scmgen.git && cd scmgen
+pip install -e ".[dev]" && OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 pytest
+```
+
+## Быстрый старт
+
+```python
+from scmgen import scenarios, generate, generate_pair, generate_split, save_dataset, load_dataset, replay
+
+scenarios.list_scenarios()                  # 70 сценариев библиотеки (docs/scenarios.md)
+cfg = scenarios.load("rct-noise-y-seg")     # ScenarioConfig; можно править поля
+ds = generate(cfg, n=100_000, seed=0)       # Dataset (model_seed = sample_seed = pathology_seed = 0)
+
+ds.x, ds.t, ds.y                            # наблюдаемые данные (X — DataFrame)
+ds.y0, ds.y1, ds.ite, ds.tau, ds.e          # ground truth per row: потенциальные исходы, ite = y1 - y0,
+ds.tau_cate, ds.cvte, ds.vte_w, ds.segments # oracle tau на латентах; CATE по W: E[tau|W], Var[tau|W], Var[ite|W]; сегменты
+ds.graph.adjacency, ds.graph.roles          # DAG (T -> Y всегда; в RCT без X -> T) и роли узлов
+ds.dag()                                    # post-intervention DAG по аргументам осей (z, compliance, u_tau_i, x3_obs, ...)
+ds.pathology_log                            # что и куда применено: номер P-n, фаза, active, affected_columns
+ds.ground_truth()["targets"], ds.design()   # контракт полей истины (conditioning, population); дизайн, cate_dgp
+ds.recipe()                                 # рецепт: модель + выборка + применённые оси (replay воспроизводит бит в бит)
+
+clean, broken = generate_pair(cfg, n=100_000, seed=0)   # парные выборки: с патологиями и без
+clean, dirty, test = generate_split(cfg, n_train=100_000, n_test=20_000, seed=0)   # + чистый test той же SCM (test_dgp="none")
+clean, dirty, test = generate_split(cfg, 100_000, 20_000, 0, test_dgp="replay")    # test с теми же DGP-осями (drift: period ≡ 1)
+save_dataset(ds, "out/rct-noise-y-seg-0")               # out/CURRENT + out/v-<utc>-<rand>/{manifest,observed,ground_truth,meta,scm}
+observed, gt, meta = load_dataset("out/rct-noise-y-seg-0", verify="rows")   # "hashes" — ещё и SHA-256 файлов
+ds2 = replay("out/rct-noise-y-seg-0")                    # тот же датасет по рецепту (в reference environment — бит в бит)
+```
+
+Модель отдельно от выборки — learning curves по n на одной задаче и общие случайные числа:
+
+```python
+from scmgen import sample_scm, apply_pathologies, load_scm
+
+scm = sample_scm(cfg, model_seed=0)         # граф, коэффициенты, константы калибровки (n_calib = 200 000)
+small = scm.sample(1_000, sample_seed=7)    # чистые выборки одной SCM: small — первые 1000 строк big
+big = scm.sample(50_000, sample_seed=7)     # (бит в бит по X, T, Y и всем полям истины)
+dirty = apply_pathologies(big, pathology_seed=3)
+scm.tau(x), scm.mu0(x), scm.e_assign(x)     # уравнения на произвольных X
+scm2 = load_scm("out/rct-noise-y-seg-0")    # scm.json -> та же модель; .sample + apply_pathologies = датасет бит в бит
+```
+
+Свой сценарий — через конфиг в коде или YAML:
+
+```python
+from scmgen import ScenarioConfig, GraphConfig, MediatorConfig, PathologyConfig
+cfg = ScenarioConfig(
+    name="my-obs",
+    graph=GraphConfig(n_confounders=5, n_modifiers=3, n_predictors=5, n_noise=5,
+                      xx_density=0.1, xx_structure="scale_free", sf_gamma=2.2),
+    pathologies=[PathologyConfig(kind="noise_y", strength=0.8, target="segments", segment_share=0.25)],
+)
+cfg.treatment.mode = "obs"
+cfg.to_yaml("my-obs.yaml"); cfg = ScenarioConfig.from_yaml("my-obs.yaml")
+# медиация как у заказчика: без прямого T -> Y, бинарный медиатор с неоднородными стадиями
+med = ScenarioConfig(name="my-mediation", graph=GraphConfig(n_predictors=4, n_med_confounders=2, n_upstream=3, n_side=1,
+                                                            n_mediators=1, direct_effect=False, xx_density=0.5),
+                     mediator=MediatorConfig(family="binary", base_rate=0.08, effect=0.55, effect_amplitude=0.4,
+                                             theta=1.2, theta_amplitude=0.4))
+med.tau.amplitude = 0.0
+```
+
+## Что умеет генератор
+
+- **Граф** (`docs/model.md` §1): роли узлов — конфаундеры, модификаторы, предикторы, шум, медиаторы,
+  инструменты, коллайдеры, конфаундеры и предикторы медиатора, узлы `upstream` / `side` без прямых рёбер к
+  T / M / Y; прямое ребро T → Y опционально; структуры X–X `er` | `scale_free` | `blocks` | `layered` |
+  `copying` и их композиции; дискретные признаки (бинарные и категориальные, one-hot по запросу); ручной
+  X–X-блок и ручные роли по позициям (любой граф ролевой модели задаётся точно); граф отражает исполняемые
+  уравнения, post-intervention DAG по применённым осям; контракт графа для внешних читателей (G-6).
+- **Объект SCM** (`docs/model.md` §2): истина не зависит от n — константы калибровки на 200 000 строк; три
+  потока seed (модель, выборка, патологии); вложенные выборки бит в бит; неизменяемый SCM; арифметика без
+  BLAS; test-популяция той же SCM с двумя задачами оценки (`test_dgp = none | replay`).
+- **Механизмы и исходы** (`docs/model.md` §3): линейные и нелинейные уравнения, CATE отдельно от μ₀
+  (амплитуда, sparsity, форма, сдвиг), SNR вплоть до «крошечного эффекта», четыре семейства исхода, связь
+  потенциальных исходов `shared | independent`, природный масштаб исхода для денежных откликов, медиаторы
+  гауссовы или бинарные («продажа»: неоднородные эффекты T → M и M → Y, §3.6).
+- **Оси патологий** (`docs/model.md` §4, `docs/pathology-catalog.md`): 19 осей в трёх фазах (DGP → отбор →
+  измерение), сила 0..1, локализация глобально или по сегментам, свой поток rng у каждой оси, `strength = 0`
+  — no-op; ground truth остаётся чистым, DGP-оси пересчитывают его на том же шуме.
+- **Истина** (`docs/truth-contract.md`): `tau_cate`, `cvte`, `vte_w`, поля non-compliance и отбора
+  (`tau_itt*`, `*_selected`), поля бинарных медиаторов (`p_m0`, `p_m1`, `tau_m`, `theta`), блок `targets` с условными наборами и способом интегрирования каждого поля,
+  таблица осей, меняющих функцию CATE(W).
+- **Выход** (`docs/dataset-format.md`): версионная атомарная публикация (`CURRENT` + версии), manifest с
+  хешами файлов и отпечатком окружения, `meta.json` с конфигом, `targets`, `design`, `recipe`,
+  `pathology_log`; `scm.json` — model artifact; `replay` по рецепту.
+- **Воспроизводимость** (`docs/reproducibility.md`): битовая в reference environment (включая
+  reference-equivalent режим для AVX512), численная (rtol 1e-9) в любом окружении; два уровня эталона по всей
+  библиотеке; инструменты локализации расхождений между машинами.
+- **Библиотека** (`docs/scenarios.md`): 70 именованных сценариев — база и патологии, расширенный пакет,
+  структуры графа, дискретные признаки, контрольные аналитические, кластеры и дубли, beta и связь исходов,
+  денежный исход с выбросами, медиация как у заказчика (в том числе граф примера заказчика целиком).
+
+## Проверки
+
+957 тестов (`pytest`, около 13 минут в reference environment: каждый уникальный конфиг калибрует SCM на
+200 000 строк) и два уровня эталона (`tests/golden/`, `scripts/scmgen_golden.py`) — подробно в
+`docs/reproducibility.md`. Изменение поведения генератора = новая версия + новый эталон + запись в
+`CHANGELOG.md`.
+
+## Происхождение
+
+Пакет разработан в рамках НИР «Оценка индивидуальных эффектов на финансовых данных» (2026) как синтетический
+слой бенчмарка ITE/uplift-методов и выделен из внутреннего репозитория НИР `uplift_methods` (см.
+`CHANGELOG.md`). Обзоры литературы и результаты бенчмарка остаются в исходном репозитории; каталог патологий
+с источниками — `docs/pathology-catalog.md`.

scmgen-0.10.0/README.md

@@ -0,0 +1,138 @@
+# scmgen — SCM-генератор синтетических данных для uplift/ITE-бенчмарков
+
+Генератор порождает:
+
+* **SCM с явным DAG над переменными** (ковариаты X, воздействие T, отклик Y) — структура графа и роли узлов
+  являются параметрами экспериментального дизайна;
+* выборку из него любого размера, вложенную по n;
+* **полный ground truth** — потенциальные исходы, ITE / CATE / ATE и их дисперсии, граф, разметку сегментов и
+  применённых патологий данных.
+
+Режимы назначения воздействия: **rct** (e(x) = const, дефолт) и **obs** (e(x) зависит от конфаундеров).
+Семейства исхода: gaussian (с природным масштабом «размера клиента»), binary, zero-inflated lognormal, beta
+(доля с массами в 0 и 1). Модель отделена от выборки: `sample_scm(config, model_seed)` строит объект `SCM`
+(граф, коэффициенты, константы калибровки), `scm.sample(n, sample_seed)` — выборку любого n из той же задачи,
+`generate(config, n, seed)` — обёртка с одним seed. Воздействие бинарное.
+
+Публичная копия репозитория — https://github.com/Causal-Fin-AI/scmgen. Документация — папка `docs/`
+(`docs/README.md` — оглавление): порождающая модель, контракт полей истины, формат датасета,
+воспроизводимость и эталоны, параметры конфига, реестр патологий, библиотека сценариев; история версий —
+`CHANGELOG.md`.
+
+## Установка
+
+Python ≥ 3.12. Зависимости ядра — `numpy`, `pandas`, `pyyaml`; parquet-сериализация требует `pyarrow`
+(extra `io`).
+
+```bash
+pip install scmgen
+# с поддержкой parquet
+pip install "scmgen[io]"
+# для разработки
+git clone https://github.com/Causal-Fin-AI/scmgen.git && cd scmgen
+pip install -e ".[dev]" && OPENBLAS_NUM_THREADS=1 OMP_NUM_THREADS=1 pytest
+```
+
+## Быстрый старт
+
+```python
+from scmgen import scenarios, generate, generate_pair, generate_split, save_dataset, load_dataset, replay
+
+scenarios.list_scenarios()                  # 70 сценариев библиотеки (docs/scenarios.md)
+cfg = scenarios.load("rct-noise-y-seg")     # ScenarioConfig; можно править поля
+ds = generate(cfg, n=100_000, seed=0)       # Dataset (model_seed = sample_seed = pathology_seed = 0)
+
+ds.x, ds.t, ds.y                            # наблюдаемые данные (X — DataFrame)
+ds.y0, ds.y1, ds.ite, ds.tau, ds.e          # ground truth per row: потенциальные исходы, ite = y1 - y0,
+ds.tau_cate, ds.cvte, ds.vte_w, ds.segments # oracle tau на латентах; CATE по W: E[tau|W], Var[tau|W], Var[ite|W]; сегменты
+ds.graph.adjacency, ds.graph.roles          # DAG (T -> Y всегда; в RCT без X -> T) и роли узлов
+ds.dag()                                    # post-intervention DAG по аргументам осей (z, compliance, u_tau_i, x3_obs, ...)
+ds.pathology_log                            # что и куда применено: номер P-n, фаза, active, affected_columns
+ds.ground_truth()["targets"], ds.design()   # контракт полей истины (conditioning, population); дизайн, cate_dgp
+ds.recipe()                                 # рецепт: модель + выборка + применённые оси (replay воспроизводит бит в бит)
+
+clean, broken = generate_pair(cfg, n=100_000, seed=0)   # парные выборки: с патологиями и без
+clean, dirty, test = generate_split(cfg, n_train=100_000, n_test=20_000, seed=0)   # + чистый test той же SCM (test_dgp="none")
+clean, dirty, test = generate_split(cfg, 100_000, 20_000, 0, test_dgp="replay")    # test с теми же DGP-осями (drift: period ≡ 1)
+save_dataset(ds, "out/rct-noise-y-seg-0")               # out/CURRENT + out/v-<utc>-<rand>/{manifest,observed,ground_truth,meta,scm}
+observed, gt, meta = load_dataset("out/rct-noise-y-seg-0", verify="rows")   # "hashes" — ещё и SHA-256 файлов
+ds2 = replay("out/rct-noise-y-seg-0")                    # тот же датасет по рецепту (в reference environment — бит в бит)
+```
+
+Модель отдельно от выборки — learning curves по n на одной задаче и общие случайные числа:
+
+```python
+from scmgen import sample_scm, apply_pathologies, load_scm
+
+scm = sample_scm(cfg, model_seed=0)         # граф, коэффициенты, константы калибровки (n_calib = 200 000)
+small = scm.sample(1_000, sample_seed=7)    # чистые выборки одной SCM: small — первые 1000 строк big
+big = scm.sample(50_000, sample_seed=7)     # (бит в бит по X, T, Y и всем полям истины)
+dirty = apply_pathologies(big, pathology_seed=3)
+scm.tau(x), scm.mu0(x), scm.e_assign(x)     # уравнения на произвольных X
+scm2 = load_scm("out/rct-noise-y-seg-0")    # scm.json -> та же модель; .sample + apply_pathologies = датасет бит в бит
+```
+
+Свой сценарий — через конфиг в коде или YAML:
+
+```python
+from scmgen import ScenarioConfig, GraphConfig, MediatorConfig, PathologyConfig
+cfg = ScenarioConfig(
+    name="my-obs",
+    graph=GraphConfig(n_confounders=5, n_modifiers=3, n_predictors=5, n_noise=5,
+                      xx_density=0.1, xx_structure="scale_free", sf_gamma=2.2),
+    pathologies=[PathologyConfig(kind="noise_y", strength=0.8, target="segments", segment_share=0.25)],
+)
+cfg.treatment.mode = "obs"
+cfg.to_yaml("my-obs.yaml"); cfg = ScenarioConfig.from_yaml("my-obs.yaml")
+# медиация как у заказчика: без прямого T -> Y, бинарный медиатор с неоднородными стадиями
+med = ScenarioConfig(name="my-mediation", graph=GraphConfig(n_predictors=4, n_med_confounders=2, n_upstream=3, n_side=1,
+                                                            n_mediators=1, direct_effect=False, xx_density=0.5),
+                     mediator=MediatorConfig(family="binary", base_rate=0.08, effect=0.55, effect_amplitude=0.4,
+                                             theta=1.2, theta_amplitude=0.4))
+med.tau.amplitude = 0.0
+```
+
+## Что умеет генератор
+
+- **Граф** (`docs/model.md` §1): роли узлов — конфаундеры, модификаторы, предикторы, шум, медиаторы,
+  инструменты, коллайдеры, конфаундеры и предикторы медиатора, узлы `upstream` / `side` без прямых рёбер к
+  T / M / Y; прямое ребро T → Y опционально; структуры X–X `er` | `scale_free` | `blocks` | `layered` |
+  `copying` и их композиции; дискретные признаки (бинарные и категориальные, one-hot по запросу); ручной
+  X–X-блок и ручные роли по позициям (любой граф ролевой модели задаётся точно); граф отражает исполняемые
+  уравнения, post-intervention DAG по применённым осям; контракт графа для внешних читателей (G-6).
+- **Объект SCM** (`docs/model.md` §2): истина не зависит от n — константы калибровки на 200 000 строк; три
+  потока seed (модель, выборка, патологии); вложенные выборки бит в бит; неизменяемый SCM; арифметика без
+  BLAS; test-популяция той же SCM с двумя задачами оценки (`test_dgp = none | replay`).
+- **Механизмы и исходы** (`docs/model.md` §3): линейные и нелинейные уравнения, CATE отдельно от μ₀
+  (амплитуда, sparsity, форма, сдвиг), SNR вплоть до «крошечного эффекта», четыре семейства исхода, связь
+  потенциальных исходов `shared | independent`, природный масштаб исхода для денежных откликов, медиаторы
+  гауссовы или бинарные («продажа»: неоднородные эффекты T → M и M → Y, §3.6).
+- **Оси патологий** (`docs/model.md` §4, `docs/pathology-catalog.md`): 19 осей в трёх фазах (DGP → отбор →
+  измерение), сила 0..1, локализация глобально или по сегментам, свой поток rng у каждой оси, `strength = 0`
+  — no-op; ground truth остаётся чистым, DGP-оси пересчитывают его на том же шуме.
+- **Истина** (`docs/truth-contract.md`): `tau_cate`, `cvte`, `vte_w`, поля non-compliance и отбора
+  (`tau_itt*`, `*_selected`), поля бинарных медиаторов (`p_m0`, `p_m1`, `tau_m`, `theta`), блок `targets` с условными наборами и способом интегрирования каждого поля,
+  таблица осей, меняющих функцию CATE(W).
+- **Выход** (`docs/dataset-format.md`): версионная атомарная публикация (`CURRENT` + версии), manifest с
+  хешами файлов и отпечатком окружения, `meta.json` с конфигом, `targets`, `design`, `recipe`,
+  `pathology_log`; `scm.json` — model artifact; `replay` по рецепту.
+- **Воспроизводимость** (`docs/reproducibility.md`): битовая в reference environment (включая
+  reference-equivalent режим для AVX512), численная (rtol 1e-9) в любом окружении; два уровня эталона по всей
+  библиотеке; инструменты локализации расхождений между машинами.
+- **Библиотека** (`docs/scenarios.md`): 70 именованных сценариев — база и патологии, расширенный пакет,
+  структуры графа, дискретные признаки, контрольные аналитические, кластеры и дубли, beta и связь исходов,
+  денежный исход с выбросами, медиация как у заказчика (в том числе граф примера заказчика целиком).
+
+## Проверки
+
+957 тестов (`pytest`, около 13 минут в reference environment: каждый уникальный конфиг калибрует SCM на
+200 000 строк) и два уровня эталона (`tests/golden/`, `scripts/scmgen_golden.py`) — подробно в
+`docs/reproducibility.md`. Изменение поведения генератора = новая версия + новый эталон + запись в
+`CHANGELOG.md`.
+
+## Происхождение
+
+Пакет разработан в рамках НИР «Оценка индивидуальных эффектов на финансовых данных» (2026) как синтетический
+слой бенчмарка ITE/uplift-методов и выделен из внутреннего репозитория НИР `uplift_methods` (см.
+`CHANGELOG.md`). Обзоры литературы и результаты бенчмарка остаются в исходном репозитории; каталог патологий
+с источниками — `docs/pathology-catalog.md`.

scmgen-0.10.0/pyproject.toml

@@ -0,0 +1,33 @@
+[build-system]
+requires = ["setuptools>=69"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "scmgen"
+version = "0.10.0"
+description = "SCM-генератор синтетических данных для uplift/ITE/CATE-бенчмарков: явный DAG, полный ground truth, оси патологий данных"
+readme = "README.md"
+requires-python = ">=3.12"
+authors = [{ name = "DK", email = "dk.promsoft@gmail.com" }]
+dependencies = [
+    "numpy>=2",
+    "pandas>=2",
+    "pyyaml>=6",
+]
+
+[project.urls]
+Homepage = "https://github.com/Causal-Fin-AI/scmgen"
+
+[project.optional-dependencies]
+io = ["pyarrow>=15"]      # save_dataset / load_dataset (parquet)
+dev = ["pytest>=8", "pyarrow>=15"]
+
+[tool.setuptools.packages.find]
+where = ["src"]
+
+[tool.setuptools.package-data]
+"scmgen.scenarios" = ["*.yaml"]
+
+[tool.pytest.ini_options]
+testpaths = ["tests"]
+pythonpath = ["src"]

scmgen-0.10.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

scmgen-0.10.0/src/scmgen/__init__.py

@@ -0,0 +1,39 @@
+"""SCM-генератор синтетических данных для uplift/CATE-бенчмарка.
+
+Спецификация: `docs/model.md`; контракт полей истины и фазы патологий (0.5.0) —
+см. CHANGELOG 0.5.0; объект SCM, уровни seed, provenance, оси 0.6.0 — `docs/model.md`;
+контракт истины 0.7.0, рецепт/replay, версионная публикация — `docs/truth-contract.md`;
+реестр патологий — `docs/pathology-catalog.md`.
+"""
+
+from importlib.metadata import PackageNotFoundError, version as _pkg_version
+
+from . import scenarios
+from .config import (PATHOLOGY_NUMBERS, GraphConfig, MechanismConfig, MediatorConfig, OutcomeConfig,
+                     PathologyConfig, ScenarioConfig, SegmentConfig, TauConfig, TreatmentConfig, pathology_number,
+                     pathology_phase)
+from .diagnostics import data_properties
+from .generate import Dataset, generate, generate_pair, generate_split
+from .graph import SampledGraph, graph_properties, sample_graph
+from .io import load_dataset, load_scm, prune_versions, replay, save_dataset
+from .pathologies import apply_pathologies
+from .reference import pehe, segment_dim, t_learner_ridge
+from .scm import SCM, sample_scm
+from .segments import build_segments
+from .truth import refresh_truth, truth_targets
+
+try:
+    __version__ = _pkg_version("scmgen")
+except PackageNotFoundError:          # запуск из дерева исходников без установки
+    __version__ = "0.10.0"
+
+__all__ = [
+    "ScenarioConfig", "GraphConfig", "MechanismConfig", "TauConfig",
+    "TreatmentConfig", "OutcomeConfig", "SegmentConfig", "PathologyConfig", "MediatorConfig",
+    "Dataset", "generate", "generate_pair", "generate_split", "apply_pathologies",
+    "SCM", "sample_scm", "load_scm", "replay", "prune_versions", "PATHOLOGY_NUMBERS", "pathology_number",
+    "build_segments", "SampledGraph", "sample_graph", "graph_properties",
+    "save_dataset", "load_dataset", "t_learner_ridge", "segment_dim", "pehe",
+    "data_properties", "pathology_phase", "refresh_truth", "truth_targets",
+    "scenarios", "__version__",
+]

scmgen-0.10.0/src/scmgen/betafn.py

@@ -0,0 +1,158 @@
+"""Бета-распределение на numpy (0.8.0, см. CHANGELOG 0.8.0): ln Γ, регуляризованная неполная
+бета-функция I_x(a, b) и обратная к ней по x. scipy в зависимости не входит (как и для Φ⁻¹ в truth.py).
+
+Все функции поэлементны в строгом смысле: результат элемента зависит только от его аргументов. Итерации
+(цепная дробь, уточнение квантиля) идут до сходимости каждого элемента отдельно, сошедшиеся элементы
+замораживаются — поэтому вложенные выборки (`scm.sample(n₁)` — префикс `scm.sample(n₂)`) совпадают бит в бит.
+Область: a, b ∈ [1e-3, 1e4], x, p ∈ [0, 1]; точность закреплена тестами (tests/test_v080.py).
+"""
+
+from __future__ import annotations
+
+import numpy as np
+
+_LANCZOS_G = 7.0
+_LANCZOS = (0.99999999999980993, 676.5203681218851, -1259.1392167224028, 771.32342877765313,
+            -176.61502916214059, 12.507343278686905, -0.13857109526572012, 9.9843695780195716e-6,
+            1.5056327351493116e-7)
+_HALF_LOG_2PI = 0.5 * np.log(2.0 * np.pi)
+_CF_EPS = 1e-16
+_CF_TINY = 1e-300
+_CF_MAXIT = 2000
+_INV_MAXIT = 200
+
+
+def gammaln(x) -> np.ndarray:
+    """ln Γ(x), x > 0 (Ланцош g = 7, 9 членов; x < 0.5 — через Γ(x + 1) = x Γ(x))."""
+    x = np.asarray(x, dtype=float)
+    small = x < 0.5
+    z = np.where(small, x + 1.0, x) - 1.0
+    acc = np.full(x.shape, _LANCZOS[0])
+    for i in range(1, 9):
+        acc = acc + _LANCZOS[i] / (z + i)
+    t = z + _LANCZOS_G + 0.5
+    out = _HALF_LOG_2PI + (z + 0.5) * np.log(t) - t + np.log(acc)
+    return np.where(small, out - np.log(np.where(small, x, 1.0)), out)
+
+
+def betaln(a, b) -> np.ndarray:
+    """ln B(a, b)."""
+    return gammaln(a) + gammaln(b) - gammaln(np.add(a, b))
+
+
+def _betacf(a: np.ndarray, b: np.ndarray, x: np.ndarray) -> np.ndarray:
+    """Цепная дробь неполной бета-функции (модифицированный метод Ленца); одномерные массивы равной длины.
+    Каждый элемент итерируется до |Δ − 1| < eps и замораживается."""
+    out = np.empty(x.size)
+    idx = np.arange(x.size)
+    qab, qap, qam = a + b, a + 1.0, a - 1.0
+    c = np.ones(x.size)
+    d = 1.0 - qab * x / qap
+    d = 1.0 / np.where(np.abs(d) < _CF_TINY, _CF_TINY, d)
+    h = d.copy()
+    for m in range(1, _CF_MAXIT + 1):
+        m2 = 2.0 * m
+        aa = m * (b - m) * x / ((qam + m2) * (a + m2))
+        d = 1.0 + aa * d
+        d = 1.0 / np.where(np.abs(d) < _CF_TINY, _CF_TINY, d)
+        c = 1.0 + aa / c
+        c = np.where(np.abs(c) < _CF_TINY, _CF_TINY, c)
+        h = h * d * c
+        aa = -(a + m) * (qab + m) * x / ((a + m2) * (qap + m2))
+        d = 1.0 + aa * d
+        d = 1.0 / np.where(np.abs(d) < _CF_TINY, _CF_TINY, d)
+        c = 1.0 + aa / c
+        c = np.where(np.abs(c) < _CF_TINY, _CF_TINY, c)
+        delta = d * c
+        h = h * delta
+        done = np.abs(delta - 1.0) < _CF_EPS
+        if done.any():
+            out[idx[done]] = h[done]
+            keep = ~done
+            if not keep.any():
+                return out
+            idx, a, b, x, c, d, h = idx[keep], a[keep], b[keep], x[keep], c[keep], d[keep], h[keep]
+            qab, qap, qam = qab[keep], qap[keep], qam[keep]
+    out[idx] = h                                           # не сошлось за _CF_MAXIT: вне заявленной области
+    return out
+
+
+def betainc(a, b, x, lnb=None) -> np.ndarray:
+    """Регуляризованная неполная бета-функция I_x(a, b) = P(Beta(a, b) ≤ x); x вне [0, 1] обрезается.
+    lnb — заранее посчитанный ln B(a, b) (той же формы после broadcast), иначе считается здесь."""
+    a, b, x = np.broadcast_arrays(np.asarray(a, dtype=float), np.asarray(b, dtype=float),
+                                  np.asarray(x, dtype=float))
+    shape = x.shape
+    lnb = betaln(a, b) if lnb is None else np.broadcast_to(np.asarray(lnb, dtype=float), shape)
+    a, b, x, lnb = a.ravel(), b.ravel(), np.clip(x.ravel(), 0.0, 1.0), lnb.ravel()
+    out = np.where(x >= 1.0, 1.0, 0.0)
+    inner = np.flatnonzero((x > 0.0) & (x < 1.0))
+    if inner.size:
+        a, b, x, lnb = a[inner], b[inner], x[inner], lnb[inner]
+        front = np.exp(a * np.log(x) + b * np.log1p(-x) - lnb)
+        direct = x < (a + 1.0) / (a + b + 2.0)
+        aa, bb, xx = np.where(direct, a, b), np.where(direct, b, a), np.where(direct, x, 1.0 - x)
+        val = front * _betacf(aa, bb, xx) / aa
+        out[inner] = np.where(direct, val, 1.0 - val)
+    return out.reshape(shape)
+
+
+def _initial_guess(a, b, p):
+    """Начальное приближение квантиля (Numerical Recipes, invbetai)."""
+    with np.errstate(divide="ignore", invalid="ignore", over="ignore"):
+        pp = np.where(p < 0.5, p, 1.0 - p)
+        t = np.sqrt(-2.0 * np.log(pp))
+        z = (2.30753 + t * 0.27061) / (1.0 + t * (0.99229 + t * 0.04481)) - t
+        z = np.where(p < 0.5, -z, z)
+        al = (z * z - 3.0) / 6.0
+        ia, ib = 1.0 / (2.0 * a - 1.0), 1.0 / (2.0 * b - 1.0)
+        hh = 2.0 / (ia + ib)
+        w = z * np.sqrt(al + hh) / hh - (ib - ia) * (al + 5.0 / 6.0 - 2.0 / (3.0 * hh))
+        big = a / (a + b * np.exp(2.0 * w))
+        lna, lnbb = np.log(a / (a + b)), np.log(b / (a + b))
+        ta, tb = np.exp(a * lna) / a, np.exp(b * lnbb) / b
+        ww = ta + tb
+        small = np.where(p < ta / ww, np.power(a * ww * p, 1.0 / a), 1.0 - np.power(b * ww * (1.0 - p), 1.0 / b))
+        x = np.where((a >= 1.0) & (b >= 1.0), big, small)
+    return np.where(np.isfinite(x), x, 0.5)
+
+
+def betaincinv(a, b, p) -> np.ndarray:
+    """Квантиль бета-распределения: x с I_x(a, b) = p. Шаги Галлея с вилкой [lo, hi] (вне вилки — бисекция),
+    каждый элемент — до сходимости шага и замораживается."""
+    a, b, p = np.broadcast_arrays(np.asarray(a, dtype=float), np.asarray(b, dtype=float),
+                                  np.asarray(p, dtype=float))
+    shape = p.shape
+    a, b, p = a.ravel(), b.ravel(), p.ravel()
+    out = np.where(p >= 1.0, 1.0, 0.0)
+    idx = np.flatnonzero((p > 0.0) & (p < 1.0))
+    if not idx.size:
+        return out.reshape(shape)
+    a, b, p = a[idx], b[idx], p[idx]
+    lnb = betaln(a, b)
+    a1, b1 = a - 1.0, b - 1.0
+    lo, hi = np.zeros(p.size), np.ones(p.size)
+    x = np.clip(_initial_guess(a, b, p), 1e-300, 1.0 - 1e-16)
+    for _ in range(_INV_MAXIT):
+        err = betainc(a, b, x, lnb) - p
+        lo = np.where(err < 0.0, x, lo)
+        hi = np.where(err > 0.0, x, hi)
+        with np.errstate(divide="ignore", invalid="ignore", over="ignore"):
+            dens = np.exp(a1 * np.log(x) + b1 * np.log1p(-x) - lnb)
+            u = err / dens
+            step = u / (1.0 - 0.5 * np.clip(u * (a1 / x - b1 / (1.0 - x)), -1.0, 1.0))
+            new = x - step
+        bad = ~np.isfinite(new) | (new <= lo) | (new >= hi) | ~np.isfinite(dens) | (dens <= 0.0)
+        new = np.where(bad, 0.5 * (lo + hi), new)
+        done = (err == 0.0) | (np.abs(new - x) <= 4e-16 * x) | (hi - lo <= 4e-16 * hi)
+        x = np.where(err == 0.0, x, new)
+        if done.any():
+            out[idx[done]] = x[done]
+            keep = ~done
+            if not keep.any():
+                break
+            idx, a, b, p, lnb, a1, b1 = idx[keep], a[keep], b[keep], p[keep], lnb[keep], a1[keep], b1[keep]
+            lo, hi, x = lo[keep], hi[keep], x[keep]
+    else:
+        out[idx] = x
+    return out.reshape(shape)