post-analysis-toolkit 1.0.7__tar.gz → 1.0.8__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/PKG-INFO +324 -9
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/README.md +14 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/notebooks/did_its_template.ipynb +2572 -480
- post_analysis_toolkit-1.0.8/notebooks/synthetic_did_databricks_template.ipynb +3285 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/MDE_METHODOLOGY.md +9 -2
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/README.md +323 -8
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/REFERENCE.html +182 -46
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/REFERENCE.md +469 -41
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/__init__.py +1 -1
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/causal_impact.py +352 -38
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/contracts.py +31 -6
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/demo.py +57 -3
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/did.py +2301 -0
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/its.py +1183 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/observational.py +2 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/rdd.py +96 -3
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/synthetic_control.py +1263 -0
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/synthetic_did.py +1339 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/triple_difference.py +64 -10
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/utils.py +1003 -0
- post_analysis_toolkit-1.0.8/post_analysis_toolkit/visualization.py +407 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit.egg-info/PKG-INFO +324 -9
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/pyproject.toml +1 -1
- post_analysis_toolkit-1.0.7/notebooks/synthetic_did_databricks_template.ipynb +0 -1628
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/did.py +0 -1168
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/its.py +0 -696
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/synthetic_control.py +0 -532
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/synthetic_did.py +0 -621
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/utils.py +0 -334
- post_analysis_toolkit-1.0.7/post_analysis_toolkit/visualization.py +0 -235
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/MANIFEST.in +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/compat.py +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/mde.py +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit/mde_resampling.py +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit.egg-info/SOURCES.txt +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit.egg-info/dependency_links.txt +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit.egg-info/requires.txt +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/post_analysis_toolkit.egg-info/top_level.txt +0 -0
- {post_analysis_toolkit-1.0.7 → post_analysis_toolkit-1.0.8}/setup.cfg +0 -0
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.4
|
|
2
2
|
Name: post-analysis-toolkit
|
|
3
|
-
Version: 1.0.
|
|
3
|
+
Version: 1.0.8
|
|
4
4
|
Summary: Reusable helpers for post-analysis, quasi-causal designs, and diagnostics.
|
|
5
5
|
Author: OpenAI Codex
|
|
6
6
|
Requires-Python: >=3.11
|
|
@@ -37,7 +37,7 @@ Requires-Dist: twine>=6.1; extra == "dev"
|
|
|
37
37
|
|
|
38
38
|
- классический `Difference-in-Differences`
|
|
39
39
|
- регрессионный `DiD`
|
|
40
|
-
- `DiD` с
|
|
40
|
+
- `DiD` с cluster-robust SE по unit по умолчанию или `HC1` при явном `cluster_col=None`
|
|
41
41
|
- `DiD` с `TWFE`
|
|
42
42
|
- `DiD` с лог-трансформацией outcome
|
|
43
43
|
- `DiD` с относительной индексацией outcome
|
|
@@ -54,6 +54,77 @@ Requires-Dist: twine>=6.1; extra == "dev"
|
|
|
54
54
|
- базовые проверки устойчивости
|
|
55
55
|
- встроенные `matplotlib`-графики
|
|
56
56
|
|
|
57
|
+
### Стандартные ошибки и кластеризация
|
|
58
|
+
|
|
59
|
+
Для `fit_did_regression`, `fit_event_study` и `fit_triple_difference` по
|
|
60
|
+
умолчанию используется односторонняя cluster-robust ошибка. При
|
|
61
|
+
`cluster_col="auto"` (значение по умолчанию) пакет сначала использует
|
|
62
|
+
`unit_col`, а затем ищет стандартную колонку `unit`, `unit_id`, `pizzeria`,
|
|
63
|
+
`city` или `cluster`. Чтобы явно отключить кластеризацию и использовать HC1,
|
|
64
|
+
передайте `cluster_col=None`. Если в данных нет подходящей колонки, `auto`
|
|
65
|
+
безопасно откатывается к HC1; фактически выбранный режим смотрите в
|
|
66
|
+
`result.metadata["stderr_type"]`.
|
|
67
|
+
|
|
68
|
+
Односторонняя cluster covariance — CR1-style: statsmodels применяет
|
|
69
|
+
finite-sample correction, а p-value по умолчанию рассчитывается с нормальной
|
|
70
|
+
аппроксимацией (`use_t=False`). При небольшом числе кластеров можно выбрать
|
|
71
|
+
`se_type="cr2"` или `se_type="cr3"`: это leverage-adjusted варианты
|
|
72
|
+
кластерной covariance без внешних зависимостей.
|
|
73
|
+
|
|
74
|
+
Для регрессионных методов можно явно выбрать `se_type`: `"nonrobust"` (обычная
|
|
75
|
+
OLS SE без коррекции), `"hc1"`,
|
|
76
|
+
`"cluster"` (один уровень), `"cr2"`, `"cr3"`, `"wild_cluster"` или
|
|
77
|
+
`"two_way_cluster"` (Cameron–Gelbach–Miller, unit × time). `"auto"` сохраняет прежнее поведение: кластеризация по
|
|
78
|
+
`cluster_col`, если она задана/найдена, иначе HC1. В two-way режиме второй
|
|
79
|
+
уровень по умолчанию берётся из `time_col`; его можно переопределить
|
|
80
|
+
`time_cluster_col`. `wild_cluster` использует Rademacher wild cluster
|
|
81
|
+
bootstrap для эмпирической covariance; число повторов задаётся
|
|
82
|
+
`wild_bootstrap_reps` (по умолчанию 999), а seed — через `random_state`.
|
|
83
|
+
Это bootstrap-оценка SE, а не отдельный null-imposed bootstrap-тест p-value.
|
|
84
|
+
|
|
85
|
+
`fit_its` использует HAC/Newey–West (`hac_lags=7` по умолчанию), но также
|
|
86
|
+
поддерживает `se_type="hc1"`, `"cluster"`, `"cr2"`, `"cr3"`,
|
|
87
|
+
`"wild_cluster"` и `"two_way_cluster"` для панельных
|
|
88
|
+
данных. `fit_its`/`check_its_assumptions` принимают `cluster_col` и
|
|
89
|
+
`time_cluster_col`, а `run_its_robustness` по умолчанию перебирает
|
|
90
|
+
`hac_lags=(0, 3, 7, 14)`. Для RDD two-way режим требует явного
|
|
91
|
+
`time_cluster_col`; density-регрессия в проверке предпосылок остаётся HC1.
|
|
92
|
+
|
|
93
|
+
Панельный ITS передаётся в long-формате с одной строкой на `unit × date`.
|
|
94
|
+
Передайте `se_type="cluster"` и `cluster_col` с идентификатором юнита:
|
|
95
|
+
|
|
96
|
+
```python
|
|
97
|
+
panel_its = fit_its(
|
|
98
|
+
panel_df,
|
|
99
|
+
outcome_col="orders_per_unit_day",
|
|
100
|
+
time_col="sale_date",
|
|
101
|
+
intervention_time="2026-06-14",
|
|
102
|
+
se_type="cluster",
|
|
103
|
+
cluster_col="pizzeria_id",
|
|
104
|
+
)
|
|
105
|
+
```
|
|
106
|
+
|
|
107
|
+
Для такой панели holdout и rolling-метрики считаются по календарным датам
|
|
108
|
+
(среднее по юнитам), а график эффекта также показывает средний ряд по датам.
|
|
109
|
+
PSM и Doubly Robust используют IID-оценку по score/differences.
|
|
110
|
+
Synthetic Control не имеет модельной SE/p-value и использует placebo-диагностики,
|
|
111
|
+
SDiD — `variance_method="placebo"`, `"bootstrap"` или `"jackknife"` из
|
|
112
|
+
`diff-diff`, а Causal Impact — байесовские posterior-интервалы. При небольшом
|
|
113
|
+
числе кластеров, особенно при одном treated-кластере, кластерные p-value и FPR
|
|
114
|
+
могут быть нестабильны; их нужно сопоставлять с placebo и sensitivity.
|
|
115
|
+
|
|
116
|
+
В ITS `hac_lags` — максимальный лаг автокорреляции для HAC/Newey–West. Для
|
|
117
|
+
ежедневных данных `7` — разумная стартовая настройка при недельной сезонности,
|
|
118
|
+
но это не универсальное значение. На практике сравнивайте несколько соседних
|
|
119
|
+
значений (например, `0`, `3`, `7`, `14`) и проверяйте, меняется ли вывод об
|
|
120
|
+
эффекте; `run_its_robustness` делает такой перебор автоматически.
|
|
121
|
+
|
|
122
|
+
Для ITS `se_type="auto"` означает: если передан или автоматически найден
|
|
123
|
+
`cluster_col`, использовать one-way cluster; если кластер не задан — HAC.
|
|
124
|
+
При этом значение по умолчанию у `fit_its` и `check_its_assumptions` —
|
|
125
|
+
`se_type="hac"`, поэтому для автоматического выбора нужно указать
|
|
126
|
+
`se_type="auto"` явно.
|
|
127
|
+
|
|
57
128
|
## MDE и чувствительность
|
|
58
129
|
|
|
59
130
|
Для всех MDE по умолчанию используются `alpha=0.05`, `power=0.80` и
|
|
@@ -389,9 +460,30 @@ did_diag = check_did_assumptions(
|
|
|
389
460
|
intervention_time="2026-02-07",
|
|
390
461
|
unit_col="unit",
|
|
391
462
|
cluster_col="unit",
|
|
463
|
+
twfe=True,
|
|
392
464
|
)
|
|
393
465
|
print(did_diag.checks)
|
|
394
466
|
|
|
467
|
+
# Можно сравнить несколько эмпирических FPR-процедур одновременно.
|
|
468
|
+
did_diag = check_did_assumptions(
|
|
469
|
+
did_df,
|
|
470
|
+
outcome_col="metric",
|
|
471
|
+
time_col="sale_date",
|
|
472
|
+
treated_col="treated_flag",
|
|
473
|
+
post_col="post_flag",
|
|
474
|
+
intervention_time="2026-02-07",
|
|
475
|
+
unit_col="unit",
|
|
476
|
+
cluster_col="unit",
|
|
477
|
+
twfe=True,
|
|
478
|
+
fpr_method=("time_placebo", "block_bootstrap", "placebo_units"),
|
|
479
|
+
fpr_placebo_count=200,
|
|
480
|
+
fpr_block_length=7,
|
|
481
|
+
)
|
|
482
|
+
print(did_diag.details["fpr_results"])
|
|
483
|
+
|
|
484
|
+
# Важно: FPR-процедуры должны получать ту же спецификацию, что и оценка
|
|
485
|
+
# эффекта (например, twfe=True, одинаковые covariates/log_transform/relative).
|
|
486
|
+
|
|
395
487
|
did_result = fit_did_regression(
|
|
396
488
|
did_df,
|
|
397
489
|
outcome_col="metric",
|
|
@@ -449,8 +541,12 @@ sc_diag = check_synthetic_control_assumptions(
|
|
|
449
541
|
time_col="sale_date",
|
|
450
542
|
treated_unit="Batumi",
|
|
451
543
|
intervention_time="2026-02-08",
|
|
544
|
+
fpr_method=("time_placebo", "block_bootstrap", "placebo_units"),
|
|
545
|
+
fpr_placebo_count=20,
|
|
546
|
+
fpr_block_length=7,
|
|
452
547
|
)
|
|
453
548
|
print(sc_diag.checks)
|
|
549
|
+
print(sc_diag.details["fpr_results"])
|
|
454
550
|
|
|
455
551
|
sc_result = fit_synthetic_control(
|
|
456
552
|
sc_df,
|
|
@@ -502,6 +598,18 @@ its_diag = check_its_assumptions(
|
|
|
502
598
|
)
|
|
503
599
|
print(its_diag.checks)
|
|
504
600
|
|
|
601
|
+
# Для ITS доступен time placebo; placebo_units
|
|
602
|
+
# неприменим, потому что это single-series метод без units.
|
|
603
|
+
its_diag = check_its_assumptions(
|
|
604
|
+
its_df,
|
|
605
|
+
outcome_col="metric",
|
|
606
|
+
time_col="sale_date",
|
|
607
|
+
intervention_time="2026-01-11",
|
|
608
|
+
fpr_method="time_placebo",
|
|
609
|
+
fpr_placebo_count=200,
|
|
610
|
+
)
|
|
611
|
+
print(its_diag.details["fpr_results"])
|
|
612
|
+
|
|
505
613
|
its_result = fit_its(
|
|
506
614
|
its_df,
|
|
507
615
|
outcome_col="metric",
|
|
@@ -517,6 +625,26 @@ its_robust = run_its_robustness(
|
|
|
517
625
|
intervention_time="2026-01-11",
|
|
518
626
|
)
|
|
519
627
|
print(its_robust.summary)
|
|
628
|
+
|
|
629
|
+
# Для panel ITS можно выбрать кластеризацию по unit и два уровня unit × time.
|
|
630
|
+
panel_its = fit_its(
|
|
631
|
+
panel_df,
|
|
632
|
+
outcome_col="outcome",
|
|
633
|
+
time_col="sale_date",
|
|
634
|
+
intervention_time="2026-02-01",
|
|
635
|
+
se_type="cluster",
|
|
636
|
+
cluster_col="unit",
|
|
637
|
+
)
|
|
638
|
+
panel_its_two_way = fit_its(
|
|
639
|
+
panel_df,
|
|
640
|
+
outcome_col="outcome",
|
|
641
|
+
time_col="sale_date",
|
|
642
|
+
intervention_time="2026-02-01",
|
|
643
|
+
se_type="two_way_cluster",
|
|
644
|
+
cluster_col="unit",
|
|
645
|
+
time_cluster_col="sale_date",
|
|
646
|
+
)
|
|
647
|
+
# Для HAC sensitivity автоматически перебираются 0, 3, 7 и 14 лагов.
|
|
520
648
|
```
|
|
521
649
|
|
|
522
650
|
### 4. End-to-end пример: PSM
|
|
@@ -744,6 +872,51 @@ did_robust = run_did_robustness(
|
|
|
744
872
|
- с логами и без
|
|
745
873
|
- с относительной индексацией и без
|
|
746
874
|
|
|
875
|
+
Для отдельной динамики эффекта используется Event Study. В его проверке
|
|
876
|
+
предпосылок FPR считается по joint Wald-тесту всех post-бинов (а не по
|
|
877
|
+
минимальному p-value отдельного бина):
|
|
878
|
+
|
|
879
|
+
```python
|
|
880
|
+
from post_analysis_toolkit import check_event_study_assumptions, fit_event_study
|
|
881
|
+
|
|
882
|
+
event_diag = check_event_study_assumptions(
|
|
883
|
+
panel_df,
|
|
884
|
+
outcome_col="metric",
|
|
885
|
+
time_col="sale_date",
|
|
886
|
+
treated_col="treated_flag",
|
|
887
|
+
intervention_time="2026-02-25",
|
|
888
|
+
unit_col="unit",
|
|
889
|
+
cluster_col="unit",
|
|
890
|
+
fpr_method=("time_placebo", "block_bootstrap", "placebo_units"),
|
|
891
|
+
fpr_placebo_count=200,
|
|
892
|
+
fpr_block_length=7,
|
|
893
|
+
)
|
|
894
|
+
event_result = fit_event_study(
|
|
895
|
+
panel_df,
|
|
896
|
+
outcome_col="metric",
|
|
897
|
+
time_col="sale_date",
|
|
898
|
+
treated_col="treated_flag",
|
|
899
|
+
intervention_time="2026-02-25",
|
|
900
|
+
unit_col="unit",
|
|
901
|
+
cluster_col="unit",
|
|
902
|
+
event_bin_size=7,
|
|
903
|
+
)
|
|
904
|
+
```
|
|
905
|
+
|
|
906
|
+
В `event_result.details["event_study_summary"]` доступны
|
|
907
|
+
`joint_pre_p_value` и `joint_post_p_value`; FPR-таблица находится в
|
|
908
|
+
`event_diag.details["fpr_results"]`. MDE по каждому event-бину можно получить
|
|
909
|
+
уже на этапе проверки предпосылок:
|
|
910
|
+
|
|
911
|
+
```python
|
|
912
|
+
display(event_diag.details["event_study_mde"])
|
|
913
|
+
```
|
|
914
|
+
|
|
915
|
+
Для расчёта MDE на этом этапе используются те же параметры, что и в
|
|
916
|
+
`fit_event_study` (`mde_mode`, `power`, `alternative`, `n_simulations`,
|
|
917
|
+
`random_state`, `mde_effect_grid`, `mde_simulator`). По умолчанию `mde_mode="auto"`
|
|
918
|
+
выбирает аналитический MDE по стандартной ошибке каждого event-бина.
|
|
919
|
+
|
|
747
920
|
## Synthetic Control: пример
|
|
748
921
|
|
|
749
922
|
### Формат данных для функции
|
|
@@ -785,8 +958,21 @@ synth_diag = check_synthetic_control_assumptions(
|
|
|
785
958
|
treated_unit="Batumi",
|
|
786
959
|
intervention_time="2026-02-25",
|
|
787
960
|
donor_units=["Tbilisi", "Kutaisi"],
|
|
961
|
+
fpr_method=("time_placebo", "block_bootstrap", "placebo_units"),
|
|
962
|
+
fpr_placebo_count=20,
|
|
963
|
+
fpr_block_length=7,
|
|
788
964
|
)
|
|
965
|
+
print(synth_diag.details["fpr_results"])
|
|
966
|
+
|
|
967
|
+
```
|
|
968
|
+
|
|
969
|
+
Помимо in-space `placebo_units`, Synthetic Control поддерживает
|
|
970
|
+
`time_placebo` (фиктивные даты внутри предпериода) и `block_bootstrap`
|
|
971
|
+
(нулевые панели из общих временных блоков). Подробные результаты находятся в
|
|
972
|
+
`details["time_placebo_results"]` и `details["block_bootstrap_results"]`;
|
|
973
|
+
план доступных прогонов — в `details["fpr_plan"]`.
|
|
789
974
|
|
|
975
|
+
```python
|
|
790
976
|
synth_result = fit_synthetic_control(
|
|
791
977
|
df=panel_df,
|
|
792
978
|
outcome_col="metric",
|
|
@@ -817,11 +1003,35 @@ synth_robust = run_synthetic_control_robustness(
|
|
|
817
1003
|
- `avg_post_effect`
|
|
818
1004
|
- `avg_post_relative_effect`
|
|
819
1005
|
- таблицу весов `details["weights"]`
|
|
1006
|
+
- `details["weight_concentration"]` с min/max весом, effective donors,
|
|
1007
|
+
числом доноров с положительным весом и долей веса крупнейшего донора
|
|
1008
|
+
- `details["fpr_results"]` с in-space FPR и permutation p-value
|
|
820
1009
|
|
|
821
1010
|
Проверки устойчивости:
|
|
822
1011
|
|
|
823
1012
|
- placebo по каждому донору
|
|
824
1013
|
- leave-one-out по донорам
|
|
1014
|
+
- in-space placebo-калибровка FPR в `check_synthetic_control_assumptions`
|
|
1015
|
+
- `time_placebo` с фиктивными датами внутри предпериода
|
|
1016
|
+
- `block_bootstrap` с нулевыми панелями из общих временных блоков
|
|
1017
|
+
|
|
1018
|
+
Для Synthetic Control нет модельного p-value/SE. In-space FPR по очереди
|
|
1019
|
+
делает каждого донора псевдотритментом, сравнивает post/pre RMSPE-ratio с
|
|
1020
|
+
остальными донорами и возвращает permutation p-value исходной treated unit.
|
|
1021
|
+
`time_placebo` переносит дату вмешательства внутрь предпериода, а
|
|
1022
|
+
`block_bootstrap` создаёт нулевые панели, ресэмплируя общие временные блоки.
|
|
1023
|
+
В обоих случаях значимость всё равно определяется in-space permutation по
|
|
1024
|
+
RMSPE-ratio, а не обычной модельной SE. Число успешных `placebo_units`
|
|
1025
|
+
прогонов не может быть больше размера donor pool; для остальных методов
|
|
1026
|
+
ограничение задаётся числом допустимых дат или успешных bootstrap-прогонов.
|
|
1027
|
+
Для содержательной калибровки желательно иметь минимум три донора: при
|
|
1028
|
+
маленьком donor pool permutation p-value дискретен и FPR получается грубой
|
|
1029
|
+
диагностикой.
|
|
1030
|
+
|
|
1031
|
+
Концентрация donor weights не является автоматическим pass/fail-критерием.
|
|
1032
|
+
Если `top1_weight_share` близка к 100% или `effective_donors` близко к 1,
|
|
1033
|
+
нужно дополнительно проверить `leave_one_out_results` и устойчивость к
|
|
1034
|
+
расширению/очистке donor pool.
|
|
825
1035
|
|
|
826
1036
|
## Synthetic DiD (SDiD)
|
|
827
1037
|
|
|
@@ -851,18 +1061,78 @@ display(sdid_result.figures["actual_vs_counterfactual"])
|
|
|
851
1061
|
|
|
852
1062
|
`treated_col` должен быть бинарным и постоянным внутри unit. Основные поля
|
|
853
1063
|
`summary`: `effect_absolute`, `effect_relative`, `effect_cumulative`,
|
|
854
|
-
`effect_ci`, `std_error`, `p_value`, `mde_absolute`, `mde_relative`,
|
|
1064
|
+
`effect_ci`, `effect_relative_ci`, `effect_cumulative_ci`, `std_error`, `p_value`, `mde_absolute`, `mde_relative`,
|
|
855
1065
|
`mde_cumulative`, `mde_mode_resolved`.
|
|
856
1066
|
|
|
857
1067
|
В `details["unit_weights"]` и `details["time_weights"]` доступны полные
|
|
858
1068
|
списки весов. В `details["weight_concentration"]` пакет дополнительно
|
|
859
|
-
показывает min/max
|
|
860
|
-
|
|
1069
|
+
показывает min/max, эффективное число доноров и pre-периодов, общее число
|
|
1070
|
+
pre-периодов, число периодов с положительным time weight, долю effective
|
|
1071
|
+
pre-периодов и долю веса трёх/пяти самых важных периодов. Это описательные
|
|
1072
|
+
метрики без автоматически заданных порогов; `effective_pre_periods` — это
|
|
1073
|
+
ESS по time weights, а не буквальное число использованных дат.
|
|
1074
|
+
|
|
1075
|
+
В `details["series"]` сохраняются сырые `counterfactual`/`gap` и
|
|
1076
|
+
level-shift-adjusted `counterfactual_level_adjusted`/`gap_level_adjusted`.
|
|
1077
|
+
`effect_cumulative` и графики SDiD используют adjusted gap, чтобы не включать
|
|
1078
|
+
допустимую постоянную разницу уровней в оценку инкрементального эффекта.
|
|
861
1079
|
|
|
862
1080
|
Для SDiD поддерживаются `variance_method="placebo"`, `"bootstrap"` и
|
|
863
|
-
`"jackknife"`. Режим MDE `auto`
|
|
864
|
-
|
|
865
|
-
|
|
1081
|
+
`"jackknife"`. Режим MDE `auto` при корректной SE от `diff-diff` выбирает
|
|
1082
|
+
аналитический plug-in расчёт; `analytic` можно задать явно. Это не закрытая
|
|
1083
|
+
SDiD-формула дизайн-мощности: unit/time weights оцениваются на исходных
|
|
1084
|
+
данных, а MDE использует итоговую inferential SE. `parametric` делает быстрые
|
|
1085
|
+
симуляции оценок с той же SE, `proxy` использует level-shift-adjusted pre-fit
|
|
1086
|
+
RMSE. Полный `resampling` MDE через повторную переоценку SDiD пока не включён.
|
|
1087
|
+
|
|
1088
|
+
`effect_ci` — доверительный интервал взвешенного ATT от `diff-diff`.
|
|
1089
|
+
`effect_relative_ci` и `effect_cumulative_ci` — plug-in преобразования этого
|
|
1090
|
+
интервала для относительного (со знаком `%`) и cumulative estimand; дополнительная
|
|
1091
|
+
неопределённость baseline и level-shift alignment в них не моделируется.
|
|
1092
|
+
|
|
1093
|
+
В `check_synthetic_did_assumptions(...)` параметр `fpr_placebo_count` задаёт
|
|
1094
|
+
число placebo-прогонов. Если передать `zeta_omega` или `zeta_lambda`, эта же
|
|
1095
|
+
регуляризация будет использована и в основном fit, и во всех placebo-fit —
|
|
1096
|
+
это позволяет честно сравнивать эмпирическую FPR между вариантами
|
|
1097
|
+
`zeta_lambda`.
|
|
1098
|
+
|
|
1099
|
+
Параметр `fpr_method` принимает одну строку или список методов: `time_placebo`
|
|
1100
|
+
(fake intervention даты внутри pre-period), `block_bootstrap` (ресэмплинг
|
|
1101
|
+
общих временных блоков без эффекта) и `placebo_units` (формирование placebo-
|
|
1102
|
+
treated групп контрольных пиццерий того же размера, что и исходная treated-
|
|
1103
|
+
группа). Можно передать несколько методов сразу,
|
|
1104
|
+
например `fpr_method=("time_placebo", "block_bootstrap", "placebo_units")`.
|
|
1105
|
+
Для block bootstrap длина блока задаётся `fpr_block_length` (по умолчанию 7).
|
|
1106
|
+
Сводка по каждому методу находится в `details["fpr_results"]`; при выборе
|
|
1107
|
+
нескольких методов добавляются method-specific строки в `checks` и график
|
|
1108
|
+
`figures["fpr_comparison"]`. `fpr_placebo_count` используется как число
|
|
1109
|
+
попыток для time placebo/block bootstrap и как максимум контрольных units для
|
|
1110
|
+
placebo units; фактический знаменатель находится в колонке `runs`, а размер
|
|
1111
|
+
placebo-группы — в `placebo_group_size`.
|
|
1112
|
+
|
|
1113
|
+
Практический порядок работы: сначала запустите
|
|
1114
|
+
`check_synthetic_did_assumptions(...)` и посмотрите одновременно на FPR и
|
|
1115
|
+
`details["weight_concentration"]`. Если FPR заметно выше заданного `alpha`, а
|
|
1116
|
+
`effective_pre_periods` мало и top-3 time weights забирают большую долю веса,
|
|
1117
|
+
повторите основной fit и проверку с явно заданным большим `zeta_lambda`:
|
|
1118
|
+
|
|
1119
|
+
```python
|
|
1120
|
+
sdid_result = fit_synthetic_did(..., zeta_lambda=25_000.0)
|
|
1121
|
+
sdid_checks = check_synthetic_did_assumptions(
|
|
1122
|
+
..., zeta_lambda=25_000.0,
|
|
1123
|
+
)
|
|
1124
|
+
```
|
|
1125
|
+
|
|
1126
|
+
Это не универсальный порог: значение зависит от масштаба outcome и должно
|
|
1127
|
+
выбираться по sensitivity-таблице вместе с предметной интерпретацией. При
|
|
1128
|
+
изменении единиц outcome (например, переводе рублей в тысячи) `zeta_lambda`
|
|
1129
|
+
нужно масштабировать пропорционально. Если регуляризация зафиксирована, одно и
|
|
1130
|
+
то же значение следует передавать и в основной fit, и в FPR-проверку.
|
|
1131
|
+
|
|
1132
|
+
Не следует выбирать `zeta_lambda` только для того, чтобы получить FPR около 5%:
|
|
1133
|
+
регуляризация меняет time-weighted estimand. Сначала задайте сетку значений,
|
|
1134
|
+
сравните effective pre-periods, концентрацию top-3/top-5 весов, pre-fit и
|
|
1135
|
+
оценку эффекта, а затем зафиксируйте настройку до финального вывода.
|
|
866
1136
|
|
|
867
1137
|
В robustness можно опционально включить нативные проверки `diff-diff`:
|
|
868
1138
|
|
|
@@ -876,12 +1146,21 @@ robust = run_synthetic_did_robustness(
|
|
|
876
1146
|
intervention_time="2026-02-01",
|
|
877
1147
|
diff_diff_checks=("in_time_placebo", "zeta_omega_sensitivity"),
|
|
878
1148
|
diff_diff_placebo_periods=["2025-12-15"],
|
|
1149
|
+
zeta_lambda_multipliers=(0.1, 1.0, 10.0, 100.0, 1_000.0, 10_000.0, 100_000.0),
|
|
879
1150
|
)
|
|
880
1151
|
```
|
|
881
1152
|
|
|
882
1153
|
Доступные значения: `in_time_placebo`, `leave_one_out` (требует
|
|
883
1154
|
`variance_method="jackknife"`) и `zeta_omega_sensitivity`. По умолчанию
|
|
884
|
-
`diff_diff_checks=()`, поэтому дополнительные прогоны не выполняются.
|
|
1155
|
+
`diff_diff_checks=()`, поэтому дополнительные нативные прогоны не выполняются.
|
|
1156
|
+
Параметр `zeta_lambda_multipliers` запускает отдельные полные SDiD-фиты для
|
|
1157
|
+
множителей автоматически выбранного `zeta_lambda`; по умолчанию он пустой,
|
|
1158
|
+
чтобы не увеличивать время расчёта. Результаты находятся в
|
|
1159
|
+
`details["zeta_lambda_sensitivity"]`, а графики — в
|
|
1160
|
+
`figures["zeta_lambda_sensitivity"]` и
|
|
1161
|
+
`figures["zeta_lambda_weight_concentration"]`. В таблице вместе с эффектом
|
|
1162
|
+
показываются ESS, доля effective pre-периодов, число положительных весов и
|
|
1163
|
+
накопленная доля top-3/top-5 time weights.
|
|
885
1164
|
|
|
886
1165
|
## Causal Impact: пример
|
|
887
1166
|
|
|
@@ -928,6 +1207,21 @@ ci_diag = check_causal_impact_assumptions(
|
|
|
928
1207
|
donor_units=["Tbilisi", "Kutaisi"],
|
|
929
1208
|
)
|
|
930
1209
|
|
|
1210
|
+
# Для Causal Impact доступны time placebo, block bootstrap и placebo units.
|
|
1211
|
+
ci_diag = check_causal_impact_assumptions(
|
|
1212
|
+
df=panel_df,
|
|
1213
|
+
outcome_col="metric",
|
|
1214
|
+
unit_col="unit",
|
|
1215
|
+
time_col="sale_date",
|
|
1216
|
+
treated_unit="Batumi",
|
|
1217
|
+
intervention_time="2026-02-25",
|
|
1218
|
+
donor_units=["Tbilisi", "Kutaisi"],
|
|
1219
|
+
fpr_method=("time_placebo", "block_bootstrap", "placebo_units"),
|
|
1220
|
+
fpr_placebo_count=200,
|
|
1221
|
+
fpr_block_length=7,
|
|
1222
|
+
)
|
|
1223
|
+
print(ci_diag.details["fpr_results"])
|
|
1224
|
+
|
|
931
1225
|
ci_result = fit_causal_impact(
|
|
932
1226
|
df=panel_df,
|
|
933
1227
|
outcome_col="metric",
|
|
@@ -1075,6 +1369,13 @@ its_result = fit_its(
|
|
|
1075
1369
|
- placebo intervention dates
|
|
1076
1370
|
- разные feature sets
|
|
1077
1371
|
|
|
1372
|
+
Для проверки эмпирической FPR у ITS доступен `fpr_method="time_placebo"`:
|
|
1373
|
+
пакет переоценивает модель на нескольких фиктивных датах вмешательства внутри
|
|
1374
|
+
предпериода. `placebo_units` для single-series ряда неприменим. Режим
|
|
1375
|
+
`block_bootstrap` для ITS не поддерживается; при его передаче будет `ValueError`.
|
|
1376
|
+
Число попыток задаётся `fpr_placebo_count`, а результаты сохраняются в
|
|
1377
|
+
`details["fpr_results"]`.
|
|
1378
|
+
|
|
1078
1379
|
## Стандартные проверки предпосылок
|
|
1079
1380
|
|
|
1080
1381
|
Во всех `checks`-таблицах пакет теперь возвращает русские колонки:
|
|
@@ -1097,6 +1398,7 @@ its_result = fit_its(
|
|
|
1097
1398
|
- хороший pre-fit
|
|
1098
1399
|
- отсутствие contamination доноров
|
|
1099
1400
|
- reasonable donor weights
|
|
1401
|
+
- in-space placebo FPR и permutation p-value
|
|
1100
1402
|
|
|
1101
1403
|
### Для Causal Impact
|
|
1102
1404
|
|
|
@@ -1216,6 +1518,19 @@ its_result = fit_its(
|
|
|
1216
1518
|
`resampling` переобучает поддержанный расчет на каждом повторе
|
|
1217
1519
|
- contamination и concurrent changes проверяются вручную, а не автоматически
|
|
1218
1520
|
|
|
1521
|
+
## Планируемое развитие
|
|
1522
|
+
|
|
1523
|
+
Staggered Synthetic DiD пока не входит в публичный API. В roadmap предусмотрены
|
|
1524
|
+
два последовательных этапа:
|
|
1525
|
+
|
|
1526
|
+
1. cohort-specific обёртка поверх `fit_synthetic_did` с отдельной оценкой по
|
|
1527
|
+
каждой дате начала воздействия и взвешенной агрегацией результатов;
|
|
1528
|
+
2. современный staggered DiD estimator с корректными aggregate SE, p-value и
|
|
1529
|
+
confidence interval, а также явной диагностикой неоднородности эффектов.
|
|
1530
|
+
|
|
1531
|
+
До отдельной реализации и валидации эти функции не следует считать доступными
|
|
1532
|
+
или поддержанными в текущей версии пакета.
|
|
1533
|
+
|
|
1219
1534
|
## Версия
|
|
1220
1535
|
|
|
1221
1536
|
Текущая версия пакета: `1.0.5`
|
|
@@ -46,6 +46,20 @@ python -m pip install post-analysis-toolkit
|
|
|
46
46
|
- `notebooks/did_its_template.ipynb` — исполняемый шаблон DiD и ITS на искусственных данных.
|
|
47
47
|
- `CHANGELOG.md` — история изменений.
|
|
48
48
|
|
|
49
|
+
## Планируемое развитие
|
|
50
|
+
|
|
51
|
+
В будущих версиях планируется добавить staggered SDID поверх текущей
|
|
52
|
+
реализации Synthetic DiD в два этапа:
|
|
53
|
+
|
|
54
|
+
1. cohort-specific обёртку: отдельная SDID-оценка для каждой когорты даты
|
|
55
|
+
воздействия и взвешенная агрегация cohort-эффектов;
|
|
56
|
+
2. современный staggered DiD estimator с явно заданным estimand и корректной
|
|
57
|
+
aggregate SE, p-value и confidence interval, включая диагностику
|
|
58
|
+
неоднородности эффектов.
|
|
59
|
+
|
|
60
|
+
Это пока roadmap, а не доступный API: реализация и выбор точной методологии
|
|
61
|
+
будут сделаны отдельно после проверки на синтетических и реальных данных.
|
|
62
|
+
|
|
49
63
|
## Дополнительные материалы
|
|
50
64
|
|
|
51
65
|
- [Статья о методологии в build.in](https://buildin.ai/82e65b2c-584b-423d-ad42-95492024aed8)
|