upliftlab 0.26.2__tar.gz → 0.26.4__tar.gz

{upliftlab-0.26.2 → upliftlab-0.26.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: upliftlab
-Version: 0.26.2
+Version: 0.26.4
 Summary: Find the uplift model that gives the most incremental outcome for the same budget, on your own experiment data
 License-Expression: MIT
 Project-URL: Homepage, https://uplift-lab.vercel.app
@@ -20,7 +20,7 @@ License-File: web/vendor/LICENSES.txt
 License-File: web/data/LICENSE-criteo.md
 Requires-Dist: numpy>=1.21
 Requires-Dist: scikit-learn>=1.2
-Requires-Dist: econml>=0.16; platform_machine != "aarch64" and platform_machine != "ARM64"
+Requires-Dist: econml>=0.16; platform_machine != "aarch64" and platform_machine != "ARM64" and (sys_platform != "darwin" or platform_machine == "arm64")
 Provides-Extra: gpu
 Requires-Dist: torch; extra == "gpu"
 Provides-Extra: templates
@@ -39,11 +39,12 @@ Dynamic: license-file
 
 [![Live demo](https://img.shields.io/badge/demo-uplift--lab.vercel.app-4d8dff?style=flat-square)](https://uplift-lab.vercel.app)
 [![PyPI](https://img.shields.io/pypi/v/upliftlab?style=flat-square&color=11141a&label=pypi)](https://pypi.org/project/upliftlab/)
+[![Tests](https://img.shields.io/github/actions/workflow/status/Funbucket/upliftlab/test.yml?branch=main&style=flat-square&label=tests)](https://github.com/Funbucket/upliftlab/actions/workflows/test.yml)
 [![Built on EconML](https://img.shields.io/badge/built%20on-EconML-11141a?style=flat-square)](https://github.com/py-why/EconML)
 [![Python 3.10+](https://img.shields.io/badge/python-3.10%2B-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/pyproject.toml)
 [![MIT License](https://img.shields.io/badge/license-MIT-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/LICENSE)
 
-**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)
+**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)  ·  [English](https://github.com/Funbucket/upliftlab/blob/main/README.en.md)
 
 <sub>위 순위표는 Criteo 광고 실험 199,837명을 예산 40%, 8사이클로 돌린 실제 결과예요(EconML). 사이트에서는 사이클 1부터 8까지 다시 보여 줘요.</sub>
 
@@ -53,6 +54,8 @@ Dynamic: license-file
 
 Qini가 가장 높은 모델이 운영에서도 가장 많이 남길까요? 오프라인 지표 하나로 모델을 고르면, 대상 선정과 재학습을 반복하면서 생기는 차이를 놓쳐요.
 
+비용이 사용자마다 다른 합성 쿠폰 시장에서 10개 시드 모두, Qini 1위 모델은 같은 예산에서 루프 1위보다 증분 성과가 평균 17% 적었어요. 비용을 보는 AUCC는 10번 모두 맞혔어요. Criteo에서는 시드마다 1위가 바뀌고, 확실한 차이는 Random과의 차이뿐이었어요. [실험과 재현 방법](https://github.com/Funbucket/upliftlab/blob/main/docs/offline-vs-loop.md)
+
 - **운영 루프를 그대로 돌려요.** 모델마다 대상을 고르고, 처치군과 대조군으로 효과를 재고, 재학습하는 과정을 사이클마다 반복해요.
 - **같은 조건에서만 비교해요.** 모든 모델이 같은 사용자, 같은 예산, 같은 무작위 Explore 그룹을 써요. 차이는 대상을 고른 방식에서만 생겨요.
 - **차이가 유의한지 보여 줘요.** 1위와의 차이를 95% CI로 그려서, 순위를 확정할 수 없는 박빙이면 그렇다고 적어요.
@@ -87,7 +90,7 @@ uv를 쓴다면 설치 없이 `uvx upliftlab` 한 줄이면 돼요. 처음 실
 
 | ① 데이터 넣기 | ② 비교 시작 | ③ 보고서 공유 |
 | :-- | :-- | :-- |
-| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 메신저 요약으로 보내요. |
+| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 결과 이미지(PNG), 메신저 요약으로 보내요. |
 
 ## 기본 모델
 
@@ -133,7 +136,7 @@ upliftlab run --data my_experiment.csv --algorithm my_model.py
 | 비용 (선택) | `coupon_cost` | 처치로 쓴 비용. 없으면 처치 1건당 1로 계산해요 |
 | 공변량 | `visit_freq`, … | 처치 **전에** 측정한 사용자 특성 |
 
-기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트와 패키지에 들어 있어요.
+기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트에 들어 있고, 로컬판은 처음 쓸 때 내려받아요.
 
 </details>
 

{upliftlab-0.26.2 → upliftlab-0.26.4}/README.md

@@ -6,11 +6,12 @@
 
 [![Live demo](https://img.shields.io/badge/demo-uplift--lab.vercel.app-4d8dff?style=flat-square)](https://uplift-lab.vercel.app)
 [![PyPI](https://img.shields.io/pypi/v/upliftlab?style=flat-square&color=11141a&label=pypi)](https://pypi.org/project/upliftlab/)
+[![Tests](https://img.shields.io/github/actions/workflow/status/Funbucket/upliftlab/test.yml?branch=main&style=flat-square&label=tests)](https://github.com/Funbucket/upliftlab/actions/workflows/test.yml)
 [![Built on EconML](https://img.shields.io/badge/built%20on-EconML-11141a?style=flat-square)](https://github.com/py-why/EconML)
 [![Python 3.10+](https://img.shields.io/badge/python-3.10%2B-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/pyproject.toml)
 [![MIT License](https://img.shields.io/badge/license-MIT-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/LICENSE)
 
-**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)
+**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)  ·  [English](https://github.com/Funbucket/upliftlab/blob/main/README.en.md)
 
 <sub>위 순위표는 Criteo 광고 실험 199,837명을 예산 40%, 8사이클로 돌린 실제 결과예요(EconML). 사이트에서는 사이클 1부터 8까지 다시 보여 줘요.</sub>
 
@@ -20,6 +21,8 @@
 
 Qini가 가장 높은 모델이 운영에서도 가장 많이 남길까요? 오프라인 지표 하나로 모델을 고르면, 대상 선정과 재학습을 반복하면서 생기는 차이를 놓쳐요.
 
+비용이 사용자마다 다른 합성 쿠폰 시장에서 10개 시드 모두, Qini 1위 모델은 같은 예산에서 루프 1위보다 증분 성과가 평균 17% 적었어요. 비용을 보는 AUCC는 10번 모두 맞혔어요. Criteo에서는 시드마다 1위가 바뀌고, 확실한 차이는 Random과의 차이뿐이었어요. [실험과 재현 방법](https://github.com/Funbucket/upliftlab/blob/main/docs/offline-vs-loop.md)
+
 - **운영 루프를 그대로 돌려요.** 모델마다 대상을 고르고, 처치군과 대조군으로 효과를 재고, 재학습하는 과정을 사이클마다 반복해요.
 - **같은 조건에서만 비교해요.** 모든 모델이 같은 사용자, 같은 예산, 같은 무작위 Explore 그룹을 써요. 차이는 대상을 고른 방식에서만 생겨요.
 - **차이가 유의한지 보여 줘요.** 1위와의 차이를 95% CI로 그려서, 순위를 확정할 수 없는 박빙이면 그렇다고 적어요.
@@ -54,7 +57,7 @@ uv를 쓴다면 설치 없이 `uvx upliftlab` 한 줄이면 돼요. 처음 실
 
 | ① 데이터 넣기 | ② 비교 시작 | ③ 보고서 공유 |
 | :-- | :-- | :-- |
-| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 메신저 요약으로 보내요. |
+| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 결과 이미지(PNG), 메신저 요약으로 보내요. |
 
 ## 기본 모델
 
@@ -100,7 +103,7 @@ upliftlab run --data my_experiment.csv --algorithm my_model.py
 | 비용 (선택) | `coupon_cost` | 처치로 쓴 비용. 없으면 처치 1건당 1로 계산해요 |
 | 공변량 | `visit_freq`, … | 처치 **전에** 측정한 사용자 특성 |
 
-기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트와 패키지에 들어 있어요.
+기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트에 들어 있고, 로컬판은 처음 쓸 때 내려받아요.
 
 </details>
 

{upliftlab-0.26.2 → upliftlab-0.26.4}/engine/upliftlab/__init__.py

@@ -2,4 +2,4 @@
 
 The same package runs in the browser (Pyodide) and natively (`python -m upliftlab serve`).
 """
-__version__ = '0.26.2'
+__version__ = '0.26.4'

{upliftlab-0.26.2 → upliftlab-0.26.4}/engine/upliftlab/__main__.py

@@ -77,28 +77,48 @@ def main(argv=None):
         print(f'{dataset} · {len(algorithms)} algorithms · {args.cycles} cycles · device {devices[0]}', file=sys.stderr)
         bridge.set_reporter(lambda m: (lambda d: d.get('phase') == 'done' and print(f"  c{d['cycle']} {d['arm']} done", file=sys.stderr))(json.loads(m)))
         result = bridge.run_all(dataset, algorithms, args.cycles, args.explore, args.target, args.seed, args.mode, args.budget, args.base_learner, args.efficiency)
-        by = result['summary']['by']
-        measure = ('incremental' if by.lower().endswith('incr') else 'gain') + (' (truth)' if by.startswith('truth') else ' (observed)')
-        volume = by.lower().endswith('incr')  # ranked by incremental outcome: the band is the gap to first place, as on the screen
-        print(f"\n{'rank':<5}{'algorithm':<26}{measure:>22}{'vs 1st, 95% CI' if volume else 'observed 95% CI':>30}{'AUCC':>8}{'Qini':>8}{'fit ms':>9}")
-        for s in sorted(result['summary']['arms'], key=lambda s: s['rank']):
-            g, ci, auc, ms = s[by], s['ci'], s['aucc'], s['trainMs']
-            gain = '—' if g is None else f'{g:,.0f}' if volume else f'{g:+.1%}'
-            q = '—' if s['qini'] is None else f"{s['qini']:.3f}"
-            gap = s.get('vsLeader') or {}
-            if volume:
-                band = '1st' if s['rank'] == 1 else '—' if gap.get('diff') is None or gap.get('ci', [None])[0] is None else f"{gap['diff']:+,.0f} [{gap['ci'][0]:+,.0f}, {gap['ci'][1]:+,.0f}]"
-            else:
-                band = '—' if ci[0] is None else f'[{ci[0]:+.1%}, {ci[1]:+.1%}]'
-            auc = '—' if auc is None else f'{auc:.3f}'
-            ms = '—' if ms is None else f'{ms:.0f}'
-            print(f"{s['rank']:<5}{s['name'][:25]:<26}{gain:>22}{band:>30}{auc:>8}{q:>8}{ms:>9}")
+        print('\n' + '\n'.join(table(result)))
         print('\n' + conclusion(result, args.mode))
         if args.out:
             Path(args.out).write_text(json.dumps({'format': 'upliftlab.run/1', **result}, ensure_ascii=False))
             print(f'\nwrote {args.out}', file=sys.stderr)
 
 
+def table(result):
+    """The ranking as lines of text. The second header line names each column's basis. The ranked value, its gap to first
+    place, AUCC and Qini use the ranking's basis; the 95% CI is always observed, since only observed data has sampling
+    error. With synthetic data that adds the observed gap as its own column, which is what an experiment would have shown."""
+    arms, by = result['summary']['arms'], result['summary']['by']
+    truth, volume = by.startswith('truth'), by.lower().endswith('incr')
+    basis, lead = ('truth' if truth else 'observed'), min(arms, key=lambda s: s['rank'])
+    dash = '—'
+    fix = lambda v, f: dash if v is None else format(v, f)  # noqa: E731
+
+    def observed_gap(s):
+        gap = s.get('vsLeader') or {}
+        if s['rank'] == 1:
+            return '1st'
+        if gap.get('diff') is None or (gap.get('ci') or [None])[0] is None:
+            return dash
+        return f"{gap['diff']:+,.0f} [{gap['ci'][0]:+,.0f}, {gap['ci'][1]:+,.0f}]"
+
+    columns = [('incremental' if volume else 'gain', basis, 13, lambda s: fix(s[by], ',.0f' if volume else '+.1%'))]
+    if volume and truth:
+        columns.append(('vs 1st', 'truth', 10, lambda s: '1st' if s['rank'] == 1 else dash if s[by] is None or lead[by] is None else f'{s[by] - lead[by]:+,.0f}'))
+    if volume:
+        columns.append(('vs 1st, 95% CI', 'observed', 26, observed_gap))
+    else:
+        columns.append(('95% CI', 'observed', 20, lambda s: dash if s['ci'][0] is None else f"[{s['ci'][0]:+.1%}, {s['ci'][1]:+.1%}]"))
+    columns += [('AUCC', basis, 10, lambda s: fix(s['auccTruth' if truth else 'aucc'], '.3f')),
+                ('Qini', basis, 10, lambda s: fix(s['qiniTruth' if truth else 'qini'], '.3f')),
+                ('fit ms', '', 8, lambda s: fix(s['trainMs'], '.0f'))]
+    lines = [f"{'rank':<5}{'algorithm':<26}" + ''.join(f'{name:>{w}}' for name, _, w, _ in columns),
+             ' ' * 31 + ''.join(f'{b:>{w}}' for _, b, w, _ in columns)]
+    for s in sorted(arms, key=lambda s: s['rank']):
+        lines.append(f"{s['rank']:<5}{s['name'][:25]:<26}" + ''.join(f'{cell(s):>{w}}' for _, _, w, cell in columns))
+    return lines
+
+
 def conclusion(result, mode):
     """One line under the table: who won, by how much over Random, on which basis."""
     arms, by = result['summary']['arms'], result['summary']['by']

{upliftlab-0.26.2 → upliftlab-0.26.4}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "upliftlab"
-version = "0.26.2"
+version = "0.26.4"
 description = "Find the uplift model that gives the most incremental outcome for the same budget, on your own experiment data"
 requires-python = ">=3.10"
 readme = "README.md"
@@ -13,8 +13,10 @@ license-files = ["LICENSE", "web/fonts/LICENSE", "web/vendor/LICENSES.txt", "web
 keywords = ["uplift modeling", "causal inference", "CATE", "targeting", "marketing", "A/B testing"]
 classifiers = ["Programming Language :: Python :: 3", "Operating System :: OS Independent", "Intended Audience :: Science/Research", "Topic :: Scientific/Engineering"]
 # The engine needs only NumPy. The built-in algorithms use EconML (PyWhy) locally and fall back to their scikit-learn versions
-# (algorithms/lite) where EconML has no prebuilt wheel: Linux and Windows on ARM. Your own algorithms can use anything you install.
-dependencies = ["numpy>=1.21", "scikit-learn>=1.2", "econml>=0.16; platform_machine != 'aarch64' and platform_machine != 'ARM64'"]
+# (algorithms/lite) where EconML has no prebuilt wheel: Linux and Windows on ARM, and Intel Macs. Your own algorithms can use
+# anything you install.
+dependencies = ["numpy>=1.21", "scikit-learn>=1.2",
+                "econml>=0.16; platform_machine != 'aarch64' and platform_machine != 'ARM64' and (sys_platform != 'darwin' or platform_machine == 'arm64')"]
 
 [project.optional-dependencies]
 gpu = ["torch"]

{upliftlab-0.26.2 → upliftlab-0.26.4}/tests/test_engine.py

@@ -17,6 +17,7 @@ from upliftlab.arena import Run, knapsack, select, best_cutoff  # noqa: E402
 from upliftlab.arena import cost_estimator  # noqa: E402
 from upliftlab.metrics import aucc, cost_curve, pooled, qini, qini_draws, qini_of_draws, uplift_at  # noqa: E402
 from upliftlab.scenario import ReplayScenario, SyntheticScenario  # noqa: E402
+from upliftlab.__main__ import table  # noqa: E402
 
 BUILTINS = {a['id']: {'id': a['id'], 'name': a['name'], 'code': a['code']} for a in bridge.builtins()}
 TEMPLATES = {t['id']: t for t in bridge.templates()}
@@ -216,6 +217,27 @@ def test_ranking_does_not_depend_on_the_units_of_cost_or_outcome(algorithm):
         assert other_gain == pytest.approx(gain, abs=1e-9), units
 
 
+def test_the_command_line_table_ranks_and_measures_gaps_on_one_basis():
+    def arm(rank, name, truth, observed, gap=None):
+        return {'rank': rank, 'name': name, 'truthIncR': truth, 'incR': observed, 'ci': [None, None], 'trainMs': 5., 'aucc': .51, 'auccTruth': .61, 'qini': .02, 'qiniTruth': .04,
+                'vsLeader': None if gap is None else {'diff': gap, 'ci': [gap - 100, gap + 100], 'tied': False}}
+    synthetic = {'summary': {'by': 'truthIncR', 'arms': [arm(1, 'R-Learner', 2342., 2500.), arm(2, 'Random', 2172., 2139., gap=-361.)]}}
+    head, basis, first, second = table(synthetic)
+    assert head.split()[2:] == ['incremental', 'vs', '1st', 'vs', '1st,', '95%', 'CI', 'AUCC', 'Qini', 'fit', 'ms']
+    assert basis.split() == ['truth', 'truth', 'observed', 'truth', 'truth'], 'every column names its basis'
+    assert second.split()[2:6] == ['2,172', '-170', '-361', '[-461,'], 'the gap to first place is on the ranking basis, the observed one is its own column'
+    assert '0.610' in second and '0.040' in second, 'AUCC and Qini follow the ranking basis'
+    observed = {'summary': {'by': 'incR', 'arms': [arm(1, 'R-Learner', None, 2500.), arm(2, 'Random', None, 2139., gap=-361.)]}}
+    head, basis, first, second = table(observed)
+    assert basis.split() == ['observed', 'observed', 'observed', 'observed'] and second.split()[2:4] == ['2,139', '-361']
+    assert '0.510' in second and '0.020' in second
+    run = call('run_all', dataset='synthetic/base', algorithms=pick('r_learner', 'random_baseline'), cycles=3, mode='budget')
+    lines, s = table(run), sorted(run['summary']['arms'], key=lambda a: a['rank'])
+    assert lines[3].split()[3] == f"{s[1]['truthIncR'] - s[0]['truthIncR']:+,.0f}"
+    by_gain = table(call('run_all', dataset='synthetic/base', algorithms=pick('r_learner', 'random_baseline'), cycles=3))
+    assert by_gain[0].split()[2:4] == ['gain', '95%'] and by_gain[1].split() == ['truth', 'observed', 'truth', 'truth']
+
+
 def test_qini_and_uplift_at_k_follow_their_definitions():
     line = [{'f': f, 'cost': f * 10, 'value': f * 4} for f in (0, .25, .5, .75, 1)]
     assert qini(line) == pytest.approx(0), 'a straight line is random targeting'

{upliftlab-0.26.2 → upliftlab-0.26.4}/upliftlab.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: upliftlab
-Version: 0.26.2
+Version: 0.26.4
 Summary: Find the uplift model that gives the most incremental outcome for the same budget, on your own experiment data
 License-Expression: MIT
 Project-URL: Homepage, https://uplift-lab.vercel.app
@@ -20,7 +20,7 @@ License-File: web/vendor/LICENSES.txt
 License-File: web/data/LICENSE-criteo.md
 Requires-Dist: numpy>=1.21
 Requires-Dist: scikit-learn>=1.2
-Requires-Dist: econml>=0.16; platform_machine != "aarch64" and platform_machine != "ARM64"
+Requires-Dist: econml>=0.16; platform_machine != "aarch64" and platform_machine != "ARM64" and (sys_platform != "darwin" or platform_machine == "arm64")
 Provides-Extra: gpu
 Requires-Dist: torch; extra == "gpu"
 Provides-Extra: templates
@@ -39,11 +39,12 @@ Dynamic: license-file
 
 [![Live demo](https://img.shields.io/badge/demo-uplift--lab.vercel.app-4d8dff?style=flat-square)](https://uplift-lab.vercel.app)
 [![PyPI](https://img.shields.io/pypi/v/upliftlab?style=flat-square&color=11141a&label=pypi)](https://pypi.org/project/upliftlab/)
+[![Tests](https://img.shields.io/github/actions/workflow/status/Funbucket/upliftlab/test.yml?branch=main&style=flat-square&label=tests)](https://github.com/Funbucket/upliftlab/actions/workflows/test.yml)
 [![Built on EconML](https://img.shields.io/badge/built%20on-EconML-11141a?style=flat-square)](https://github.com/py-why/EconML)
 [![Python 3.10+](https://img.shields.io/badge/python-3.10%2B-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/pyproject.toml)
 [![MIT License](https://img.shields.io/badge/license-MIT-11141a?style=flat-square)](https://github.com/Funbucket/upliftlab/blob/main/LICENSE)
 
-**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)
+**[웹에서 바로 실행 →](https://uplift-lab.vercel.app)**  ·  [로컬 설치](#빠른-시작)  ·  [사용 안내](https://github.com/Funbucket/upliftlab/blob/main/docs/guide.md)  ·  [English](https://github.com/Funbucket/upliftlab/blob/main/README.en.md)
 
 <sub>위 순위표는 Criteo 광고 실험 199,837명을 예산 40%, 8사이클로 돌린 실제 결과예요(EconML). 사이트에서는 사이클 1부터 8까지 다시 보여 줘요.</sub>
 
@@ -53,6 +54,8 @@ Dynamic: license-file
 
 Qini가 가장 높은 모델이 운영에서도 가장 많이 남길까요? 오프라인 지표 하나로 모델을 고르면, 대상 선정과 재학습을 반복하면서 생기는 차이를 놓쳐요.
 
+비용이 사용자마다 다른 합성 쿠폰 시장에서 10개 시드 모두, Qini 1위 모델은 같은 예산에서 루프 1위보다 증분 성과가 평균 17% 적었어요. 비용을 보는 AUCC는 10번 모두 맞혔어요. Criteo에서는 시드마다 1위가 바뀌고, 확실한 차이는 Random과의 차이뿐이었어요. [실험과 재현 방법](https://github.com/Funbucket/upliftlab/blob/main/docs/offline-vs-loop.md)
+
 - **운영 루프를 그대로 돌려요.** 모델마다 대상을 고르고, 처치군과 대조군으로 효과를 재고, 재학습하는 과정을 사이클마다 반복해요.
 - **같은 조건에서만 비교해요.** 모든 모델이 같은 사용자, 같은 예산, 같은 무작위 Explore 그룹을 써요. 차이는 대상을 고른 방식에서만 생겨요.
 - **차이가 유의한지 보여 줘요.** 1위와의 차이를 95% CI로 그려서, 순위를 확정할 수 없는 박빙이면 그렇다고 적어요.
@@ -87,7 +90,7 @@ uv를 쓴다면 설치 없이 `uvx upliftlab` 한 줄이면 돼요. 처음 실
 
 | ① 데이터 넣기 | ② 비교 시작 | ③ 보고서 공유 |
 | :-- | :-- | :-- |
-| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 메신저 요약으로 보내요. |
+| 실험 로그 CSV를 끌어다 놓으면 처치, 결과, 비용, 공변량 열을 알아서 골라요. | 모델, 선정 방식, 예산을 확인하고 `비교 시작`을 눌러요. 끝나면 결과로 바로 내려가요. | 1위 모델, Random 대비 증분 성과, 2위와의 차이를 HTML 보고서, PDF, 결과 이미지(PNG), 메신저 요약으로 보내요. |
 
 ## 기본 모델
 
@@ -133,7 +136,7 @@ upliftlab run --data my_experiment.csv --algorithm my_model.py
 | 비용 (선택) | `coupon_cost` | 처치로 쓴 비용. 없으면 처치 1건당 1로 계산해요 |
 | 공변량 | `visit_freq`, … | 처치 **전에** 측정한 사용자 특성 |
 
-기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트와 패키지에 들어 있어요.
+기본 데이터는 [Criteo](https://ailab.criteo.com/criteo-uplift-prediction-dataset/) 광고 실험이에요. 원본 1,398만 명에서 처치군과 대조군을 10만 명씩 뽑은 표본(199,837명, 결과는 사이트 방문)이 사이트에 들어 있고, 로컬판은 처음 쓸 때 내려받아요.
 
 </details>
 

upliftlab-0.26.4/upliftlab.egg-info/requires.txt

@@ -0,0 +1,16 @@
+numpy>=1.21
+scikit-learn>=1.2
+
+[:platform_machine != "aarch64" and platform_machine != "ARM64" and (sys_platform != "darwin" or platform_machine == "arm64")]
+econml>=0.16
+
+[dev]
+pytest
+lightgbm>=4
+
+[gpu]
+torch
+
+[templates]
+lightgbm>=4
+torch

{upliftlab-0.26.2 → upliftlab-0.26.4}/web/app.js

@@ -1,9 +1,9 @@
 // Shell: header, router and the engine chip. Views live in ./views and read from ./store.
-import {$, esc, go} from './lib.js?v=0.26.2';
-import {state, subscribe, boot, running} from './store.js?v=0.26.2';
-import {workspaceView} from './views/workspace.js?v=0.26.2';
-import {algorithmsView} from './views/algorithms.js?v=0.26.2';
-import {dataView} from './views/data.js?v=0.26.2';
+import {$, esc, go} from './lib.js?v=0.26.4';
+import {state, subscribe, boot, running} from './store.js?v=0.26.4';
+import {workspaceView} from './views/workspace.js?v=0.26.4';
+import {algorithmsView} from './views/algorithms.js?v=0.26.4';
+import {dataView} from './views/data.js?v=0.26.4';
 
 const routes = [
   [/^\/?$/, workspaceView, () => ({})],