wtclean 0.2.6__tar.gz → 0.2.8__tar.gz

wtclean-0.2.8/MANIFEST.in

@@ -0,0 +1,3 @@
+include README.md
+include LICENSE
+include requirements.txt

{wtclean-0.2.6/wtclean.egg-info → wtclean-0.2.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: wtclean
-Version: 0.2.6
+Version: 0.2.8
 Summary: Wind turbine SCADA power-curve data cleaning via iterative bin + MAD filtering
 License: BSD-3-Clause
 Keywords: wind-energy,wind-turbine,scada,power-curve,outlier-detection,data-cleaning
@@ -14,11 +14,11 @@ Classifier: Topic :: Scientific/Engineering
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown
 License-File: LICENSE
-Requires-Dist: numpy
-Requires-Dist: pandas
-Requires-Dist: matplotlib
-Requires-Dist: scipy
-Requires-Dist: pygam
+Requires-Dist: numpy==2.2.6
+Requires-Dist: pandas==2.3.2
+Requires-Dist: matplotlib==3.10.0
+Requires-Dist: scipy==1.16.1
+Requires-Dist: pygam==0.12.0
 Dynamic: classifier
 Dynamic: description
 Dynamic: description-content-type
@@ -42,7 +42,7 @@ Dynamic: summary
 - **`normal_df`**：风机**正常运行**的数据点——功率落在该风速区间应有的功率带内。**后续做功率曲线建模、工况分析、机器学习等时主要用这一份**。
 - **`abnormal_df`**：其余所有被剔除的点。⚠️ **它不是"严格异常集"**，而是混了多种情况：停机、故障、限电/降载、桨距控制等**其它工况**、以及真正的传感器/数据异常。想区分异常类型，需要后续用更高阶方法（如 GAM/sigmoid 拟合、时间维度分析）处理。
 
-> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，以及逐点打上 `normal/abnormal` **标签并区分异常类型**，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
+> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，并把异常天整体剔除、输出 `normal/abnormal` 两个子集，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
 
 单台风机的整条清洗流水线分三步：
 
@@ -56,10 +56,6 @@ Dynamic: summary
 - 风速低于切入风速的点默认保留（近零功率属正常待机）；
 - 恒定功率的"水平聚集"类异常（如某段时间被固定在某一功率）**bin+MAD 识别不出来**，这是本方法的能力上限，应交给后续更精细的方案。
 
-## DailyAnomalyDetector：时间维度异常检测（v2）
-
-核心思路（来自 2020 国家电投"绿动未来"大赛 top1 方案）：**降维 + 对比**。先把单台风机的正常点压成一条基准功率曲线，再按天（或未来按小时）把每天的运行段压缩成"中位残差"，与整机曲线对比——某天整体偏移明显，就把该天判为异常，并给逐点打标签。它比纯 bin+MAD 能抓到**水平聚集 / 限电 / 降载**这类单点统计标不出的异常。
-
 ### 快速开始
 
 ```python
@@ -83,35 +79,26 @@ detector = DailyAnomalyDetector(
 
 normal_df, abnormal_df = detector.detect()
 
-detector.labels_           # pd.Series：每行一个标签
 detector.abnormal_days_    # set：被判异常的天（日期）
-detector.removal_counts_   # dict：各类异常点数统计
+detector.normal_days_      # set：被判正常的天（日期）
 ```
 
-### 输出标签含义
+### 输出含义
 
-`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）。每个点的异常类型看 `detector.labels_`：
+`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）：
 
-| 标签 | 含义 |
-| --- | --- |
-| `normal` | 正常 |
-| `nan` | 缺失：风速或功率为 NaN |
-| `range` | 越界：功率/风速为负，或功率 > 1.2×额定功率（切出风速以上功率非零也算） |
-| `downtime` | 停机：切入风速以上、功率却近零（≤ `downtime_power`） |
-| `curtailment` | 限电：额定风速以上、功率 < `low_power_ratio`×额定功率（高风低功率） |
-| `temporal` | 时间维度异常：整天的运行段整体偏离基准曲线（限电/降载/停机方向） |
-| `residual` | 逐点残差异常：单点相对基准曲线的残差超出该风速 bin 的 `z_coeff`×MAD 带 |
+- **`normal_df`**：正常天内的正常点（粗洗异常点不会进入）。
+- **`abnormal_df`**：其余所有点，包括粗洗异常点、被天级判定标出的异常天、以及样本数异常的天。
 
-优先级：粗洗四类（nan/range/downtime/curtailment）> `temporal` > `residual` > `normal`，即时间维度与残差只作用于尚未被粗洗标异常的点。
+天级判定只用一个固定规则：`median ± 3×MAD`（稳健 3σ），不再暴露额外的逐点残差参数。
 
 ### 检测流程
 
 1. **粗洗掩码**：`nan` / `range` / `downtime` / `curtailment` 直接判异常，不参与后续建模。
 2. **整机基准曲线**：用 `base_method`（默认 `gam` 单调 GAM，也可 `logistic_5_parametric` / `iec`）在粗洗后的点上拟合。
 3. **残差**：`resid = power - base(wind_speed)`。
-4. **天级判定**：每天"切入风速以上"点的中位残差 = 该天系统性偏移；跨天用 `median + day_z_coeff×MAD` 自适应阈值标异常天（默认只标"低于曲线"方向）。
-5. **逐点残差 bin-MAD 精洗**：按 `bin_width` 风速分箱，对残差做 `z_coeff×MAD` 带外判定（异方差）。
-6. 输出 `(normal_df, abnormal_df)`。
+4. **天级判定**：按天聚合中位残差和样本数；先用 `median ± 3×MAD` 过滤样本数异常的天，再对剩余天的中位残差用 `median ± 3×MAD` 判正常天/异常天。
+5. 输出 `(normal_df, abnormal_df)`。
 
 ### 参数说明
 
@@ -123,20 +110,14 @@ detector.removal_counts_   # dict：各类异常点数统计
 | `cut_out_speed` | `None` | 切出风速 m/s；给定后切出风速以上功率归零视为正常停机，未给则把高风零功率当停机异常。 |
 | `low_power_ratio` | `0.9` | 限电粗洗阈值：风速 ≥ 额定风速时功率 < 该比例×额定功率即判限电。 |
 | `downtime_power` | `1.0` | 功率 ≤ 该值（kW）且风速在切入以上视为停机。 |
-| `bin_width` | `0.5` | 残差分箱宽度 m/s。 |
-| `min_day_points` | `10` | 参与天级判定的最少样本数（每天约 144 点，正常数据下几乎不触发）。 |
-| `min_bin_points` | `3` | 残差 bin 参与判定的最少样本数（同上，兜底用）。 |
-| `z_coeff` | `3.5` | 逐点残差 MAD 倍数，控制残差精洗的**误杀率**：越大保留越多、误杀越少。 |
-| `day_z_coeff` | `2.5` | 天级分数 MAD 倍数，控制"整天判异常"的松紧；真实数据上天级偏移无天然分界、标出天数随该值平滑变化，建议按站点校准。 |
 | `base_method` | `"gam"` | 基准曲线后端：`gam`（默认，单调 GAM）/ `logistic_5_parametric` / `iec`。 |
 | `**base_kwargs` | — | 透传给 `fit_power_curve` 的额外参数。 |
 
 ### 调参建议
 
-- **`z_coeff`**：控制逐点残差精洗的误杀率。合成数据 + 真实数据（La Haute Borne R80721）一致显示 `2.5` 偏激进（残差点占比约 9.6%），故默认 `3.5`（约 4%）；若更看重"少动正常点"可放宽到 `4.0`（约 3%）。
-- **`day_z_coeff`**：**不是稳健旋钮**，需按站点校准。合成数据（正常天无系统偏移）上 2.0–6.0 结果一致，但真实数据（La Haute Borne R80721）上天级中位残差呈重尾连续分布（中心 0 kW、MAD 12 kW、尾部 -30~-68 kW），标出的异常天数随它平滑变化：`2.0→38 天`、`2.5→23 天`、`3.0→14 天`、`4.0→2 天`。建议结合已知干净时段或可视化 QC 选定，不要指望换个站点仍适用。
+- **天级阈值固定为 `median ± 3×MAD`**，不再暴露额外参数；需要更松/更紧时直接改 `detect()` 里的 `k = 3.0`。
 - **`base_method`**：默认 `gam` 带单调约束 + 网格搜样条数，无需调；`logistic_5_parametric` 的默认 bounds 假设 1.2–1.8 MW，其它机型需显式传 bounds。
-- 其它参数（`bin_width`/`min_day_points`/`min_bin_points`）对结果不敏感，正常数据量下可保持默认。
+- 每天样本数也按 `median ± 3×MAD` 过滤；若某些天只有个别点，这些天会整体进入 `abnormal_df`。这符合"下游只用 `normal_df`、宁可多删"的默认取舍。
 
 ## 安装
 

{wtclean-0.2.6 → wtclean-0.2.8}/README.md

@@ -11,7 +11,7 @@
 - **`normal_df`**：风机**正常运行**的数据点——功率落在该风速区间应有的功率带内。**后续做功率曲线建模、工况分析、机器学习等时主要用这一份**。
 - **`abnormal_df`**：其余所有被剔除的点。⚠️ **它不是"严格异常集"**，而是混了多种情况：停机、故障、限电/降载、桨距控制等**其它工况**、以及真正的传感器/数据异常。想区分异常类型，需要后续用更高阶方法（如 GAM/sigmoid 拟合、时间维度分析）处理。
 
-> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，以及逐点打上 `normal/abnormal` **标签并区分异常类型**，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
+> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，并把异常天整体剔除、输出 `normal/abnormal` 两个子集，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
 
 单台风机的整条清洗流水线分三步：
 
@@ -25,10 +25,6 @@
 - 风速低于切入风速的点默认保留（近零功率属正常待机）；
 - 恒定功率的"水平聚集"类异常（如某段时间被固定在某一功率）**bin+MAD 识别不出来**，这是本方法的能力上限，应交给后续更精细的方案。
 
-## DailyAnomalyDetector：时间维度异常检测（v2）
-
-核心思路（来自 2020 国家电投"绿动未来"大赛 top1 方案）：**降维 + 对比**。先把单台风机的正常点压成一条基准功率曲线，再按天（或未来按小时）把每天的运行段压缩成"中位残差"，与整机曲线对比——某天整体偏移明显，就把该天判为异常，并给逐点打标签。它比纯 bin+MAD 能抓到**水平聚集 / 限电 / 降载**这类单点统计标不出的异常。
-
 ### 快速开始
 
 ```python
@@ -52,35 +48,26 @@ detector = DailyAnomalyDetector(
 
 normal_df, abnormal_df = detector.detect()
 
-detector.labels_           # pd.Series：每行一个标签
 detector.abnormal_days_    # set：被判异常的天（日期）
-detector.removal_counts_   # dict：各类异常点数统计
+detector.normal_days_      # set：被判正常的天（日期）
 ```
 
-### 输出标签含义
+### 输出含义
 
-`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）。每个点的异常类型看 `detector.labels_`：
+`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）：
 
-| 标签 | 含义 |
-| --- | --- |
-| `normal` | 正常 |
-| `nan` | 缺失：风速或功率为 NaN |
-| `range` | 越界：功率/风速为负，或功率 > 1.2×额定功率（切出风速以上功率非零也算） |
-| `downtime` | 停机：切入风速以上、功率却近零（≤ `downtime_power`） |
-| `curtailment` | 限电：额定风速以上、功率 < `low_power_ratio`×额定功率（高风低功率） |
-| `temporal` | 时间维度异常：整天的运行段整体偏离基准曲线（限电/降载/停机方向） |
-| `residual` | 逐点残差异常：单点相对基准曲线的残差超出该风速 bin 的 `z_coeff`×MAD 带 |
+- **`normal_df`**：正常天内的正常点（粗洗异常点不会进入）。
+- **`abnormal_df`**：其余所有点，包括粗洗异常点、被天级判定标出的异常天、以及样本数异常的天。
 
-优先级：粗洗四类（nan/range/downtime/curtailment）> `temporal` > `residual` > `normal`，即时间维度与残差只作用于尚未被粗洗标异常的点。
+天级判定只用一个固定规则：`median ± 3×MAD`（稳健 3σ），不再暴露额外的逐点残差参数。
 
 ### 检测流程
 
 1. **粗洗掩码**：`nan` / `range` / `downtime` / `curtailment` 直接判异常，不参与后续建模。
 2. **整机基准曲线**：用 `base_method`（默认 `gam` 单调 GAM，也可 `logistic_5_parametric` / `iec`）在粗洗后的点上拟合。
 3. **残差**：`resid = power - base(wind_speed)`。
-4. **天级判定**：每天"切入风速以上"点的中位残差 = 该天系统性偏移；跨天用 `median + day_z_coeff×MAD` 自适应阈值标异常天（默认只标"低于曲线"方向）。
-5. **逐点残差 bin-MAD 精洗**：按 `bin_width` 风速分箱，对残差做 `z_coeff×MAD` 带外判定（异方差）。
-6. 输出 `(normal_df, abnormal_df)`。
+4. **天级判定**：按天聚合中位残差和样本数；先用 `median ± 3×MAD` 过滤样本数异常的天，再对剩余天的中位残差用 `median ± 3×MAD` 判正常天/异常天。
+5. 输出 `(normal_df, abnormal_df)`。
 
 ### 参数说明
 
@@ -92,20 +79,14 @@ detector.removal_counts_   # dict：各类异常点数统计
 | `cut_out_speed` | `None` | 切出风速 m/s；给定后切出风速以上功率归零视为正常停机，未给则把高风零功率当停机异常。 |
 | `low_power_ratio` | `0.9` | 限电粗洗阈值：风速 ≥ 额定风速时功率 < 该比例×额定功率即判限电。 |
 | `downtime_power` | `1.0` | 功率 ≤ 该值（kW）且风速在切入以上视为停机。 |
-| `bin_width` | `0.5` | 残差分箱宽度 m/s。 |
-| `min_day_points` | `10` | 参与天级判定的最少样本数（每天约 144 点，正常数据下几乎不触发）。 |
-| `min_bin_points` | `3` | 残差 bin 参与判定的最少样本数（同上，兜底用）。 |
-| `z_coeff` | `3.5` | 逐点残差 MAD 倍数，控制残差精洗的**误杀率**：越大保留越多、误杀越少。 |
-| `day_z_coeff` | `2.5` | 天级分数 MAD 倍数，控制"整天判异常"的松紧；真实数据上天级偏移无天然分界、标出天数随该值平滑变化，建议按站点校准。 |
 | `base_method` | `"gam"` | 基准曲线后端：`gam`（默认，单调 GAM）/ `logistic_5_parametric` / `iec`。 |
 | `**base_kwargs` | — | 透传给 `fit_power_curve` 的额外参数。 |
 
 ### 调参建议
 
-- **`z_coeff`**：控制逐点残差精洗的误杀率。合成数据 + 真实数据（La Haute Borne R80721）一致显示 `2.5` 偏激进（残差点占比约 9.6%），故默认 `3.5`（约 4%）；若更看重"少动正常点"可放宽到 `4.0`（约 3%）。
-- **`day_z_coeff`**：**不是稳健旋钮**，需按站点校准。合成数据（正常天无系统偏移）上 2.0–6.0 结果一致，但真实数据（La Haute Borne R80721）上天级中位残差呈重尾连续分布（中心 0 kW、MAD 12 kW、尾部 -30~-68 kW），标出的异常天数随它平滑变化：`2.0→38 天`、`2.5→23 天`、`3.0→14 天`、`4.0→2 天`。建议结合已知干净时段或可视化 QC 选定，不要指望换个站点仍适用。
+- **天级阈值固定为 `median ± 3×MAD`**，不再暴露额外参数；需要更松/更紧时直接改 `detect()` 里的 `k = 3.0`。
 - **`base_method`**：默认 `gam` 带单调约束 + 网格搜样条数，无需调；`logistic_5_parametric` 的默认 bounds 假设 1.2–1.8 MW，其它机型需显式传 bounds。
-- 其它参数（`bin_width`/`min_day_points`/`min_bin_points`）对结果不敏感，正常数据量下可保持默认。
+- 每天样本数也按 `median ± 3×MAD` 过滤；若某些天只有个别点，这些天会整体进入 `abnormal_df`。这符合"下游只用 `normal_df`、宁可多删"的默认取舍。
 
 ## 安装
 

wtclean-0.2.8/requirements.txt

@@ -0,0 +1,5 @@
+numpy==2.2.6
+pandas==2.3.2
+matplotlib==3.10.0
+scipy==1.16.1
+pygam==0.12.0

{wtclean-0.2.6 → wtclean-0.2.8}/setup.py

@@ -1,11 +1,15 @@
+import os
+
 import setuptools
 
-with open("README.md", "r", encoding="utf-8") as fh:
+HERE = os.path.dirname(os.path.abspath(__file__))
+
+with open(os.path.join(HERE, "README.md"), "r", encoding="utf-8") as fh:
     long_description = fh.read()
 
 setuptools.setup(
     name="wtclean",
-    version="0.2.6",
+    version="0.2.8",
     description="Wind turbine SCADA power-curve data cleaning via iterative bin + MAD filtering",
     long_description=long_description,
     long_description_content_type="text/markdown",
@@ -22,7 +26,11 @@ setuptools.setup(
     ],
     packages=setuptools.find_packages(exclude=["test", "examples"]),
     python_requires=">=3.10",
-    install_requires=["numpy", "pandas", "matplotlib", "scipy", "pygam"],
+    install_requires=[
+        line.strip()
+        for line in open(os.path.join(HERE, "requirements.txt"), "r", encoding="utf-8")
+        if line.strip() and not line.strip().startswith("#")
+    ],
     keywords=[
         "wind-energy",
         "wind-turbine",

{wtclean-0.2.6 → wtclean-0.2.8}/test/test_daily_anomaly_detection.py

@@ -84,7 +84,27 @@ class TestDailyAnomalyDetector(unittest.TestCase):
         with self.assertRaises(ValueError):
             _det(df, low_power_ratio=1.5)
         with self.assertRaises(ValueError):
-            _det(df, bin_width=0)
+            DailyAnomalyDetector(
+                "ws", "pw", "ts", df,
+                cut_in_speed=0.0, rated_wind_speed=RATED_WS, rated_power=RATED_PWR
+            )
+
+    def test_output_columns(self):
+        df, _ = _synth()
+        normal, abnormal = _det(df).detect()
+        self.assertEqual(list(normal.columns), list(df.columns))
+        self.assertEqual(list(abnormal.columns), list(df.columns))
+        for frame in (normal, abnormal):
+            for col in ("_row_id", "_date", "_resid"):
+                self.assertNotIn(col, frame.columns)
+
+    def test_single_day_not_all_abnormal(self):
+        df, _ = _synth(days=1)
+        det = _det(df)
+        normal, abnormal = det.detect()
+        self.assertGreater(len(normal), 0)
+        self.assertEqual(len(normal) + len(abnormal), len(df))
+        self.assertEqual(det.abnormal_days_, set())
 
     def test_auto_estimate_params(self):
         df, _ = _synth()

{wtclean-0.2.6 → wtclean-0.2.8}/wtclean/modules/daily_anomaly_detection.py

@@ -3,7 +3,7 @@
 
 对单台风机：先用整机数据拟合基准功率曲线，再按天统计该天的点相对基准曲线的
 系统性偏移，从而把"水平聚集 / 限电 / 降载"这类单点统计方法标不出的异常天揪出来，
-并把异常天内的点整体标记为异常。最终仍输出逐点 normal / abnormal 标签。
+并把异常天内的点整体标记为异常。最终输出 normal / abnormal 两个数据子集。
 """
 
 import numpy as np
@@ -25,14 +25,8 @@ class DailyAnomalyDetector:
         rated_wind_speed: 额定风速；缺省自动反推。
         rated_power: 额定功率；缺省自动反推。
         cut_out_speed: 切出风速（可选）；给定后切出风速以上功率归零视为正常停机。
-        low_power_ratio: 高风区功率低于该比例即视为限电/高风低功率异常。
+        low_power_ratio: 风速达到额定风速后，功率低于该比例×额定功率即视为限电异常。
         downtime_power: 功率低于该值且风速在切入以上视为停机异常。
-        bin_width: 残差分箱宽度。
-        min_day_points: 参与天级判定的最少样本数。
-        min_bin_points: 残差 bin 参与判定的最少样本数。
-        z_coeff: 逐点残差 MAD 倍数（控制逐点残差精洗的误杀率，越大保留越多）。
-        day_z_coeff: 天级分数 MAD 倍数（控制"整天系统性偏移"判定的松紧；真实数据上天级
-            偏移呈重尾连续分布、无天然分界，标出天数随该值平滑变化，建议按站点校准）。
         base_method: 基准曲线后端（gam / logistic / iec）。
     """
 
@@ -42,19 +36,12 @@ class DailyAnomalyDetector:
         power_label: str,
         timestamp_label: str,
         df: pd.DataFrame,
-        #
         cut_in_speed: float | None = None,
         rated_wind_speed: float | None = None,
         rated_power: float | None = None,
         cut_out_speed: float | None = None,
-        #
         low_power_ratio: float = 0.9,
         downtime_power: float = 1.0,
-        bin_width: float = 0.5,
-        min_day_points: int = 10,
-        min_bin_points: int = 3,
-        z_coeff: float = 3.5,
-        day_z_coeff: float = 2.5,
         base_method: str = "gam",
         **base_kwargs,
     ) -> None:
@@ -102,34 +89,24 @@ class DailyAnomalyDetector:
             raise ValueError(
                 f"low_power_ratio must be in (0, 1], got {low_power_ratio}"
             )
-        if bin_width <= 0:
-            raise ValueError(f"bin_width must be > 0, got {bin_width}")
-        if z_coeff <= 0 or day_z_coeff <= 0:
-            raise ValueError("z_coeff and day_z_coeff must be > 0")
-        if min_day_points < 1 or min_bin_points < 1:
-            raise ValueError("min_day_points and min_bin_points must be >= 1")
 
         self.windspeed_label = windspeed_label
         self.power_label = power_label
         self.timestamp_label = timestamp_label
         self.df = df
         self.cut_out_speed = cut_out_speed
-        self.low_power_ratio = low_power_ratio
         self.downtime_power = downtime_power
-        self.bin_width = bin_width
-        self.min_day_points = min_day_points
-        self.min_bin_points = min_bin_points
-        self.z_coeff = z_coeff
-        self.day_z_coeff = day_z_coeff
+        self.low_power_ratio = low_power_ratio
+
         self.base_method = base_method
         self.base_kwargs = base_kwargs
 
     def detect(self) -> tuple[pd.DataFrame, pd.DataFrame]:
-        """运行天维度 + 残差检测，返回 ``(normal_df, abnormal_df)``。
+        """运行天级检测，返回 ``(normal_df, abnormal_df)``。
 
         Returns:
-            按行划分原始 ``df`` 的正常 / 异常两个子集；异常类型可通过
-            ``self.labels_`` 与 ``self.abnormal_days_`` 查看。
+            按行划分原始 ``df`` 的正常 / 异常两个子集；被判异常的天可通过
+            ``self.abnormal_days_`` 查看。
         """
         work = self.df.copy()
         work["_row_id"] = np.arange(len(work))
@@ -173,6 +150,11 @@ class DailyAnomalyDetector:
         analysis_mask = (~nan_mask) & (~range_mask) & (~downtime_mask) & (~curtail_mask)
         analysis_mask &= ws <= cut_out_eff
 
+        if not analysis_mask.any():
+            self.normal_days_ = set()
+            self.abnormal_days_ = set(work["_date"].dropna())
+            return self.df.iloc[0:0].copy(), self.df.copy()
+
         # ---- 整机基准曲线 ----
         self.base_curve_ = fit_power_curve(
             ws[analysis_mask],
@@ -181,75 +163,42 @@ class DailyAnomalyDetector:
             **self.base_kwargs,
         )
 
-        resid = np.full_like(pw, np.nan, dtype=float)
-        finite = np.isfinite(ws) & np.isfinite(pw)
-        resid[finite] = pw[finite] - self.base_curve_(ws[finite])
-        work["_resid"] = resid
-
-        # 逐点标签：normal=正常；其余为各粗洗异常类型（对应上面的掩码）
-        labels = pd.Series("normal", index=work.index, dtype=object)
-        labels[nan_mask] = "nan"  # 缺失：风速/功率为 NaN
-        labels[range_mask] = "range"  # 越界：数值超出物理合理范围
-        labels[downtime_mask] = "downtime"  # 停机：切入风速以上却功率近零
-        labels[curtail_mask] = "curtailment"  # 限电：额定风速以上功率远低于额定
-
-        clean = work[analysis_mask].copy()
-
-        # ---- 天级判定：该天运行段（切入以上）的中位残差 = 系统性偏移 ----
-        op = clean[clean[self.windspeed_label] >= self.cut_in_speed]
-        day_stats = op.groupby("_date")["_resid"].agg(median="median", n="size")
-        day_stats = day_stats[day_stats["n"] >= self.min_day_points]
-
-        self.day_scores_ = day_stats
-        if len(day_stats) >= 3:
-            center = day_stats["median"].median()
-            mad = (day_stats["median"] - center).abs().median()
-            lo = center - self.day_z_coeff * mad
-            abnormal_days = set(day_stats.index[day_stats["median"] < lo].tolist())
-        else:
-            lo = np.nan
-            abnormal_days = set()
-
-        self.abnormal_days_ = abnormal_days
-        self.day_threshold_ = lo
-
-        # ---- 逐点残差 bin-MAD 精洗（异方差）----
-        clean = clean.assign(
-            _bin=np.floor(clean[self.windspeed_label] / self.bin_width).astype("Int64")
+        clean_df = work[analysis_mask].copy()
+        clean_df["_resid"] = clean_df[self.power_label] - self.base_curve_(
+            clean_df[self.windspeed_label]
         )
-        bin_stats = (
-            clean.groupby("_bin")["_resid"]
-            .agg(n="size", med="median", mad=lambda x: (x - x.median()).abs().median())
-            .reset_index()
+
+        # ---- 天级判定：每天中位残差 + 每天点数都用 median ± 3×MAD ----
+        k = 3.0
+        raw_day_stats = clean_df.groupby("_date")["_resid"].agg(
+            median="median", n="size"
         )
-        bin_stats.loc[
-            (bin_stats["n"] < self.min_bin_points) | (bin_stats["mad"] == 0), "mad"
-        ] = np.nan
-        clean = clean.merge(bin_stats[["_bin", "med", "mad"]], on="_bin", how="left")
-
-        resid_outlier = (
-            (clean["_resid"] - clean["med"]).abs() > self.z_coeff * clean["mad"]
-        ) & clean["mad"].notna()
-
-        resid_outlier_ids = clean.loc[resid_outlier, "_row_id"].tolist()
-        temporal_ids = clean.loc[clean["_date"].isin(abnormal_days), "_row_id"].tolist()
-
-        # temporal：时间维度异常——整天的运行段整体偏离基准曲线（限电/降载/停机方向），
-        # 该天内的点整体标为异常（单点看可能落在正常带内，只有整条天曲线对比才现形）
-        labels.loc[work["_row_id"].isin(set(temporal_ids))] = "temporal"
-        # residual：逐点残差异常——单个点相对基准曲线的残差超出该风速 bin 的
-        # z_coeff×MAD 带外（异方差离群点），仅在尚未被标记的点上生效
-        labels.loc[
-            work["_row_id"].isin(set(resid_outlier_ids)) & (labels == "normal")
-        ] = "residual"
-
-        self.labels_ = labels
-        self.removal_counts_ = labels[labels != "normal"].value_counts().to_dict()
-
-        normal_df = work[labels == "normal"].drop(
-            columns=["_row_id", "_date", "_resid"]
+
+        median_n = raw_day_stats["n"].median()
+        mad_n = (raw_day_stats["n"] - median_n).abs().median()
+        count_mask = raw_day_stats["n"].between(
+            median_n - k * mad_n, median_n + k * mad_n
         )
-        abnormal_df = work[labels != "normal"].drop(
-            columns=["_row_id", "_date", "_resid"]
+        day_stats = raw_day_stats.loc[count_mask]
+
+        if day_stats.empty:
+            self.normal_days_ = set()
+            self.abnormal_days_ = set(work["_date"].dropna())
+            return self.df.iloc[0:0].copy(), self.df.copy()
+
+        median_resid = day_stats["median"].median()
+        mad_resid = (day_stats["median"] - median_resid).abs().median()
+        normal_mask = day_stats["median"].between(
+            median_resid - k * mad_resid, median_resid + k * mad_resid
         )
+        normal_dates = set(day_stats.index[normal_mask])
+        self.normal_days_ = normal_dates
+        self.abnormal_days_ = set(work["_date"].dropna()) - normal_dates
+
+        normal_row_ids = clean_df.loc[
+            clean_df["_date"].isin(normal_dates), "_row_id"
+        ]
+        is_normal = work["_row_id"].isin(normal_row_ids)
+        normal_df = work.loc[is_normal, self.df.columns].copy()
+        abnormal_df = work.loc[~is_normal, self.df.columns].copy()
         return normal_df, abnormal_df

{wtclean-0.2.6 → wtclean-0.2.8/wtclean.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: wtclean
-Version: 0.2.6
+Version: 0.2.8
 Summary: Wind turbine SCADA power-curve data cleaning via iterative bin + MAD filtering
 License: BSD-3-Clause
 Keywords: wind-energy,wind-turbine,scada,power-curve,outlier-detection,data-cleaning
@@ -14,11 +14,11 @@ Classifier: Topic :: Scientific/Engineering
 Requires-Python: >=3.10
 Description-Content-Type: text/markdown
 License-File: LICENSE
-Requires-Dist: numpy
-Requires-Dist: pandas
-Requires-Dist: matplotlib
-Requires-Dist: scipy
-Requires-Dist: pygam
+Requires-Dist: numpy==2.2.6
+Requires-Dist: pandas==2.3.2
+Requires-Dist: matplotlib==3.10.0
+Requires-Dist: scipy==1.16.1
+Requires-Dist: pygam==0.12.0
 Dynamic: classifier
 Dynamic: description
 Dynamic: description-content-type
@@ -42,7 +42,7 @@ Dynamic: summary
 - **`normal_df`**：风机**正常运行**的数据点——功率落在该风速区间应有的功率带内。**后续做功率曲线建模、工况分析、机器学习等时主要用这一份**。
 - **`abnormal_df`**：其余所有被剔除的点。⚠️ **它不是"严格异常集"**，而是混了多种情况：停机、故障、限电/降载、桨距控制等**其它工况**、以及真正的传感器/数据异常。想区分异常类型，需要后续用更高阶方法（如 GAM/sigmoid 拟合、时间维度分析）处理。
 
-> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，以及逐点打上 `normal/abnormal` **标签并区分异常类型**，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
+> 想识别**限电/降载/停机成片出现、单点看却落在正常带内**的"隐藏异常"，并把异常天整体剔除、输出 `normal/abnormal` 两个子集，请用 [DailyAnomalyDetector](#dailyanomalydetector时间维度异常检测v2)（v2，时间维度 + 基准曲线对比）。`PowerCurveFiltering`（v1）是无模型的 bin+MAD 粗洗，适合作为对照或初筛。
 
 单台风机的整条清洗流水线分三步：
 
@@ -56,10 +56,6 @@ Dynamic: summary
 - 风速低于切入风速的点默认保留（近零功率属正常待机）；
 - 恒定功率的"水平聚集"类异常（如某段时间被固定在某一功率）**bin+MAD 识别不出来**，这是本方法的能力上限，应交给后续更精细的方案。
 
-## DailyAnomalyDetector：时间维度异常检测（v2）
-
-核心思路（来自 2020 国家电投"绿动未来"大赛 top1 方案）：**降维 + 对比**。先把单台风机的正常点压成一条基准功率曲线，再按天（或未来按小时）把每天的运行段压缩成"中位残差"，与整机曲线对比——某天整体偏移明显，就把该天判为异常，并给逐点打标签。它比纯 bin+MAD 能抓到**水平聚集 / 限电 / 降载**这类单点统计标不出的异常。
-
 ### 快速开始
 
 ```python
@@ -83,35 +79,26 @@ detector = DailyAnomalyDetector(
 
 normal_df, abnormal_df = detector.detect()
 
-detector.labels_           # pd.Series：每行一个标签
 detector.abnormal_days_    # set：被判异常的天（日期）
-detector.removal_counts_   # dict：各类异常点数统计
+detector.normal_days_      # set：被判正常的天（日期）
 ```
 
-### 输出标签含义
+### 输出含义
 
-`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）。每个点的异常类型看 `detector.labels_`：
+`detect()` 返回 `(normal_df, abnormal_df)` 两个 DataFrame，按行切分原始 `df`（`normal_df + abnormal_df == 原始 df`，且索引不交叠）：
 
-| 标签 | 含义 |
-| --- | --- |
-| `normal` | 正常 |
-| `nan` | 缺失：风速或功率为 NaN |
-| `range` | 越界：功率/风速为负，或功率 > 1.2×额定功率（切出风速以上功率非零也算） |
-| `downtime` | 停机：切入风速以上、功率却近零（≤ `downtime_power`） |
-| `curtailment` | 限电：额定风速以上、功率 < `low_power_ratio`×额定功率（高风低功率） |
-| `temporal` | 时间维度异常：整天的运行段整体偏离基准曲线（限电/降载/停机方向） |
-| `residual` | 逐点残差异常：单点相对基准曲线的残差超出该风速 bin 的 `z_coeff`×MAD 带 |
+- **`normal_df`**：正常天内的正常点（粗洗异常点不会进入）。
+- **`abnormal_df`**：其余所有点，包括粗洗异常点、被天级判定标出的异常天、以及样本数异常的天。
 
-优先级：粗洗四类（nan/range/downtime/curtailment）> `temporal` > `residual` > `normal`，即时间维度与残差只作用于尚未被粗洗标异常的点。
+天级判定只用一个固定规则：`median ± 3×MAD`（稳健 3σ），不再暴露额外的逐点残差参数。
 
 ### 检测流程
 
 1. **粗洗掩码**：`nan` / `range` / `downtime` / `curtailment` 直接判异常，不参与后续建模。
 2. **整机基准曲线**：用 `base_method`（默认 `gam` 单调 GAM，也可 `logistic_5_parametric` / `iec`）在粗洗后的点上拟合。
 3. **残差**：`resid = power - base(wind_speed)`。
-4. **天级判定**：每天"切入风速以上"点的中位残差 = 该天系统性偏移；跨天用 `median + day_z_coeff×MAD` 自适应阈值标异常天（默认只标"低于曲线"方向）。
-5. **逐点残差 bin-MAD 精洗**：按 `bin_width` 风速分箱，对残差做 `z_coeff×MAD` 带外判定（异方差）。
-6. 输出 `(normal_df, abnormal_df)`。
+4. **天级判定**：按天聚合中位残差和样本数；先用 `median ± 3×MAD` 过滤样本数异常的天，再对剩余天的中位残差用 `median ± 3×MAD` 判正常天/异常天。
+5. 输出 `(normal_df, abnormal_df)`。
 
 ### 参数说明
 
@@ -123,20 +110,14 @@ detector.removal_counts_   # dict：各类异常点数统计
 | `cut_out_speed` | `None` | 切出风速 m/s；给定后切出风速以上功率归零视为正常停机，未给则把高风零功率当停机异常。 |
 | `low_power_ratio` | `0.9` | 限电粗洗阈值：风速 ≥ 额定风速时功率 < 该比例×额定功率即判限电。 |
 | `downtime_power` | `1.0` | 功率 ≤ 该值（kW）且风速在切入以上视为停机。 |
-| `bin_width` | `0.5` | 残差分箱宽度 m/s。 |
-| `min_day_points` | `10` | 参与天级判定的最少样本数（每天约 144 点，正常数据下几乎不触发）。 |
-| `min_bin_points` | `3` | 残差 bin 参与判定的最少样本数（同上，兜底用）。 |
-| `z_coeff` | `3.5` | 逐点残差 MAD 倍数，控制残差精洗的**误杀率**：越大保留越多、误杀越少。 |
-| `day_z_coeff` | `2.5` | 天级分数 MAD 倍数，控制"整天判异常"的松紧；真实数据上天级偏移无天然分界、标出天数随该值平滑变化，建议按站点校准。 |
 | `base_method` | `"gam"` | 基准曲线后端：`gam`（默认，单调 GAM）/ `logistic_5_parametric` / `iec`。 |
 | `**base_kwargs` | — | 透传给 `fit_power_curve` 的额外参数。 |
 
 ### 调参建议
 
-- **`z_coeff`**：控制逐点残差精洗的误杀率。合成数据 + 真实数据（La Haute Borne R80721）一致显示 `2.5` 偏激进（残差点占比约 9.6%），故默认 `3.5`（约 4%）；若更看重"少动正常点"可放宽到 `4.0`（约 3%）。
-- **`day_z_coeff`**：**不是稳健旋钮**，需按站点校准。合成数据（正常天无系统偏移）上 2.0–6.0 结果一致，但真实数据（La Haute Borne R80721）上天级中位残差呈重尾连续分布（中心 0 kW、MAD 12 kW、尾部 -30~-68 kW），标出的异常天数随它平滑变化：`2.0→38 天`、`2.5→23 天`、`3.0→14 天`、`4.0→2 天`。建议结合已知干净时段或可视化 QC 选定，不要指望换个站点仍适用。
+- **天级阈值固定为 `median ± 3×MAD`**，不再暴露额外参数；需要更松/更紧时直接改 `detect()` 里的 `k = 3.0`。
 - **`base_method`**：默认 `gam` 带单调约束 + 网格搜样条数，无需调；`logistic_5_parametric` 的默认 bounds 假设 1.2–1.8 MW，其它机型需显式传 bounds。
-- 其它参数（`bin_width`/`min_day_points`/`min_bin_points`）对结果不敏感，正常数据量下可保持默认。
+- 每天样本数也按 `median ± 3×MAD` 过滤；若某些天只有个别点，这些天会整体进入 `abnormal_df`。这符合"下游只用 `normal_df`、宁可多删"的默认取舍。
 
 ## 安装
 

{wtclean-0.2.6 → wtclean-0.2.8}/wtclean.egg-info/SOURCES.txt

@@ -1,5 +1,7 @@
 LICENSE
+MANIFEST.in
 README.md
+requirements.txt
 setup.py
 test/test_daily_anomaly_detection.py
 test/test_filters.py

wtclean-0.2.8/wtclean.egg-info/requires.txt

@@ -0,0 +1,5 @@
+numpy==2.2.6
+pandas==2.3.2
+matplotlib==3.10.0
+scipy==1.16.1
+pygam==0.12.0

wtclean-0.2.6/wtclean.egg-info/requires.txt

@@ -1,5 +0,0 @@
-numpy
-pandas
-matplotlib
-scipy
-pygam