create-dwy 0.12.1 → 0.13.0

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/iot_anomaly_detection.md

@@ -0,0 +1,112 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/iot_anomaly_detection.html
+fetched_at: 2026-05-19T09:06:33Z
+category: tutorials
+title: 传感器数据异常检测
+sha1: b665d9dec8c451a274767356d388bf414b5cfe3f
+---
+
+# 传感器数据异常检测
+
+DolphinDB 提供了流数据表（stream table）和流计算引擎用于实时数据处理，包括物联网中传感器数据的异常检测。内置的异常检测引擎（Anomaly Detection Engine）能满足大部分异常检测场景的需求。如果异常检测逻辑复杂且较为特殊，标准化的异常检测引擎不能满足要求，用户可以用自定义消息处理函数来实现。
+
+## 1. 应用需求
+
+一个监控系统，一秒钟采集一次数据。现有以下 2 个异常检测需求：
+
+- 每 3 分钟内，若传感器温度出现 2 次 40 摄氏度以上并且 3 次 30 摄氏度以上，系统报警。
+- 若传感器网络断开，5 分钟内无数据，系统报警。
+
+上述的报警是指若侦测到异常，向一个流数据表中写一条记录。
+
+## 2. 设计思路
+
+分布式时序数据库 DolphinDB 的流计算框架目前已支持[时序聚合引擎](../stream/time_series_engine.html)、[横截面聚合引擎](../stream/cross_sectional_engine.html)、[异常检测引擎](Anomaly_Detection_Engine.html)和自定义流计算引擎：
+
+- 时序聚合引擎（Time-Series Aggregator）：能对设备状态进行纵向聚合计算（按时间序列聚合），或者将多个设备状态横向聚合后再按时间聚合。时序聚合支持滑动窗口的流式计算。DolphinDB 对内置的窗口聚合函数均进行了性能优化，单核 CPU 每秒可完成近百万状态的时序聚合。
+- 横截面聚合引擎（Cross Sectional Aggregator）：是快照引擎的扩展，能对设备状态进行横向聚合计算，比如计算一批设备的温度均值。
+- 异常检测引擎（Anomaly Detection Engine）：能实时检测数据是否符合用户自定义的警报指标，如发现异常数据，将它们输出到表中，满足物联网实时监控和预警的需求。
+- 自定义流计算引擎：当以上三种引擎都不能满足需求时，用户也可以使用 DolphinDB 脚本或 API 语言自定义消息处理函数。
+
+对于第一个需求即 3 分钟内传感器温度出现异常系统即报警，可使用异常检测引擎，只需用 DolphinDB 脚本定义一个表达式描述异常逻辑即可。但第 2 个需求无法使用前三种流计算引擎，因为这三种引擎的计算均是由流入的新数据触发。若没有产生新数据，则无法触发计算。对第二个需求，可以自定义一个消息处理函数（message handler）用于计算和检测。具体实现思路是：用一个键值内存表记录每个传感器的最新采集时间。消息以一定时间间隔（比如 1 秒）进入消息处理函数。消息处理函数首先更新键值内存表，然后检查这个表中每个设备记录的最新采集时间是否超过 5 分钟，若有即报警。
+
+## 3. 详细实现步骤
+
+### 3.1. 定义输入输出流数据表
+
+首先定义一个流数据表用于接收实时采集的传感器数据，并用`enableTableShareAndPersistence`函数把流数据表共享和持久化到硬盘上。指定 *cacheSize* 参数以限制内存中保留的最大数据量是 100 万行。虽然传感器设备有很多指标，因为本例只涉及温度指标，所以本例对表结构进行了简化，表结构仅包含三列，即传感器编号 deviceID，时间 ts 和温度 temperature。代码如下：
+
+```dolphindb
+st=streamTable(1000000:0,`deviceID`ts`temperature,[INT,DATETIME,FLOAT])
+enableTableShareAndPersistence(table=st,tableName=`sensor,asynWrite=false,compress=true, cacheSize=1000000)
+```
+
+其次定义报警输出流数据表用于异常检测引擎的输出。按照 DolphinDB 用户手册中对创建异常检测引擎函数`createAnomalyDetectionEngine`各参数的说明，异常引擎对输出表的格式有严格要求。它的第一列必须是时间类型，用于存放检测到异常的时间戳，并且该列的数据类型需与输入表的时间列一致。如果 *keyColumn*（分组列）参数不为空，那么第二列为 *keyColumn*。在本例中，分组列为传感器编号 deviceID。之后的两列分别为 int 类型和 string/symbol 类型，用于记录异常的类型（在 *metrics* 中的下标）和异常的内容。建表代码如下：
+
+```dolphindb
+share streamTable(1000:0, `time`deviceID`anomalyType`anomalyString, [DATETIME,INT,INT, SYMBOL]) as warningTable
+```
+
+### 3.2. 创建异常检测引擎，实现传感器温度异常报警的功能
+
+异常检测引擎中，设置异常指标为`sum(temperature > 40) > 2 && sum(temperature > 30) > 3` ，分组列（*keyColumn*）为传感器编号 deviceID，数据窗口 *windowSize* 为 180 秒，计算的时间间隔 *step* 为 30 秒。这些参数如何设置可参考[异常检测引擎](Anomaly_Detection_Engine.html)。代码如下：
+
+```dolphindb
+engine = createAnomalyDetectionEngine(name="engine1", metrics=<[sum(temperature > 40) > 2 && sum(temperature > 30) > 3  ]>, dummyTable=sensor, outputTable=warningTable, timeColumn=`ts, keyColumn=`deviceID, windowSize = 180, step = 30)
+subscribeTable(tableName="sensor", actionName="sensorAnomalyDetection", offset=0, handler=append!{engine}, msgAsTable=true)
+```
+
+### 3.3. 创建自定义消息处理函数，实现传感器离线报警的功能
+
+第二个需求，需要保存每个传感器的最新数据采集时间，用于判断是否已有 5 分钟未采集数据。本例采用键值内存表保存每个设备的最新状态，并以传感器编号 deviceID 作为主键。键值表中，基于键值的查找和更新具有非常高的效率。收到传感器数据时，用`append!`函数更新键值表中的记录。如果新记录中的主键值不存在于表中，那么往表中添加新的记录；如果新记录的主键值与已有记录的主键值重复时，会更新表中该主键值对应的记录。
+
+在输出异常信息到报警输出流数据表时，异常的类型 anomalyType 因为上节异常检测引擎已用 0，所以这里设为 1。异常的内容设为空。
+
+配置函数`subscribeTable`的参数 *throttle* 和 *batchSize*，可以达到批量处理消息提升性能的目的。参数 *throttle* 决定 *handler* 间隔多久时间处理一次消息，本例中设定为每秒处理一次。这里要注意当消息的数量达到 *batchSize* 时，即便间隔时间没到也会处理进来的消息，所以需要将 *batchSize* 设置为一个比较大的数。示例代码如下，其中传感器数 *deviceNum* 假设为 3：
+
+```dolphindb
+t=keyedTable(`deviceID,100:0,`deviceID`time,[INT,DATETIME])
+deviceNum=3
+insert into t values(1..deviceNum,take(now().datetime(),deviceNum))
+def checkNoData (mutable keyedTable, mutable outputTable, msg) {
+	keyedTable.append!(select deviceID, ts from msg)
+	warning = select now().datetime(), deviceID, 1 as anomalyType, "" as anomalyString from keyedTable where time < datetimeAdd(now().datetime(), -5, "m")
+	if(warning.size() > 0) outputTable.append!(warning)
+}
+subscribeTable(tableName="sensor", actionName="noData", offset=0,handler=checkNoData{t, warningTable}, msgAsTable=true, batchSize=1000000, throttle=1)
+```
+
+## 4. 模拟写入与验证
+
+假设 3 个传感器，一秒钟采集一次数据，第一分钟所有设备都有数据，之后第 3 个设备无数据。产生数据的代码如下：
+
+```dolphindb
+def writeData(){
+	deviceNum = 3
+	for (i in 0:60) {
+		data = table(take(1..deviceNum, deviceNum) as deviceID, take(now().datetime(), deviceNum) as ts, rand(10..41, deviceNum) as temperature)
+		sensor.append!(data)
+		sleep(1000)
+	}
+	deviceNum = 2
+	for (i in 0:600) {
+		data = table(take(1..deviceNum, deviceNum) as deviceID ,take(now().datetime(), deviceNum) as ts, rand(10..45,deviceNum) as temperature)
+		sensor.append!(data)
+		sleep(1000)
+	}	
+}
+submitJob("simulateData", "simulate sensor data", writeData)
+```
+
+运行后，查询报警输出表 warningTable，可看到结果如下：
+
+| time | deviceID | anomalyType | anomalyString |
+| --- | --- | --- | --- |
+| 2020.08.20T11:42:30 | 1 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:42:30 | 3 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:43:30 | 2 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:47:26 | 3 | 1 |  |
+
+## 5. 附录
+
+[测试代码](script/alarm.txt)

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/iot_anomaly_detection_2.md

@@ -0,0 +1,112 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/iot_anomaly_detection_2.html
+fetched_at: 2026-05-19T09:51:25Z
+category: tutorials
+title: 传感器数据异常检测
+sha1: a28bdd39558ea57e14b72bf121fd94f9e3b0286a
+---
+
+# 传感器数据异常检测
+
+DolphinDB 提供了流数据表（stream table）和流计算引擎用于实时数据处理，包括物联网中传感器数据的异常检测。内置的异常检测引擎（Anomaly Detection Engine）能满足大部分异常检测场景的需求。如果异常检测逻辑复杂且较为特殊，标准化的异常检测引擎不能满足要求，用户可以用自定义消息处理函数来实现。
+
+## 1. 应用需求
+
+一个监控系统，一秒钟采集一次数据。现有以下 2 个异常检测需求：
+
+- 每 3 分钟内，若传感器温度出现 2 次 40 摄氏度以上并且 3 次 30 摄氏度以上，系统报警。
+- 若传感器网络断开，5 分钟内无数据，系统报警。
+
+上述的报警是指若侦测到异常，向一个流数据表中写一条记录。
+
+## 2. 设计思路
+
+分布式时序数据库 DolphinDB 的流计算框架目前已支持[时序聚合引擎](../stream/time_series_engine.html)、[横截面聚合引擎](../stream/cross_sectional_engine.html)、[异常检测引擎](Anomaly_Detection_Engine.html)和自定义流计算引擎：
+
+- 时序聚合引擎（Time-Series Aggregator）：能对设备状态进行纵向聚合计算（按时间序列聚合），或者将多个设备状态横向聚合后再按时间聚合。时序聚合支持滑动窗口的流式计算。DolphinDB 对内置的窗口聚合函数均进行了性能优化，单核 CPU 每秒可完成近百万状态的时序聚合。
+- 横截面聚合引擎（Cross Sectional Aggregator）：是快照引擎的扩展，能对设备状态进行横向聚合计算，比如计算一批设备的温度均值。
+- 异常检测引擎（Anomaly Detection Engine）：能实时检测数据是否符合用户自定义的警报指标，如发现异常数据，将它们输出到表中，满足物联网实时监控和预警的需求。
+- 自定义流计算引擎：当以上三种引擎都不能满足需求时，用户也可以使用 DolphinDB 脚本或 API 语言自定义消息处理函数。
+
+对于第一个需求即 3 分钟内传感器温度出现异常系统即报警，可使用异常检测引擎，只需用 DolphinDB 脚本定义一个表达式描述异常逻辑即可。但第 2 个需求无法使用前三种流计算引擎，因为这三种引擎的计算均是由流入的新数据触发。若没有产生新数据，则无法触发计算。对第二个需求，可以自定义一个消息处理函数（message handler）用于计算和检测。具体实现思路是：用一个键值内存表记录每个传感器的最新采集时间。消息以一定时间间隔（比如 1 秒）进入消息处理函数。消息处理函数首先更新键值内存表，然后检查这个表中每个设备记录的最新采集时间是否超过 5 分钟，若有即报警。
+
+## 3. 详细实现步骤
+
+### 3.1. 定义输入输出流数据表
+
+首先定义一个流数据表用于接收实时采集的传感器数据，并用`enableTableShareAndPersistence`函数把流数据表共享和持久化到硬盘上。指定 *cacheSize* 参数以限制内存中保留的最大数据量是 100 万行。虽然传感器设备有很多指标，因为本例只涉及温度指标，所以本例对表结构进行了简化，表结构仅包含三列，即传感器编号 deviceID，时间 ts 和温度 temperature。代码如下：
+
+```dolphindb
+st=streamTable(1000000:0,`deviceID`ts`temperature,[INT,DATETIME,FLOAT])
+enableTableShareAndPersistence(table=st,tableName=`sensor,asynWrite=false,compress=true, cacheSize=1000000)
+```
+
+其次定义报警输出流数据表用于异常检测引擎的输出。按照 DolphinDB 用户手册中对创建异常检测引擎函数`createAnomalyDetectionEngine`各参数的说明，异常引擎对输出表的格式有严格要求。它的第一列必须是时间类型，用于存放检测到异常的时间戳，并且该列的数据类型需与输入表的时间列一致。如果 *keyColumn*（分组列）参数不为空，那么第二列为 *keyColumn*。在本例中，分组列为传感器编号 deviceID。之后的两列分别为 int 类型和 string/symbol 类型，用于记录异常的类型（在 *metrics* 中的下标）和异常的内容。建表代码如下：
+
+```dolphindb
+share streamTable(1000:0, `time`deviceID`anomalyType`anomalyString, [DATETIME,INT,INT, SYMBOL]) as warningTable
+```
+
+### 3.2. 创建异常检测引擎，实现传感器温度异常报警的功能
+
+异常检测引擎中，设置异常指标为`sum(temperature > 40) > 2 && sum(temperature > 30) > 3` ，分组列（*keyColumn*）为传感器编号 deviceID，数据窗口 *windowSize* 为 180 秒，计算的时间间隔 *step* 为 30 秒。这些参数如何设置可参考[异常检测引擎](Anomaly_Detection_Engine.html)。代码如下：
+
+```dolphindb
+engine = createAnomalyDetectionEngine(name="engine1", metrics=<[sum(temperature > 40) > 2 && sum(temperature > 30) > 3  ]>, dummyTable=sensor, outputTable=warningTable, timeColumn=`ts, keyColumn=`deviceID, windowSize = 180, step = 30)
+subscribeTable(tableName="sensor", actionName="sensorAnomalyDetection", offset=0, handler=append!{engine}, msgAsTable=true)
+```
+
+### 3.3. 创建自定义消息处理函数，实现传感器离线报警的功能
+
+第二个需求，需要保存每个传感器的最新数据采集时间，用于判断是否已有 5 分钟未采集数据。本例采用键值内存表保存每个设备的最新状态，并以传感器编号 deviceID 作为主键。键值表中，基于键值的查找和更新具有非常高的效率。收到传感器数据时，用`append!`函数更新键值表中的记录。如果新记录中的主键值不存在于表中，那么往表中添加新的记录；如果新记录的主键值与已有记录的主键值重复时，会更新表中该主键值对应的记录。
+
+在输出异常信息到报警输出流数据表时，异常的类型 anomalyType 因为上节异常检测引擎已用 0，所以这里设为 1。异常的内容设为空。
+
+配置函数`subscribeTable`的参数 *throttle* 和 *batchSize*，可以达到批量处理消息提升性能的目的。参数 *throttle* 决定 *handler* 间隔多久时间处理一次消息，本例中设定为每秒处理一次。这里要注意当消息的数量达到 *batchSize* 时，即便间隔时间没到也会处理进来的消息，所以需要将 *batchSize* 设置为一个比较大的数。示例代码如下，其中传感器数 *deviceNum* 假设为 3：
+
+```dolphindb
+t=keyedTable(`deviceID,100:0,`deviceID`time,[INT,DATETIME])
+deviceNum=3
+insert into t values(1..deviceNum,take(now().datetime(),deviceNum))
+def checkNoData (mutable keyedTable, mutable outputTable, msg) {
+	keyedTable.append!(select deviceID, ts from msg)
+	warning = select now().datetime(), deviceID, 1 as anomalyType, "" as anomalyString from keyedTable where time < datetimeAdd(now().datetime(), -5, "m")
+	if(warning.size() > 0) outputTable.append!(warning)
+}
+subscribeTable(tableName="sensor", actionName="noData", offset=0,handler=checkNoData{t, warningTable}, msgAsTable=true, batchSize=1000000, throttle=1)
+```
+
+## 4. 模拟写入与验证
+
+假设 3 个传感器，一秒钟采集一次数据，第一分钟所有设备都有数据，之后第 3 个设备无数据。产生数据的代码如下：
+
+```dolphindb
+def writeData(){
+	deviceNum = 3
+	for (i in 0:60) {
+		data = table(take(1..deviceNum, deviceNum) as deviceID, take(now().datetime(), deviceNum) as ts, rand(10..41, deviceNum) as temperature)
+		sensor.append!(data)
+		sleep(1000)
+	}
+	deviceNum = 2
+	for (i in 0:600) {
+		data = table(take(1..deviceNum, deviceNum) as deviceID ,take(now().datetime(), deviceNum) as ts, rand(10..45,deviceNum) as temperature)
+		sensor.append!(data)
+		sleep(1000)
+	}	
+}
+submitJob("simulateData", "simulate sensor data", writeData)
+```
+
+运行后，查询报警输出表 warningTable，可看到结果如下：
+
+| time | deviceID | anomalyType | anomalyString |
+| --- | --- | --- | --- |
+| 2020.08.20T11:42:30 | 1 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:42:30 | 3 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:43:30 | 2 | 0 | sum(temperature > 40) > 2 && sum(temperature > 30) > 3 |
+| 2020.08.20T11:47:26 | 3 | 1 |  |
+
+## 5. 附录
+
+[测试代码](script/alarm.txt)

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/iot_demo.md

@@ -0,0 +1,162 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/iot_demo.html
+fetched_at: 2026-05-19T09:06:34Z
+category: tutorials
+title: DolphinDB 在工业物联网的应用
+sha1: 40acfb5a129ac0afd55bf8b4a1deabf5de7c89bb
+---
+
+# DolphinDB 在工业物联网的应用
+
+## 1. 工业物联网的数据特点和痛点
+
+工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的吞吐量，又要有较低的延时；既要能够实时处理流数据，又要能够处理海量的历史数据；既要满足简单的点查询的要求，又要满足批量数据复杂分析的要求。
+
+传统的事务型数据库，比如 SQL Server、Oracle 和 Mysql，无法满足高吞吐量的数据写入和海量数据的分析。即使数据量较小，能满足数据写入的要求，也不能同时响应实时计算的请求。
+
+Hadoop 生态提供了消息引擎，实时数据写入，流数据计算，离线数据仓库，离线数据计算等多个部件。这些大数据系统组合起来，可以解决工业物联网的数据平台问题。但这样的方案过于庞大和臃肿，实施和运维的成本很高。
+
+## 2. DolphinDB 的工业物联网解决方案
+
+DolphinDB 作为一个高性能的分布式时序数据库，为工业物联网的数据存储和计算提供了一个强大的基础平台。
+
+- DolphinDB 的分布式数据库可以方便的支持水平扩展和垂直扩展，系统的吞吐量和支持的数据量可以近乎无限的扩展。
+- DolphinDB 的流计算引擎支持实时流计算处理。内置的聚合引擎可以按指定的时间窗口大小和频率来计算各种聚合指标。聚合既可以是时间轴上（从高频到低频）的纵向聚合，也可以是多个维度的横向聚合。
+- DolphinDB 的内存数据库可以支持数据的快速写入，查询和计算。例如聚合引擎的结果可以输出到一个内存表，接受前端 BI（如 Grafana）的的秒级轮询指令。
+- DolphinDB 集数据库、分布式计算和编程语言于一体，可以在库内快速的完成复杂的分布式计算，例如回归和分类。这大大加快了海量历史数据的离线分析和建模。
+- DolphinDB 也实现了与部分开源或商业化的 BI 工具的接口，方便用户可视化或监控设备数据。
+
+## 3. 案例综述
+
+企业的生产车间内总共有 1000 个传感设备，每个设备每 10ms 采集一次数据，为简化 demo 脚本，假设采集的数据仅有三个维度，均为温度。需要完成的任务包括：
+
+- 将采集到的原始数据存入数据库。离线的数据建模需要用到这些历史数据。
+- 实时计算每个设备过去一分钟的平均温度指标，计算的频率为每两秒钟要进行一次。
+- 因为设备的操作工需要在最快的时间内掌握温度变化，所以前端展示界面每秒查询一次实时运算的结果并刷新温度变化趋势图。
+
+## 4. 案例实施
+
+### 4.1. 系统的功能模块设计
+
+针对上述的案例，我们首先要启用 DolphinDB database 的分布式数据库，创建一个命名为 iotDemoDB 的分布式数据库用于保存采集的实时数据。数据库按日期和设备两个维度进行数据分区。日期采用值分区，设备采用范围分区。日后清理过期数据，只要简单的删除旧的日期分区就可完成。
+
+启用流数据发布和订阅功能。订阅高频数据流做实时计算。`createTimeSeriesAggregator` 函数能创建一个指标聚合引擎，用于实时计算。我们在案例里指定计算窗口大小是 1 分钟，每 2 秒钟运算一次过往 1 分钟的温度均值，然后将运算结果保存到低频数据表中，供前端轮询。
+
+部署前端 Grafana 平台展示运算结果的趋势图，设置每 1 秒钟轮询一次 DolphinDB Server，并刷新展示界面。
+
+### 4.2. 服务器部署
+
+在本次 demo 里，为了使用分布式数据库，我们需要使用一个单机多节点集群，可以参考[单机多节点集群部署指南](single_machine_cluster_deploy.html)。这里我们配置了 1 个 controller + 1 个 agent + 4 个 datanode 的集群，下面列出主要的配置文件内容供参考：
+
+cluster.nodes
+
+```dolphindb
+localSite,mode
+localhost:8701:agent1,agent
+localhost:8081:node1,datanode
+localhost:8083:node2,datanode
+localhost:8082:node3,datanode
+localhost:8084:node4,datanode
+```
+
+由于 DolphinDB 系统默认是不启用 Streaming 模块功能的，所以我们需要通过在 cluster.cfg 里做显式配置来启用它，因为本次 demo 里使用的数据量不大，为了避免 demo 复杂化，所以这里只启用了 node1 来做数据订阅。写入分布式表的数据若再分区范围外，会写入失败。因此添加配置项 newValuePartitionPolicy=add，即如果新增的数据中包含分区方案外的数据，系统会根据分区列中新的值自动创建分区。
+
+cluster.cfg
+
+```dolphindb
+maxMemSize=2
+workerNum=4
+persistenceDir=dbcache
+maxSubConnections=4
+node1.subPort=8085
+maxPubConnections=4
+newValuePartitionPolicy=add
+```
+
+实际生产环境下，建议使用多物理机集群，可以参考 [多物理机集群部署指南](multi_machine_cluster_deployment.html)
+
+### 4.3. 实现步骤
+
+首先我们定义一个流数据表 st 用于接收实时采集的温度数据，使用`enableTableShareAndPersistence`函数对 st 表做持久化并共享为 sensorTemp，内存中保留的最大数据量是 100 万行。
+
+```dolphindb
+st=streamTable(1000000:0,`hardwareId`ts`temp1`temp2`temp3,[INT,TIMESTAMP,DOUBLE,DOUBLE,DOUBLE])
+enableTableShareAndPersistence(table=st, tableName=`sensorTemp, asynWrite=true, compress=false, cacheSize=1000000)
+```
+
+通过订阅流数据表 sensorTmp，把采集的数据准实时的批量保存到分布式数据库中。分布式表使用日期和设备编号两个分区维度。在物联网大数据场景下，经常要清除过时的数据，这样分区的模式可以简单的通过删除指定日期分区就可以快速的清理过期数据。`subscribeTable`函数最后两个参数控制数据保存的频率，只有订阅数据达到 100 万或时间间隔达到 10 秒才批量将数据写入分布式数据库。
+
+```dolphindb
+db1 = database("",VALUE,today()..(today()+30))
+db2 = database("",RANGE,0..10*100)
+db = database("dfs://iotDemoDB",COMPO,[db1,db2])
+tableSchema=table(1:0,`hardwareId`ts`temp1`temp2`temp3,[INT,TIMESTAMP,DOUBLE,DOUBLE,DOUBLE]) 
+dfsTable=db.createPartitionedTable(tableSchema,"sensorTemp",`ts`hardwareId)
+subscribeTable(tableName="sensorTemp", actionName="sensorTemp", offset=-1, handler=append!{dfsTable}, msgAsTable=true, batchSize=1000000, throttle=10)
+```
+
+在对流数据做分布式保存数据库的同时，系统使用`createTimeSeriesEngine`函数创建一个指标聚合引擎，用于实时计算。函数第一个参数表示时间序列聚合引擎的名称，是时间序列聚合引擎的唯一标识。第二个参数指定了窗口大小为 60 秒，第三个参数指定每 2 秒钟做一次求均值运算，第四个参数是运算的元代码，可以由用户自己指定计算函数，任何系统支持的或用户自定义的聚合函数这里都能支持，通过指定分组字段 hardwareId，函数会将流数据按设备分成 1000 个队列进行均值运算，每个设备都会按各自的窗口计算得到对应的平均温度。最后通过`subscribeTable`订阅流数据，在有新数据进来时触发实时计算，并将运算结果保存到一个新的数据流数据表 sensorTempAvg 中。
+
+`createTimeSeriesAggregator` 参数说明：时间序列聚合引擎的名称，窗口时间，运算间隔时间，聚合运算元代码，原始数据输入表，运算结果输出表，时序字段，分组字段，触发 GC 记录数阈值。
+
+```dolphindb
+share streamTable(1000000:0, `time`hardwareId`tempavg1`tempavg2`tempavg3, [TIMESTAMP,INT,DOUBLE,DOUBLE,DOUBLE]) as sensorTempAvg
+demoAgg = createTimeSeriesAggregator(name="demoAgg", windowSize=60000, step=2000, metrics=<[avg(temp1),avg(temp2),avg(temp3)]>, dummyTable=sensorTemp, outputTable=sensorTempAvg, timeColumn=`ts,  keyColumn=`hardwareId, garbageSize=2000)
+subscribeTable( tableName="sensorTemp", actionName="demoAgg", offset=-1, handler=append!{demoAgg}, msgAsTable=true)
+```
+
+在 DolphinDB Server 端在对高频数据流做保存、分析的时候，Grafana 前端程序每秒钟会轮询实时运算的结果，并刷新平均温度的趋势图。DolphinDB 提供了 Grafana\_DolphinDB 的 datasource 插件，关于 Grafana 的安装以及 DolphinDB 的插件配置请参考[Grafana 教程](../tools/grafana.html)。
+
+在完成 grafana 的基本配置之后，新增一个 Graph Panel，在 Metrics tab 里输入
+
+```dolphindb
+select gmtime(time) as time, tempavg1, tempavg2, tempavg3 from sensorTempAvg where hardwareId = 1
+```
+
+这段脚本是选出 1 号设备实时运算得到的平均温度表
+
+  
+![](images/datasource.PNG)  
+
+最后，启动数据模拟生成程序，生成模拟温度数据并写入流数据表
+
+*数据规模：1000 个设备，以每个点 3 个维度、10ms 的频率生成数据，以每个维度 8 个 Byte ( Double 类型 ) 计算，数据流速是 24Mbps，持续 100 秒。*
+
+```dolphindb
+def writeData(){
+	hardwareNumber = 1000
+	for (i in 0:10000) {
+		data = table(take(1..hardwareNumber,hardwareNumber) as hardwareId ,take(now(),hardwareNumber) as ts,rand(20..41,hardwareNumber) as temp1,rand(30..71,hardwareNumber) as temp2,rand(70..151,hardwareNumber) as temp3)
+		sensorTemp.append!(data)
+		sleep(10)
+	}
+}
+submitJob("simulateData", "simulate sensor data", writeDat"../tools/grafana.md"GUI 中通过如下脚本来观察运行状态
+```
+
+//查看已提交的写入任务
+getRecentJobs()
+//观察流数据的订阅消费情况
+getStreamingStat().subWorkers
+//观察时序聚合引擎的
+getAggregatorStat().TimeSeriesAggregator
+//观察已写入的数据
+select count(\*) from dfsTable
+
+```dolphindb
+若需要重复运行模拟脚本，需要使用如下脚本先清理流数据环境。
+```
+
+unsubscribeTable(tableName="sensorTemp", actionName="demoAgg")
+unsubscribeTable(tableName="sensorTemp", actionName="sensorTemp")
+dropAggregator("demoAgg")
+clearTablePersistence(sensorTemp)
+dropStreamTable(`sensorTemp)
+
+```dolphindb
+---
+
+## 5. 附件
+
+demo 完整脚本：[demo 完整脚本](script/iot_demo_script.txt)
+```

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/iot_demo_2.md

@@ -0,0 +1,162 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/iot_demo_2.html
+fetched_at: 2026-05-19T09:51:23Z
+category: tutorials
+title: DolphinDB 在工业物联网的应用
+sha1: 79bf768a7018fc26050776174dbc37de075955d9
+---
+
+# DolphinDB 在工业物联网的应用
+
+## 1. 工业物联网的数据特点和痛点
+
+工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的吞吐量，又要有较低的延时；既要能够实时处理流数据，又要能够处理海量的历史数据；既要满足简单的点查询的要求，又要满足批量数据复杂分析的要求。
+
+传统的事务型数据库，比如 SQL Server、Oracle 和 Mysql，无法满足高吞吐量的数据写入和海量数据的分析。即使数据量较小，能满足数据写入的要求，也不能同时响应实时计算的请求。
+
+Hadoop 生态提供了消息引擎，实时数据写入，流数据计算，离线数据仓库，离线数据计算等多个部件。这些大数据系统组合起来，可以解决工业物联网的数据平台问题。但这样的方案过于庞大和臃肿，实施和运维的成本很高。
+
+## 2. DolphinDB 的工业物联网解决方案
+
+DolphinDB 作为一个高性能的分布式时序数据库，为工业物联网的数据存储和计算提供了一个强大的基础平台。
+
+- DolphinDB 的分布式数据库可以方便的支持水平扩展和垂直扩展，系统的吞吐量和支持的数据量可以近乎无限的扩展。
+- DolphinDB 的流计算引擎支持实时流计算处理。内置的聚合引擎可以按指定的时间窗口大小和频率来计算各种聚合指标。聚合既可以是时间轴上（从高频到低频）的纵向聚合，也可以是多个维度的横向聚合。
+- DolphinDB 的内存数据库可以支持数据的快速写入，查询和计算。例如聚合引擎的结果可以输出到一个内存表，接受前端 BI（如 Grafana）的的秒级轮询指令。
+- DolphinDB 集数据库、分布式计算和编程语言于一体，可以在库内快速的完成复杂的分布式计算，例如回归和分类。这大大加快了海量历史数据的离线分析和建模。
+- DolphinDB 也实现了与部分开源或商业化的 BI 工具的接口，方便用户可视化或监控设备数据。
+
+## 3. 案例综述
+
+企业的生产车间内总共有 1000 个传感设备，每个设备每 10ms 采集一次数据，为简化 demo 脚本，假设采集的数据仅有三个维度，均为温度。需要完成的任务包括：
+
+- 将采集到的原始数据存入数据库。离线的数据建模需要用到这些历史数据。
+- 实时计算每个设备过去一分钟的平均温度指标，计算的频率为每两秒钟要进行一次。
+- 因为设备的操作工需要在最快的时间内掌握温度变化，所以前端展示界面每秒查询一次实时运算的结果并刷新温度变化趋势图。
+
+## 4. 案例实施
+
+### 4.1. 系统的功能模块设计
+
+针对上述的案例，我们首先要启用 DolphinDB database 的分布式数据库，创建一个命名为 iotDemoDB 的分布式数据库用于保存采集的实时数据。数据库按日期和设备两个维度进行数据分区。日期采用值分区，设备采用范围分区。日后清理过期数据，只要简单的删除旧的日期分区就可完成。
+
+启用流数据发布和订阅功能。订阅高频数据流做实时计算。`createTimeSeriesAggregator` 函数能创建一个指标聚合引擎，用于实时计算。我们在案例里指定计算窗口大小是 1 分钟，每 2 秒钟运算一次过往 1 分钟的温度均值，然后将运算结果保存到低频数据表中，供前端轮询。
+
+部署前端 Grafana 平台展示运算结果的趋势图，设置每 1 秒钟轮询一次 DolphinDB Server，并刷新展示界面。
+
+### 4.2. 服务器部署
+
+在本次 demo 里，为了使用分布式数据库，我们需要使用一个单机多节点集群，可以参考[单机多节点集群部署指南](single_machine_cluster_deploy.html)。这里我们配置了 1 个 controller + 1 个 agent + 4 个 datanode 的集群，下面列出主要的配置文件内容供参考：
+
+cluster.nodes
+
+```dolphindb
+localSite,mode
+localhost:8701:agent1,agent
+localhost:8081:node1,datanode
+localhost:8083:node2,datanode
+localhost:8082:node3,datanode
+localhost:8084:node4,datanode
+```
+
+由于 DolphinDB 系统默认是不启用 Streaming 模块功能的，所以我们需要通过在 cluster.cfg 里做显式配置来启用它，因为本次 demo 里使用的数据量不大，为了避免 demo 复杂化，所以这里只启用了 node1 来做数据订阅。写入分布式表的数据若再分区范围外，会写入失败。因此添加配置项 newValuePartitionPolicy=add，即如果新增的数据中包含分区方案外的数据，系统会根据分区列中新的值自动创建分区。
+
+cluster.cfg
+
+```dolphindb
+maxMemSize=2
+workerNum=4
+persistenceDir=dbcache
+maxSubConnections=4
+node1.subPort=8085
+maxPubConnections=4
+newValuePartitionPolicy=add
+```
+
+实际生产环境下，建议使用多物理机集群，可以参考 [多物理机集群部署指南](multi_machine_cluster_deployment.html)
+
+### 4.3. 实现步骤
+
+首先我们定义一个流数据表 st 用于接收实时采集的温度数据，使用`enableTableShareAndPersistence`函数对 st 表做持久化并共享为 sensorTemp，内存中保留的最大数据量是 100 万行。
+
+```dolphindb
+st=streamTable(1000000:0,`hardwareId`ts`temp1`temp2`temp3,[INT,TIMESTAMP,DOUBLE,DOUBLE,DOUBLE])
+enableTableShareAndPersistence(table=st, tableName=`sensorTemp, asynWrite=true, compress=false, cacheSize=1000000)
+```
+
+通过订阅流数据表 sensorTmp，把采集的数据准实时的批量保存到分布式数据库中。分布式表使用日期和设备编号两个分区维度。在物联网大数据场景下，经常要清除过时的数据，这样分区的模式可以简单的通过删除指定日期分区就可以快速的清理过期数据。`subscribeTable`函数最后两个参数控制数据保存的频率，只有订阅数据达到 100 万或时间间隔达到 10 秒才批量将数据写入分布式数据库。
+
+```dolphindb
+db1 = database("",VALUE,today()..(today()+30))
+db2 = database("",RANGE,0..10*100)
+db = database("dfs://iotDemoDB",COMPO,[db1,db2])
+tableSchema=table(1:0,`hardwareId`ts`temp1`temp2`temp3,[INT,TIMESTAMP,DOUBLE,DOUBLE,DOUBLE]) 
+dfsTable=db.createPartitionedTable(tableSchema,"sensorTemp",`ts`hardwareId)
+subscribeTable(tableName="sensorTemp", actionName="sensorTemp", offset=-1, handler=append!{dfsTable}, msgAsTable=true, batchSize=1000000, throttle=10)
+```
+
+在对流数据做分布式保存数据库的同时，系统使用`createTimeSeriesEngine`函数创建一个指标聚合引擎，用于实时计算。函数第一个参数表示时间序列聚合引擎的名称，是时间序列聚合引擎的唯一标识。第二个参数指定了窗口大小为 60 秒，第三个参数指定每 2 秒钟做一次求均值运算，第四个参数是运算的元代码，可以由用户自己指定计算函数，任何系统支持的或用户自定义的聚合函数这里都能支持，通过指定分组字段 hardwareId，函数会将流数据按设备分成 1000 个队列进行均值运算，每个设备都会按各自的窗口计算得到对应的平均温度。最后通过`subscribeTable`订阅流数据，在有新数据进来时触发实时计算，并将运算结果保存到一个新的数据流数据表 sensorTempAvg 中。
+
+`createTimeSeriesAggregator` 参数说明：时间序列聚合引擎的名称，窗口时间，运算间隔时间，聚合运算元代码，原始数据输入表，运算结果输出表，时序字段，分组字段，触发 GC 记录数阈值。
+
+```dolphindb
+share streamTable(1000000:0, `time`hardwareId`tempavg1`tempavg2`tempavg3, [TIMESTAMP,INT,DOUBLE,DOUBLE,DOUBLE]) as sensorTempAvg
+demoAgg = createTimeSeriesAggregator(name="demoAgg", windowSize=60000, step=2000, metrics=<[avg(temp1),avg(temp2),avg(temp3)]>, dummyTable=sensorTemp, outputTable=sensorTempAvg, timeColumn=`ts,  keyColumn=`hardwareId, garbageSize=2000)
+subscribeTable( tableName="sensorTemp", actionName="demoAgg", offset=-1, handler=append!{demoAgg}, msgAsTable=true)
+```
+
+在 DolphinDB Server 端在对高频数据流做保存、分析的时候，Grafana 前端程序每秒钟会轮询实时运算的结果，并刷新平均温度的趋势图。DolphinDB 提供了 Grafana\_DolphinDB 的 datasource 插件，关于 Grafana 的安装以及 DolphinDB 的插件配置请参考[Grafana 教程](../tools/grafana.html)。
+
+在完成 grafana 的基本配置之后，新增一个 Graph Panel，在 Metrics tab 里输入
+
+```dolphindb
+select gmtime(time) as time, tempavg1, tempavg2, tempavg3 from sensorTempAvg where hardwareId = 1
+```
+
+这段脚本是选出 1 号设备实时运算得到的平均温度表
+
+  
+![](images/datasource.PNG)  
+
+最后，启动数据模拟生成程序，生成模拟温度数据并写入流数据表
+
+*数据规模：1000 个设备，以每个点 3 个维度、10ms 的频率生成数据，以每个维度 8 个 Byte ( Double 类型 ) 计算，数据流速是 24Mbps，持续 100 秒。*
+
+```dolphindb
+def writeData(){
+	hardwareNumber = 1000
+	for (i in 0:10000) {
+		data = table(take(1..hardwareNumber,hardwareNumber) as hardwareId ,take(now(),hardwareNumber) as ts,rand(20..41,hardwareNumber) as temp1,rand(30..71,hardwareNumber) as temp2,rand(70..151,hardwareNumber) as temp3)
+		sensorTemp.append!(data)
+		sleep(10)
+	}
+}
+submitJob("simulateData", "simulate sensor data", writeDat"../tools/grafana.md"GUI 中通过如下脚本来观察运行状态
+```
+
+//查看已提交的写入任务
+getRecentJobs()
+//观察流数据的订阅消费情况
+getStreamingStat().subWorkers
+//观察时序聚合引擎的
+getAggregatorStat().TimeSeriesAggregator
+//观察已写入的数据
+select count(\*) from dfsTable
+
+```dolphindb
+若需要重复运行模拟脚本，需要使用如下脚本先清理流数据环境。
+```
+
+unsubscribeTable(tableName="sensorTemp", actionName="demoAgg")
+unsubscribeTable(tableName="sensorTemp", actionName="sensorTemp")
+dropAggregator("demoAgg")
+clearTablePersistence(sensorTemp)
+dropStreamTable(`sensorTemp)
+
+```dolphindb
+---
+
+## 5. 附件
+
+demo 完整脚本：[demo 完整脚本](script/iot_demo_script.txt)
+```