create-dwy 0.12.2 → 0.13.0

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/database_and_table_creation_wizard.md

@@ -0,0 +1,204 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/database_and_table_creation_wizard.html
+fetched_at: 2026-05-19T09:48:11Z
+category: tutorials
+title: DolphinDB Web 界面库表创建指南
+sha1: 1c7f5ba2b098a9750b3449d10f9e72aa49d898d8
+---
+
+# DolphinDB Web 界面库表创建指南
+
+时序数据适用于现代社会的各类应用场景分析。无论是物联网场景的数据采集还是金融场景的交易分析，时序数据无处不在，因此，时序数据库的重要程度与日俱增。时序数据库会利用各种索引和压缩技术存储时序数据，从而高效完成数据的读取与写入。随着时序数据库的日渐流行，如何针对时序数据库进行数据规划，即如何设计数据库的数据结构、存储方案、分区策略以实现数据的查询优化，也成为了众多时序数据库用户面临的痛点。
+
+用户在进行时序数据库规划时，通常会面临以下两类问题：
+
+- **如何确定数据需求：**确定数据需求是数据规划的首要任务，包括理解业务需求、确定数据类型、结构和关系，以及定义数据的粒度和范围。用户可能具备丰富的领域知识和经验，但并不能将领域知识准确的应用到数据规划中去。
+- **如何选择适当的数据存储方案和优化数据性能：**涉及选择合适的数据库技术、设计有效的索引和分区策略，并考虑数据量、访问模式和性能需求等因素。对于业务用户而言，理解数据库设计原理和性能优化概念有一定的难度。
+
+针对上述问题，DolphinDB
+针对目前时序数据应用最为广泛的两类场景，即物联网场景和金融场景，提供了库表创建向导。此向导根据用户选择，收集建库建表信息，并结合了实际的业务场景，生成库表创建脚本，从而帮助用户完成库表创建。用户可以通过
+Web 访问 DolphinDB，在"功能设置"中开启库表创建功能。
+
+## 1. 物联网场景向导
+
+物联网设备广泛应用于各个工业领域，这些设备传感器实时采集环境、设备和过程数据，为物联网设备的预测性维护和优化提供分析依据。此类场景下，各项目数据结构与主键列名都有所不同，因此，一库一表的设计更符合物联网的业务需求。物联网数据通常可以分为**时序数据**与**非时序数据**两类，其中时序数据指的是严格时间增长的数据，例如测点采集的数据；非时序数据指的是不随时间严格增长的数据，例如设备监控表会存储设备ID、点位
+ID、设备阈值上下限与阈值更新时间，但是阈值更新时间间隔不定。从用户视角出发，我们按用户所熟知的测点数、采集频率、日增数据量等概念来引导用户进行数据规划，并按需提供了简易版与进阶版库表创建向导：
+
+- 简易版主要面向对数据库不甚了解的用户，如领域业务专家；
+- 进阶版面向对 DolphinDB 数据库领域知识相对了解的用户，如运维人员。
+
+### 1.1 简易版
+
+简易版将隐藏一部分数据库存储、索引相关的配置信息，如存储引擎和分区列，我们会根据用户填写的信息提供默认值，从而降低数据规划的复杂度，用户仅需按照界面表单提示填写信息，即可生成库表创建脚本，简易版步骤如图1所示。
+
+![](images/database_and_table_creation_wizard/1-1.png)
+
+图 1. 图1. 物联网库表创建向导简易版步骤图
+
+具体步骤如下：
+
+1. 输入库名
+2. 输入表名
+3. 选择是否为时序数据
+4. 日增数据量与总数据量选择
+   - 时序数据时需选择日增数据量
+   - 非时序数据需选择总数据量
+5. 输入测点数：为时序数据时输入
+6. 列配置
+
+   时序数据或者总数据量大于 200 万的非时序数据会使用 TSDB 引擎，总数据量小于 200 万的非时序数据使用 OLAP
+   引擎，物联网场景使用测点收集各种传感器数据和设备状态，需要一列用于存储测点信息。因此，列配置存在两类情况：
+   - 时序数据或者总数据量大于 200 万的非时序数据时，需要一列时间列与枚举列
+   - 其余情况下，需要一列枚举列
+
+   支持手动输入、本地文件导入与服务器文件导入三种配置方式
+   - 手动输入：可以手动添加列信息，包括列名、列的数据类型以及备注信息
+   - 本地文件导入：可以将本地的数据源文件导入，解析得到其中的列以及列类型
+   - 服务器文件导入：可以输入表格文件在服务器的绝对路径地址，解析得到列和列类型
+7. 选择常用筛选列
+
+   常用筛选列是查询经常作为筛选条件的列，越重要的过滤条件，在筛选列中的位置越靠前，唯一值数量用于判断是否需要对数据进行降维。常用筛选列的选择也分为两类情况：
+   - 总数据量小于 200 万的非时序数据，使用 OLAP 引擎，无需选择常用筛选列
+   - 时序数据或者总数据量大于 200 万的非时序数据，使用 TSDB
+     引擎，常用筛选列第一列需为时间列，第二列需要设备编号列
+
+填写信息如图 2 所示
+
+![](images/database_and_table_creation_wizard/1-2.png)
+
+图 2. 图2. 物联网向导简易版信息填写
+
+当填写完信息之后点击生成脚本，即可进入下一步预览库表创建的脚本，在这一步，可以直接执行生成的脚本，也可复制脚本进行修改；脚本预览界面如图 3 所示。
+
+![](images/database_and_table_creation_wizard/1-3.png)
+
+图 3. 图3. 脚本预览界面
+
+### 1.2 进阶版
+
+相较简易版，进阶版假设用户对 DolphinDB
+比较了解，为其提供更多的高级配置，例如存储引擎、分区列以及重复数据处理策略等信息。进阶版信息填写分为两步：基本信息填写与高阶信息填写，填写步骤如图 4
+所示，其中第一步填写信息与简易版一致，在此不做赘述。
+
+当存储数据为时序数据或者总数据量大于 200
+万的非时序数据（后文统一使用”非时序数据”指代）时，会开放高阶信息。时序数据指的是随着时间严格增长的数据，而非时序数据指的是不随时间严格增长的数据。但需注意，物联网场景中非时序数据不一定没有时间信息，例如设备监控表会存储设备ID、点位
+ID、设备阈值上下限与阈值更新时间，但是阈值更新时间间隔不定。
+
+![](images/database_and_table_creation_wizard/1-4.png)
+
+图 4. 图4. 物联网进阶版库表创建引导步骤图
+
+高阶信息填写规则如下：
+
+1. 选择存储引擎，[OLAP](../db_distr_comp/db/olap.html) 或者 [TSDB](../db_distr_comp/db/tsdb.html)
+2. 选择是否[允许并发写入同一分区](../funcs/s/setAtomicLevel.html)
+   - 允许并发写入同一分区指的是若一个事务写入多个分区时，某分区被其它写入事务锁定而出现冲突，系统会完成其他分区的写入，同时对之前发生冲突的分区尝试写入，写入方式在不同
+     server 版本有所差异：
+     - **release 200 及之前的版本：**数据节点收到写入的数据后，计算数据涉及的分区，并向
+       controller
+       申请所有分区的分布式锁，向成功申请锁的分区写入数据，在完成事务后，释放写入完成的分区的锁；申请锁失败的分区则在
+       sleep
+       一段时间后重新申请分布式锁，直至所有分区都完成写入。此类情况下，先提交的写入请求可能一直拿不到锁，处于饥饿状态，因为
+       sleep 时，锁可能被其他后提交的写入请求持有，导致写入请求的完成时间没有保障。
+     - **release 300 及之后的版本：**数据节点将写入请求发送到 controller，controller
+       收到请求后，将其放到统一的队列里管理调度，如果分区可写，则主动通知数据节点写入。此类情况下，一次写入会被分为多个事务，如果发生回滚，会导致某次写入只写了一部分数据。
+   - 不允许并发写入同一分区指的是一个事务写入多个分区时，若某个分区被其他写入事务锁定而出现写入冲突，则该事务的写入全部失败。
+3. 选择分区列
+
+   根据用户填写的前置信息（日增量、总数据量以及测点等），会推荐分区列个数与各分区列的数据类型，用户需按照推荐的信息选择分区列。
+
+   **时序数据：**根据日增数据量判断分区层数。
+
+   - 一层分区：需要选择选择一个分区列，且仅能选择时间列
+   - 两层分区：需要选择两个分区列，第一列分区列为时间列，第二列分区列为设备编号列
+
+   **非时序数据：**需要选择一个分区列，即设备编号列。
+4. 选择数据时间列（非必选）
+
+   当存储引擎选择 TSDB
+   且为非时序数据时展示，非时序数据仅需选择设备编号列作为分区列，当数据含有时间信息时可以将时间信息列作为数据时间列，此列也将作为
+   sortColumns 用于查询优化。
+5. 选择常用筛选列与其唯一值数量
+
+   常用筛选列是查询时经常作为筛选条件的列，越重要的过滤条件，在筛选列中的位置越靠前，而唯一值数量用于判断是否需要对数据进行降维，常用筛选列也将作为
+   sortColumns 用于查询优化。
+
+   - 存储引擎为 TSDB 时才能选择常用筛选列，OLAP 分区内不支持索引
+   - 根据填写的前置信息，会推荐常用筛选列个数，选择的数量不能超过推荐的个数，且仅能选择可枚举类型（STRING、SYMBOL 和 CHAR
+     类型）
+6. 选择重复数据处理策略
+
+   DolphinDB 提供了三种策略处理同分区中 sortColumns 值相同的数据：
+
+   - ALL：保留所有数据
+   - LAST：仅保留最新数据
+   - FIRST：仅保留第一条数据
+
+选择完高阶信息之后即可生成库表创建脚本，此步骤与简易版一致，可直接执行生成的脚本，返回上一步修改库表创建信息或者复制脚本进行修改。
+
+![](images/database_and_table_creation_wizard/1-5.png)
+
+图 5. 图5. 物联网进阶版信息填写表单
+
+## 2. 金融场景向导
+
+在金融领域，股票交易数据分析是至关重要的一环，DolphinDB
+能实时存储和处理股票、债券等市场数据，支持快速分析和决策。在金融场景下，日增量和标的对于数据库建库建表至关重要，了解日增量可以帮助合理预测未来数据存储需求，帮助设计表结构与索引策略，优化查询性能，而不同的金融产品往往具备不同的数据特征，设计数据库时需要根据标的的类型规划相应的表结构和字段。因此，在此场景下，我们根据用户选择的日增量和标的信息，引导用户进行数据规划。在金融场景下，用户可选择新建库表或者基于现有库创建数据表，主要分为建库信息、建表信息与脚本生成三个步骤，步骤图如图
+6 所示。
+
+![](images/database_and_table_creation_wizard/1-6.png)
+
+图 6. 图6. 金融场景库表创建引导步骤图
+
+### 2.1 建库信息
+
+金融场景下可选在现有库中新建数据表，或者新建库表。主要步骤如下：
+
+1. 选择是否使用现有库
+2. 选择现有库（现有库场景）
+3. 输入新建库名（新建库场景）
+4. 选择日增量（新建库场景）
+5. 选择存储引擎，[OLAP](../db_distr_comp/db/olap.html) 或者 [TSDB](../db_distr_comp/db/tsdb.html)（新建库场景）
+
+### 2.2 建表信息
+
+已有库场景与新建库场景下的建表信息如图 7 和 图 8 所示，具体步骤如下：
+
+1. 输入新建表名
+2. 列配置
+
+   与物联网场景相同，支持手动输入、本地文件导入与服务器文件导入三种配置方式，表结构必须含有一列时间列，类型包括DATE, DATETIME,
+   TIMESTAMP, NANOTIMESTAMP。
+
+   支持手动输入、本地文件导入与服务器文件导入三种配置方式：
+
+   - 手动输入：可以手动添加列信息，包括列名、数据类型以及备注信息
+   - 本地文件导入：可以将本地的表格文件导入，解析得到表格中的列以及列类型
+   - 服务器文件导入：可以输入表格文件在服务器的绝对路径地址，解析得到列和列类型
+3. 选择时间列
+
+   新建库场景且总数据量大于 200 万时选择，且需选择严格按照时序增长排序的时间类型列（
+   DATE、DATETIME、TIMESTAMP），将会按照此列对数据进行分区。
+4. 选择标的列
+
+   新建库场景且总数据量大于 200 万或日增量大于 100 万时选择，仅支持选择 SYMBOL 和 STRING
+   列，此列用于对数据进行分区，用户可以选择如股票 ID、期货品种之类的列。
+5. 选择分区列
+
+   在已有库场景下，且该库存在分区时选择，数量和数据类型需与已有库分区信息一致。
+6. 选择常用筛选列与其唯一值数量
+
+   常用筛选列是查询经常作为筛选条件的列，越重要的过滤条件，在筛选列中的位置越靠前，唯一值数量用于判断是否需要对数据进行降维，金融场景下的常用筛选列含有以下规则：
+
+   - 数量不多于 2 列
+   - 数据类型需为能枚举的类型，如 CHAR、STRING、SYMBOL等
+
+![](images/database_and_table_creation_wizard/1-7.png)
+
+图 7. 图7. 金融建表信息（已有库场景）
+
+![](images/database_and_table_creation_wizard/1-8.png)
+
+图 8. 图8. 金融建表信息（新建库场景）
+
+信息填写完毕点击【生成脚本】按钮即可生成库表创建脚本，脚本预览界面与物联网场景一致，此步骤可直接执行生成的脚本，返回上一步修改库表创建信息或者复制脚本进行修改。

package/templates/claude-global/skills//346/225/260/346/215/256/345/272/223/dwy-dolphindb/references/official/tutorials/datax_writer.md

@@ -0,0 +1,378 @@
+---
+source_url: https://docs.dolphindb.cn/zh/tutorials/datax_writer.html
+fetched_at: 2026-05-19T09:48:12Z
+category: tutorials
+title: 基于 DataX 的 DolphinDB 数据导入工具
+sha1: 9772ba0245cdc1f6a081dde15a432e081fd179a9
+---
+
+# 基于 DataX 的 DolphinDB 数据导入工具
+
+## 1. 使用场景
+
+DataX-dolphindbwriter 插件是解决用户将不同数据来源的数据同步到 DolphinDB 的场景而开发的，这些数据的特征是改动很少，并且数据分散在不同的数据库系统中。
+
+## 2. DataX 离线数据同步
+
+DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能，[DataX 已支持的数据源](https://github.com/alibaba/DataX/blob/master/README.md#support-data-channels)。
+
+DataX 是可扩展的数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的 Reader 插件，以及向目标端写入数据的 Writer 插件。理论上 DataX 框架可以支持任意数据源类型的数据同步工作。每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
+
+### 2.1. DataX 插件：dolphindbwriter
+
+基于 DataX 的扩展功能，dolphindbwriter 插件实现了向 DolphinDB 写入数据，使用 DataX 的现有 reader 插件结合 DolphinDBWriter 插件，即可满足从不同数据源向 DolphinDB 同步数据。
+
+DolphinDBWriter 底层依赖于 DolphinDB Java API，采用批量写入的方式，将数据写入分布式数据库。
+
+本插件通常用于一下两个场景：
+
+1. 定期从数据源向 DolphinDB 追加新增数据。
+2. 定期获取更新的数据，定位 DolphinDB 中的相同数据并更新。此种模式下，由于需要将历史数据读取出来并在内存中进行匹配，会需要大量的内存，因此这种场景适用于在 DolphinDB 中容量较小的表，通常建议数据量在 200 万以下的表。
+   当前使用的更新数据的模式是通过全表数据提取、更新后删除分区重写的方式来实现，现在的版本还无法保障上述整体操作的原子性，后续版本会针对此种方式的事务处理方面做优化和改进。
+
+## 3. 使用方法
+
+详细信息请参阅 [DataX 指南](https://github.com/alibaba/DataX/blob/master/userGuid.md), 以下仅列出必要步骤。需要注意的是，dataX 的启动脚本是基于 python2 开发，所以需要使用 python2 来执行 datax.py。
+
+### 3.1. 下载部署 DataX
+
+从 [DataX 下载地址](http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz) 下载 DataX。
+
+### 3.2. 部署 DataX-DolphinDBWriter 插件
+
+将[源码](https://gitee.com/dolphindb/datax-writer)的 *./dist* 目录下的整个 dolphindbwriter 文件夹拷贝到 dataX/plugin/writer 目录下，即可以使用。
+
+### 3.3. 执行 DataX 任务
+
+进入 datax/bin 目录下，用 python 执行 datax.py 脚本，并指定配置文件地址，示例如下：
+
+```dolphindb
+cd /root/datax/bin/
+python datax.py /root/datax/myconf/BASECODE.json
+```
+
+### 3.4. 导入实例
+
+使用 DataX 绝大部分工作都是通过配置来完成，包括双边的数据库连接信息和需要同步的数据表结构信息等。
+
+#### 3.4.1. 全量导入
+
+下面以从 oracle 向 DolphinDB 导入一张表 BASECODE 来举个例子。
+
+首先在导入之前，需要在 DolphinDB 中将目标数据库和表需要预先创建好。然后使用 oraclereader 从 oracle 读取 BASECODE 表读取全量数据，dolphindbwriter 将读取到的 BASECODE 数据写入 DolphinDB 中。
+
+编写配置文件*BASECODE.json*，存放到指定目录，比如 /root/datax/myconf目录下，配置文件说明参考附录。在做全量导入时，saveFunctionName和saveFunctionDef这两项无需配置，删除即可。
+
+配置完成后，在 *datax/bin* 目录下执行如下脚本即可启动同步任务：
+
+```dolphindb
+cd /root/datax/bin/
+python datax.py /root/datax/myconf/BASECODE.json
+```
+
+#### 3.4.2. 增量数据导入
+
+增量数据分两种类型，一种是新增数据，另一种是已有数据的更新，即更新了数据内容以及时间戳。对于这两种类型，要用不同的数据导入方式。
+
+- 新增数据增量同步
+
+  新增数据的增量同步，与全量导入相比，唯一的不同点在于 reader 中对数据源的对已导入数据过滤。通常需要处理增量数据的表，都会有一个时间戳的列来标记入库时间，在 oralce reader 插件中，只需要配置 where 条件，增加时间戳过滤即可，对于 dolphindbwriter 的配置与全量导入完全相同。比如时间戳字段为 OPDATE, 要增量导入 2020.03.01 之后的增量数据，那么配置 `"where": "OPDATE > to_date('2020-03-01 00:00:00', 'YYYY-MM-DD HH24:MI:SS')`
+- 变更数据增量同步
+
+  变更数据在数据源有不同的记录方法，比较规范的方法是通过一个变更标志和时间戳来记录，比如用 OPTYPE、OPDATE 来记录变更的类型和时间戳，这样可以通过类似 `"where": "OPTYPE=1 and OPDATE > to_date('2020-03-01 00:00:00', 'YYYY-MM-DD HH24:MI:SS')` 条件过滤出增量数据。对于 writer 的配置项，需要增加如下两处配置：
+
+  - isKeyField
+
+    ```dolphindb
+    因为变更数据的更新需要目标表中有唯一列，所以 writer 的配置中，需要对 table 配置项中唯一键列增加 isKeyField=true 这一配置项。
+    ```
+
+    - saveFunctionName
+
+      DolphinDB 有多种数据落盘的方式，比较常用的两种是分布式表和维度表。dolphindbwriter 中内置了更新这两种表的脚本模板，当从数据源中过滤出变更数据之后，在 writer 配置中增加`saveFunctionName`和`saveFunctionDef`两个配置 (具体用法请参考附录)，writer 会根据这两个配置项，采用对应的方式将数据更新到 DolphinDB 中。
+
+    当有些数据源中不包含 OPTYPE 这一标识列，无法分辨出新数据是更新或是新增的时候，可以作为新增数据入库，函数视图输出的方式：
+
+    - 数据作为新增数据处理。这种方式处理后，数据表中存在重复键值。
+    - 定义 functionView 作为数据访问接口，在 functionView 中对有重复键值的数据仅输出时间戳最新的一条。
+    - 用户不能直接访问表 (可以取消非管理员用户访问表的权限)，统一通过 functionView 访问数据。
+- 定时同步
+
+  - 利用 shell 脚本实现 DataX 定时增量数据同步
+
+    DataX 从设计上用于离线数据的一次性同步场景，我们可以通过 shell 或 python 脚本等工程方式实现定时增量同步。
+
+    由于 DataX 支持非常灵活的配置，一种相对简单并且可靠的思路就是根据时间戳动态修改配置文件：
+
+    1. 利用 DataX 的 reader 去目标数据库读取数据，并记录最新时间戳。
+    2. 将这个最新时间戳写入到一个 json 文本文件 (op\_table.json)。
+    3. 再次执行同步时用脚本来读取 json 文本文件，并动态修改同步的配置文件。
+    4. 执行修改后的配置文件 (run\_job.json)，进行增量同步。
+
+    本脚本默认约定，每一个数据表中都有 OPDATE 和 OPMODE 两个字段，用于标记操作时间和操作方式。OPMODE=0 为新增数据，OPMODE=1，2 为更新和删除数据。在运行时，根据保存的时间戳动态为 oraclereader 增加一个 where 配置项：
+
+    ```dolphindb
+    OPMODE = 0 AND OPDATE > to_date('[最新时间戳]', 'YYYY-MM-DD HH24:MI:SS') //新增数据
+
+    OPMODE > 0 AND OPDATE > to_date('[最新时间戳]', 'YYYY-MM-DD HH24:MI:SS') //更新数据
+    ```
+
+定时同步是通过 python 脚本实现，它在 datax 的发布包中包含。
+增量同步脚本在根目录 ddb\_script 下，下载后保存在本地磁盘比如/root/ddb\_script/。
+
+假设 datax 根目录为/root/datax, 配置文件放在/root/datax/myconf/目录下，则增量同步的使用方法为
+
+```dolphindb
+cd /root/ddb_script/
+python main.py /root/datax/bin/datax.py /root/datax/myconf/BASECODE.json [run_type]
+```
+
+run\_type 参数为选项值，当前支持 [test|prod], 具体说明如下：
+
+```dolphindb
+设置为test时，脚本实时打印 datax 输出的内容，
+此设置下不会向op_table.json文件更新时间戳，可供重复调试配置文件使用。
+
+设置为prod时，执行后会更新op_table.json中的 时间戳 ,用于真实生产环境。
+```
+
+调试好配置文件之后，将此脚本通过 cron 加入到定时任务中，即可实现每日定期增量备份的功能。
+
+#### 3.4.3. 数据导入预处理
+
+在数据进入 DolphinDB 分布式库之前，某些场景需要对数据做一些预处理，比如数据格式转换，参照值转换等。这一功能可以通过自定义`saveFunctionDef`来实现，在数据上传到 DolphinDB 内存中，若`saveFunctionDef`有定义，插件会用此函数来替换 tableInsert 函数，将数据处理逻辑插入数据写入之前即可实现上述的功能。
+此函数定义必须有三个参数：dbPath, tbName, data，分别对应数据库路径 (如 dfs://db1)，数据表名称，待写入的数据。
+
+## 4. 附录
+
+- **DolphinDB 写插件配置项**
+
+  | **配置项** | **是否必须** | **数据类型** | **默认值** | **描述** |
+  | --- | --- | --- | --- | --- |
+  | host | 是 | STRING | 无 | Server Host |
+  | port | 是 | INT | 无 | Server Port |
+  | userId | 是 | STRING | 无 | DolphinDB 用户名导入分布式库时，必须是要有权限的用户才能操作 |
+  | pwd | 是 | STRING | 无 | DolphinDB 用户密码 |
+  | dbPath | 是 | STRING | 无 | 需要写入的目标分布式库名称，比如"dfs://MYDB"。 |
+  | preSql | 否 | STRING | 无 | 写入数据到目的表前，会先执行这里的 DolphinDB 脚本。 |
+  | postSql | 否 | STRING | 无 | 写入数据到目的表后，会执行这里的 DolphinDB 脚本。 |
+  | column | 否 | STRING | 无 | 目的表需要写入数据的字段。注意：不能与 table 字段同时使用。使用时请阅读本表下方的注意事项。 |
+  | tableName | 是 | STRING | 无 | 目标数据表名称 |
+  | batchSize | 否 | INT | 100,000 | datax 每次写入 DolphinDB 的批次记录数。 |
+  | table | 是 |  |  | 写入表的字段集合，具体参考后续table 项配置详解。 |
+  | saveFunctionName | 否 | STRING | 无 | 自定义数据处理函数。若未指定此配置，插件在接收到 reader 的数据后，会将数据提交到 DolphinDB 并通过 `tableInsert` 函数写入指定库表；如果定义此参数，则会用指定函数替换 `tableInsert` 函数。 |
+  | saveFunctionDef | 否 | STRING | 无 | 数据入库自定义函数。此函数指用DolphinDB 脚本来实现的数据入库过程。 此函数必须接受三个参数：dbName（分布式库路径）, tbName（数据表名）, data（从 datax 导入的数据，table 格式）。 |
+  | writeTimeout | 否 | INT | 无 | 每次写入的执行超时时间，单位为毫秒（ms）。如果未设置，则将一直等待写入完成。 |
+
+  在使用 column 时，请注意：
+
+  - 字段之间用英文逗号分隔，例如: "column": ["id","name","age"]。
+  - 如果要依次写入全部列，使用表示，例如: "column": ["\*"]。
+  - 不可以为空，如 "column": []，或者 "column": [""]。
+  - 导入数据是按照原表的字段顺序，无法通过识别新表的字段名称而改变数据顺序。
+- **table 配置详解**
+
+  table 用于配置写入表的字段集合。内部结构为：
+
+  ```dolphindb
+      {"name": "columnName", "type": "DT_STRING", "isKeyField":true}
+  ```
+
+  请注意此处列定义的顺序，需要与原表提取的列顺序完全一致。
+
+  name：字段名称。
+
+  isKeyField：是否唯一键值，可以允许组合唯一键。本属性用于数据更新场景，用于确认更新数据的主键，若无更新数据的场景，无需设置。
+
+  type：枚举值以及对应 DolphinDB 数据类型如下。
+
+  | DolphinDB 类型 | 配置值 |
+  | --- | --- |
+  | DOUBLE | DT\_DOUBLE |
+  | FLOAT | DT\_FLOAT |
+  | BOOL | DT\_BOOL |
+  | DATE | DT\_DATE |
+  | MONTH | DT\_MONTH |
+  | DATETIME | DT\_DATETIME |
+  | TIME | DT\_TIME |
+  | SECOND | DT\_SECOND |
+  | TIMESTAMP | DT\_TIMESTAMP |
+  | NANOTIME | DT\_NANOTIME |
+  | NANOTIMETAMP | DT\_NANOTIMETAMP |
+  | INT | DT\_INT |
+  | LONG | DT\_LONG |
+  | UUID | DT\_UUID |
+  | SHORT | DT\_SHORT |
+  | STRING | DT\_STRING |
+  | SYMBOL | DT\_SYMBOL |
+- **更新分区表和维度表脚本模板代码（供参考）**
+
+  - savePartitionedData
+
+    ```dolphindb
+    def rowUpdate(dbName, tbName, data, t){
+    	updateRowCount = exec count(*) from ej(t,data,['OBJECT_ID'])
+    	if(updateRowCount<=0) return
+    	dfsPath = "dfs://" + dbName
+    	temp = select * from t
+    	cp = t.schema().chunkPath.substr(strlen("/" + dbName))
+    	update temp set EVENT_ID = data.EVENT_ID,S_INFO_WINDCODE = data.S_INFO_WINDCODE, S_ACTIVITIESTYPE=data.S_ACTIVITIESTYPE, S_SURVEYDATE=data.S_SURVEYDATE, S_SURVEYTIME=data.S_SURVEYTIME, ANN_DT = data.ANN_DT,OPDATE=data.OPDATE,OPMODE=data.OPMODE where OBJECT_ID in data.OBJECT_ID
+    	dropPartition(database(dfsPath), cp, tbName)
+    	loadTable(dfsPath, tbName).append!(temp)
+    }
+
+    def savePartitionedData(dbName, tbName, data){
+    	dfsPath = "dfs://" + dbName
+    	login("admin","123456")
+    	t = loadTable(dfsPath, tbName)
+    	ds1 = sqlDS(<select * from t>)
+    	mr(ds1, rowUpdate{dbName, tbName, data})
+    }
+    ```
+  - saveDimensionData
+
+    ```dolphindb
+    def saveDimensionData(dbName, tbName, data){
+            login('admin','123456')
+            dfsPath = 'dfs://' + dbName
+            temp = select * from loadTable(dbPath, tbName)
+            update temp set EVENT_ID = data.EVENT_ID,S_INFO_WINDCODE = data.S_INFO_WINDCODE, S_ACTIVITIESTYPE=data.S_ACTIVITIESTYPE, S_SURVEYDATE=data.S_SURVEYDATE, S_SURVEYTIME=data.S_SURVEYTIME, ANN_DT = data.ANN_DT,OPDATE=data.OPDATE,OPMODE=data.OPMODE where OBJECT_ID in data.OBJECT_ID
+            db = database(dbPath)
+            db.dropTable(tbName)
+            dt = db.createTable(temp, tbName)
+            dt.append!(temp)}
+    ```
+
+    ​
+- **配置文件示例**
+
+BASECODE.json
+
+```dolphindb
+{
+    "job": {
+        "setting": {
+            "speed": {
+                "channel": 1
+            }
+        },
+        "content": [
+            {
+                "reader": {
+                    "name": "oraclereader",
+                    "parameter": {
+                        "username": "root",
+                        "password": "password",
+                        "column": [
+                            "*"
+                        ],
+                        "connection": [
+                            {
+                                "table": [
+                                    "BASECODE"
+                                ],
+                                "jdbcUrl": [
+                                    "jdbc:oracle:thin:@127.0.0.1:1521:helowin"
+                                ]
+                            }
+                        ],
+                        "where":"OPDATE > to_date('2020-03-01 00:00:00', 'YYYY-MM-DD HH24:MI:SS')"
+                    }
+                },
+                "writer": {
+                    "name": "dolphindbwriter",
+                    "parameter": {
+                        "userId": "user",
+                        "pwd": "pass",
+                        "host": "127.0.0.1",
+                        "port": 8848,
+                        "dbPath": "dfs://TESTDB",
+                        "tableName": "BASECODE",
+                        "batchSize": 100000,
+                        "table": [
+                            {
+                                "type": "DT_DOUBLE",
+                                "name": "S_INFO_MIN_PRICE_CHG_UNIT"
+                            },
+                            {
+                                "type": "DT_DOUBLE",
+                                "name": "S_INFO_LOT_SIZE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_ENAME"
+                            },
+                            {
+                                "type": "DT_TIMESTAMP",
+                                "name": "OPDATE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "OPMODE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "OBJECT_ID",
+                                "isKeyField" :true
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_WINDCODE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_ASHARECODE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_COMPCODE"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_SECURITIESTYPES"
+                            },
+                            {
+                                "type": "DT_STRING",
+                                "name": "S_INFO_SECTYPENAME"
+                            }
+                        ]
+                    }
+                }
+            }
+        ]
+    }
+}
+```
+
+- **特殊情况 - 时间精度丢失**
+
+reader 读取的上游数据库是用字符串的形式存储的时间字段，且该时间字段的需要保留毫秒及以上的精度，那么如果 dolphindbwriter 对应字段的 type 配置成 DT\_TIME, DT\_TIMESTAMP 等，会导致时间存入 DolphinDB 分布式表后丢失毫秒及以上的精度。
+
+例如：从 Oracle 向 DolphinDB 导入数据， Oracle 用 varchar 类型存储时间：09:00:01.123 , DolphinDB 的分布式表用 TIME 类型存储该时间, 在 dolphindbwriter 的配置中设置对应字段的 type 为 DT\_TIME,，入库之后的结果为 09:00:01.000。
+
+解决方案：
+
+将 dolphindbwriter 对应字段的 type 配置为 STRING， 再通过写自定义处理函数，将 STRING 转换成 DolphinDB 的时间类型。
+
+```dolphindb
+"writer": {
+                    "name": "dolphindbwriter",
+                    "parameter": {
+                        "userId": "user",
+                        "pwd": "pass",
+                        "host": "127.0.0.1",
+                        "port": 8848,
+                        "dbPath": "dfs://TESTDB",
+                        "tableName": "BASECODE1",
+                        "batchSize": 100000,
+                        "saveFunctionName":"updateData",
+                        "saveFunctionDef":"def updateData(dbName, tbName, mutable data){login('admin', '123456');data.replaceColumn!(`Dtime,  temporalParse(data.Dtime, 'HH:mm:ss.SSS'));loadTable(dbName, tbName).append!(data)} "
+                        "table": [
+                            {
+                                "type": "DT_STRING",
+                                "name": "Dtime"
+                            }
+                        ]
+                    }
+                }
+```