db2text 0.2.1__tar.gz → 0.2.3__tar.gz

{db2text-0.2.1/db2text.egg-info → db2text-0.2.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: db2text
-Version: 0.2.1
+Version: 0.2.3
 Summary: database to text
 Home-page: https://gitee.com/chenc224/dbt
 Author: Chen chuan

{db2text-0.2.1 → db2text-0.2.3}/database2text/datafile/dbtmanual.md

@@ -2,9 +2,33 @@
 
 ## 概述
 
-这个工具主要用于读取数据库里的对象如表、视图等的结构，根据这些结构生成文本文件。
+这个软件包大致分为2个部分，一个是dbt命令行工具，可用于读取数据库里的对象如表、视图等的结构，根据这些结构生成、修改文本文件。典型应用场景如下：
 
-可以用这些文本文件以及版本控制软件来备份、检查数据库结构的变动情况。还可以使用模板技术根据这些结构自动生成代码，比如可以自动更新c/c++源代码里的结构，这样在表结构更新时可以帮助你迅速完成底层数据结构的重建。
+* 生成结构文本数据，配合版本控制，可以备份、检查、跟踪数据库结构的变动情况。
+* 设置模板，自动更新c/c++的源代码，比如oracle pro*c里以下跟结构密切相关的代码都可以自动生成、更新
+```
+struct stru_note_request {//消息请求队列 note_request
+    long     id;                        //请求ID id
+    long     group_id;                  //收件组ID group_id
+    char     group_name[256];           //收件组名 group_name
+    char     note_content[4001];        //消息内容 note_content
+    long     note_type;                 //0-短信 1-微信 2-语音 3-工作台
+    long     save_days;                 //单位-天
+};
+
+```
+* 设置模板，自动更新markdown文档，如
+
+| 字段名 | 类型 | 空 | 默认值 | 说明 |
+| :----  | :---- | :---- | :---- | :---- |
+| xmjdid | bigint(20) |  |  | 项目进度id |
+| xmid | bigint(20) |  |  | 项目id |
+| cyrid | bigint(20) |  |  | 身份表里的身份id |
+| clnr | longblob |  |  | 处理内容 |
+| tjsj | datetime |  |  | 提交时间 |
+| clff | varchar(50) | 可 |  | 处理方法 |
+
+还有一个部分就是提供一个库，方便大家解析数据库，获取数据结构，进行一些自己的处理。dbt命令行工具可以认为就是用这个库写出来的一个应用吧。
 
 ## 安装
 
@@ -47,7 +71,7 @@ table= + abcd.*
 
 如`coding=gbk`则指定当前的配置文件的字符集gbk
 
-## connnect段
+## connect段
 
 首先要有一行
 
@@ -115,7 +139,7 @@ pdfdir=指定pdf文件放在哪个目录，未指定则放在dotdir目录下
 
 filename=dot和pdf文件名，不带扩展名
 
-dotcmd=neato    指定graphviz布局算法，可以选择dot，neato,twopi,circo,fdp,sfdp,patchwork和osage这些，未指定使用neato
+dotcmd=neato    指定graphviz布局算法，可以选择twopi、circo、fdp和osage这些，未指定使用fdp。不建议使用dot，patchwork，布局严重有问题，也不建议使用neato、sfdp，生成的pdf尺寸有点问题。
 
 page= 页名称列表，用空格隔开，如 用户类 权限相关 交易 流程控制等 other/其它
 
@@ -125,6 +149,35 @@ page设置的是页名称列表，每个页名称对应一个设置项，other
 
 每个页名称会生成一页pdf，最终合成得到一个多页的pdf。如果不需要多页pdf，可以不用设置page语句。
 
+## wiki段
+
+生成wiki里的表格。如果指定wiki，可以直接用wiki机器人自动更新wiki内容。如果不指定wiki，则输出文本内容供粘贴。
+
+生成内容类似下面这样
+
+```
+{| class="wikitable"
+|+ 表名 表的注释内容
+! 字段名  !! 类型    !! 说明
+|-
+|| 字段1名字  || 字段1类型  || 字段1说明
+|-
+|| 字段2名字  || 字段2类型  || 字段2说明
+|}
+```
+
+自动更新内容时寻找前两行内容匹配的，注意表的注释内容有差异不影响匹配。从这两行开始直到|}结束的行就是需要更新的区域。
+
+title = name:字段名 desc:注释 ts:类型 default:默认值 :说明
+
+title设置表格有几列，列和数据之间的关系，列是数据中的md列表内容，如果不指定列，这一列由用户自行填写，不做更新。
+
+wiki = wiki  dbcfg配置的wiki登录方式，如果设置，可以用wiki机器人自动更新。如果未设置，则输出文本。
+
+page = 页面名称 即相应页地址最后内容如http://地址/mediawiki/index.php/页面名称
+
+level = 2 如果是一张新表，会在内容的最后增加这个表格，在表格前面还会加一个标题如 == 表名 表的注释内容 ==，这里的level指定=的个数，如果未设置，不增加这个标题行
+
 ## end段
 
 发现这个段就意味着执行器停止扫描，这样可以把一些暂时不用的代码放在end段后面。
@@ -145,6 +198,22 @@ page设置的是页名称列表，每个页名称对应一个设置项，other
 
 dbt执行时根据dbt.txt里的内容执行相应处理。主要流程就是连接数据库、读取数据库结构、导出结构或者根据结构调整文本。这里连接数据库、读取数据库结构考虑设计成模块化的，这样可以方便替换不同的数据库。后续导出结构或者根据结构调整文本其实不同的数据库是基本类似的，差异可能只是数据结构有不同，所以这一部分设计成通用的。
 
+## db2text 模块
+
+新构建db2text模块替代过往的database2text模块，老的模块结构不合理，需要优化，顺便把名字改短一点。
+
+模块提供一些全局的数据gd和一些函数、类供使用，计划将配置信息、中间结果等都放在gd里。
+
+如果使用import db2text as dt这样的导入方式，需要使用dt.gd.coding这样来使用gd里的数据，函数则使用dt.函数名来使用。建议使用这种方式避免名字污染。
+
+如果使用from db2text import * 这样的导入方式，可以使用gd.coding这样来使用gd里的数据，函数则直接用函数名来使用。
+
+后续dbt改用db2text，全部迁移后老的database2text将会废弃。
+
+gd （global data）的说明可以直接察看data.py，里面有清单和说明。
+
+函数、公用类说明在下面，单起一章。
+
 ## 读数据库模块设计
 
 系统已经有一些模块可以用来处理oracle、mysql、mssql，如果有其它数据库要处理，可以在https://gitee.com/chenc224/dbt/issues提需求，也可以根据模块的设计思路自己写一个。

{db2text-0.2.1 → db2text-0.2.3}/database2text/datafile/dot.mb

@@ -1,9 +1,11 @@
 graph 表结构 {
-	size = "8,11"
-#	page="8.5,11";
+	size = "8.5,11";
+	margin=0;
+	pad=0.1;
+	page="8.5,11";
 #	charset=utf8;
-#	ratio="auto"
-	dpi = 300
+	ratio="fill"
+#	dpi = 300
 #	rankdir = "TR"
 #	node[shape=record fontname="wqy-zenhei" size="30,30"]
 	node[shape=plaintext fontname="wqy-zenhei"]

db2text-0.2.3/database2text/datafile/sample/dm/all.txt

@@ -0,0 +1,30 @@
+code=utf8
+
+:connect
+driver=dm
+dbcfg=dbt_dm
+:readdata
+:export
+#export段设置导出数据库里的相应内容为文本文件
+datadir=test/dm/export
+:render
+file=test/dm/all.md
+help=n
+#table=tgroup tuser t_user_group t_app_group
+#使用help=y可以打印出传入模板的数据，方便写模板的时候使用
+start=## {{ tname }} 
+## {{ tname }} {{ tdesc }}
+| 字段名 | 类型 | 长度 | 空 | 默认值 | 说明 |
+| :----  | :---- | ----: | :---- | :---- | :---- |
+{% for c in ori %}| {{ c.COLUMN_NAME }} | {{ c.DATA_TYPE }} | {{ c.DATA_LENGTH }} | {% if c.NULLABLE == "Y" %}可{% endif %} | {{ c.DATA_DEFAULT or "" }} | {{ c.COLUMN_COMMENT }} |
+{% endfor %}
+end=
+
+#根据模板生成graphviz的dot文件，调用相应命令生成pdf文件
+:dot
+dotdir=test/dm
+pdfdir=local/dm
+filename=all
+dotcmd=osage
+
+:end

{db2text-0.2.1 → db2text-0.2.3}/database2text/datafile/sample/mysql/all.txt

@@ -26,7 +26,7 @@ start=## {{ tname }}
 {% endfor %}
 end=
 
-#根据模板生成dot文件，调用neato生成pdf文件
+#根据模板生成graphviz的dot文件，调用相应命令生成pdf文件
 :dot
 dotdir=test/mysql
 pdfdir=local/mysql

db2text-0.2.3/database2text/datafile/sample/mysql/wiki.txt

@@ -0,0 +1,16 @@
+code=utf8
+
+:connect
+driver=mysql
+dbcfg=webbase.ggcx
+:readdata
+
+#view = v_user v_group
+
+:wiki
+title = name:字段名 desc:注释 ts:类型 default:默认值 :说明
+wiki=wiki
+page=门户mysql数据库文档
+level=2
+
+:end

{db2text-0.2.1 → db2text-0.2.3}/database2text/datafile/sample/oracle/all.txt

@@ -48,7 +48,7 @@ table=ts.*
 dotdir=test/oracle
 pdfdir=local/oracle
 filename=lofta
-dotcmd=osage
+#dotcmd=fdp
 page=份额类 other
 
 份额类=ts[a-f].*

db2text-0.2.3/database2text/datafile/sample/oracle/crmrpt.txt

@@ -0,0 +1,26 @@
+#基础说明可参考https://gitee.com/chenc224/dbt/blob/master/database2text/datafile/usermenual.md
+#sample for oracle 11
+#oracle11的样例文件
+#号开头的行为注释，并不需要处理
+#冒号开头的行表示一段内容的开始，直到另外一个冒号或者是文件尾
+#执行时扫描配置文件，把每一段的内容传递给相应的处理函数处理
+:connect
+#connect段设置数据库类型以及连接所需要的数据，不同数据库需要的数据并不相同
+#loginname=loginname
+#password=password
+#dbserver=host address or ip or tnsname
+dbcfg=fundcrm@sjzx
+
+:readdata
+table=+ t_rpt_.*
+owner=RTCRM
+
+#根据模板生成dot文件，调用fdp生成pdf文件
+:dot
+dotdir=local/oracle
+pdfdir=local/oracle
+filename=rpt
+dotcmd=fdp
+#可以选择dot，neato,twopi,circo,fdp,sfdp,patchwork和osage指定graphviz布局算法
+
+:end

{db2text-0.2.1 → db2text-0.2.3}/database2text/dbt.py

@@ -4,6 +4,7 @@
 import sys,importlib,os,shutil,dbcfg
 import database2text.tool as dbtt
 from database2text.tool import *
+import db2text as dt
 
 def 读文件():
     rd=[]
@@ -57,7 +58,7 @@ def main():
                 elif hasattr(dbtt,section):
                     getattr(dbtt,section)(stdata)
                 else:
-                    print("can't find function %s in driver %s and dbtt" %(section,driver))
+                    print(f"在配置文件中发现未知的节{section},请检查格式是否正确")
                     sys.exit(-2)
             section=s[1:].strip()
             storidata.clear()

db2text-0.2.3/database2text/dm.py

@@ -0,0 +1,146 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+
+import sys,cx_Oracle,json
+import database2text.tool as dbtt
+from database2text.tool import *
+
+class dm(object):
+    def ana_TABLE(otype):
+        for oname, in db.exec("select object_name from all_objects where object_type=:ot and lower(owner)=:owner order by 1",ot=otype,owner=owner):
+            if 检查匹配(otype,oname):
+                continue
+            if oname.startswith("SYS_EXPORT_TABLE"):
+                continue
+            odata="create table %s\n(\n" %(oname)
+            coldata=[]  #记录列数据，包括type类型，name列名，desc注释信息，size长度，ns名称+长度如name[5]这样
+            md=[]   #markdown等用的字段数据，每字段一个字典，包括 "name": 字段名,"desc": 注释,"type": 数据类型，"size":字段长度,"null":True of False，是否可为空,"default":默认值
+            maxcsize=db.res1("select max(length(column_name)) from all_tab_cols where owner='%s' and table_name='%s'" %(owner,oname))
+            tdesc=db.res1("select comments from all_tab_comments where owner=:1 and table_name=:2",[owner,oname])
+            if not tdesc:tdesc=""
+            oridata=[]
+            for col in db.exec2("select * from all_tab_cols where owner='%s' and table_name='%s' order by column_id" %(owner,oname)):
+                col["COLUMN_COMMENT"]=db.res1("select comments from all_col_comments where table_name=:1 and column_name=:2 and owner=:3",[oname,col["COLUMN_NAME"],owner])
+                if col["DATA_DEFAULT"]!=None:
+                    col["DATA_DEFAULT"]=col["DATA_DEFAULT"].strip()
+                oridata.append(col)
+            for column_name,data_type,char_length,data_precision,data_scale,nullable,default_length,data_default in db.exec("select column_name,data_type,char_length,data_precision,data_scale,nullable,default_length,data_default from all_tab_cols where owner='%s' and table_name='%s' order by column_id" %(owner,oname)):
+                odata=odata+"  %s%*s" %(column_name,maxcsize-len(column_name)+1," ")
+                ctype="char"
+                desc=db.res1("select comments from all_col_comments where table_name=:1 and column_name=:2 and owner=:3",[oname,column_name,owner])
+                if not desc:desc=""
+                if data_type in ("NUMBER","NUMERIC"):
+                    if data_precision is not None and data_scale is not None:
+                        if data_scale==0:
+                            if data_precision<8:ctype="int"
+                            else:ctype="long"
+                            odata=odata+"NUMBER(%d)" %(data_precision)
+                            ts=f"NUMBER({data_precision})"
+                        else:
+                            ctype="double"
+                            odata=odata+"NUMBER(%d,%d)" %(data_precision,data_scale)
+                            ts=f"NUMBER({data_precision}.{data_scale})"
+                    elif data_precision is None and data_scale==0:
+                        ctype="long"
+                        odata=odata+"INTEGER"
+                        ts="INTEGER"
+                    elif char_length==0:
+                        ctype="long"
+                        odata=odata+"NUMBER"
+                        ts="INTEGER"
+                    else:
+                        print("table %s column %s type %s length %s %s %s" %(oname,column_name,data_type,char_length,data_precision,data_scale))
+                        sys.exit(-1)
+                    cns=column_name
+                elif data_type in ("VARCHAR2","VARCHAR","CHAR","NVARCHAR2","NVARCHAR"):
+                    if char_length==1:
+                        ts=data_type
+                    else:
+                        ts=f"{data_type}({char_length})"
+                    cns="%s[%d]" %(column_name,char_length+1)
+                    odata=odata+"%s(%d)" %(data_type,char_length)
+                elif data_type.startswith("TIMESTAMP"):
+                    cns="%s[20]" %(column_name)
+                    odata=odata+"%s" %(data_type)
+                    ts=data_type
+                elif data_type in("DATE"):
+                    cns="%s[20]" %(column_name)
+                    odata=odata+"%s" %(data_type)
+                    ts=data_type
+                elif data_type in("CLOB","BLOB","NCLOB","LONG","RAW"):
+                    cns="%s[2000]" %(column_name)
+                    odata=odata+"%s" %(data_type)
+                    ts=data_type
+                elif data_type in("INTEGER","BIGINT"):
+                    cns="%s" %(column_name)
+                    odata=odata+"%s" %(data_type)
+                    ts=data_type
+                elif data_type in ("FLOAT"):
+                    ctype="double"
+                    odata=odata+"FLOAT(%d)" %(data_precision)
+                    ts=data_type
+                elif data_type in ("ROWID"):
+                    cns="%s[100]" %(column_name)
+                    odata=odata+"%s" %(data_type)
+                    ts=data_type
+                else:
+                    print("table %s column %s type %s length %s %s %s" %(oname,column_name,data_type,char_length,data_precision,data_scale))
+                    sys.exit(-1)
+                if default_length:
+                    odata=odata+" default %s" %(data_default.strip())
+                if nullable=="N":
+                    odata=odata+" not null"
+                odata=odata+",\n"
+                cns2=cns
+                if data_type in ("VARCHAR2","VARCHAR","CHAR","NVARCHAR2","NVARCHAR") and char_length==1:
+                    cns=column_name
+                coldata.append({"type":ctype,"name":column_name,"ns":cns,"ns2":cns2,"desc":desc})
+                主键列=[]
+                for pkcol, in db.exec(f"SELECT cols.column_name FROM user_constraints cons, user_cons_columns cols WHERE cons.constraint_type = 'P' AND cons.constraint_name = cols.constraint_name AND cons.owner = cols.owner and cons.owner = '{owner}' AND cols.table_name = '{oname}'"):
+                    主键列.append(pkcol)
+                md.append({"name":column_name,"desc":desc,"type":data_type,"size":char_length, "null":nullable=="N", "default":data_default,"ts":ts, "pk":column_name in 主键列})
+            odata=odata[:-2]
+            odata=odata+"\n);"
+            dbdata["sql"]["TABLE"][oname]=odata
+            dbdata["exp"]["TABLE"].append({"tname":oname,"tdesc":tdesc,"ori":oridata,"c":coldata,"md":md})
+
+    def ana_VIEW(otype):
+        for oname, in db.exec("select object_name from user_objects where object_type=:ot",ot=otype):
+            if "view" in stdata and oname.lower() not in stdata["view"].split() and oname not in stdata["view"].split():
+                continue
+            dbdata["sql"][otype][oname]=oracle.getobjtext(otype,oname)
+
+    def getobjtext(otype,oname):
+        c=db.conn.cursor()
+        try:
+            c.callproc('DBMS_METADATA.SET_TRANSFORM_PARAM',(-1, 'TABLESPACE',False))
+            c.callproc("DBMS_METADATA.SET_TRANSFORM_PARAM",(-1,'STORAGE',False))
+            c.callproc("DBMS_METADATA.SET_TRANSFORM_PARAM",(-1,'SEGMENT_ATTRIBUTES',False))
+            c.callproc("DBMS_METADATA.SET_TRANSFORM_PARAM",(-1,'PRETTY',False))
+        except:
+            pass
+        ssql=db.res1("SELECT dbms_metadata.get_ddl(:otype,:oname) FROM DUAL",otype=otype,oname=oname).read()
+        return ssql
+
+def readdata(arg):
+    global owner
+    dbdata["sql"]={}
+    dbdata["exp"]={}
+    if "owner" in arg:
+        owner=arg["owner"]
+    for i in vars(dm):
+        if i.startswith("ana_"):
+            otype=i[4:]
+            dbdata["sql"][otype]={}
+            dbdata["exp"][otype]=[]
+            getattr(dm,i)(otype)
+
+def connect(arg):
+    global owner
+    db.conn=dbtt.dbc.connect()
+    if "owner" in stdata:
+        owner=stdata["owner"]
+    else:
+        owner=db.res1("select user from dual")
+
+__all__=[]

{db2text-0.2.1 → db2text-0.2.3}/database2text/mssql.py

@@ -11,7 +11,7 @@ class mssql(object):
     def ana_TABLE(otype):
         dbdata["sql"]["TABLE"]={}
         dbdata["exp"]["TABLE"]=[]
-        sql="SELECT table_catalog,table_schema,table_name FROM INFORMATION_SCHEMA.TABLES where table_type='BASE TABLE'"
+        sql="SELECT table_catalog,table_schema,table_name FROM INFORMATION_SCHEMA.TABLES where table_type='BASE TABLE' order by 3"
         if 目录:
             sql=f"{sql} and table_catalog='{目录}'"
         if 集合:
@@ -20,6 +20,9 @@ class mssql(object):
             if 检查匹配(otype,表名):
                 continue
             表id=db.res1(f"select object_id('{catalog}.{schema}.{表名}')")
+            if not 表id:
+                print(f"{catalog}.{schema}.{表名} 找不到表id")
+                continue
             表注释=db.res1(f"select value from sys.extended_properties where major_id={表id} and class=1 and name='MS_Description'") or ""
             主键名=db.res1(f"SELECT k.CONSTRAINT_NAME FROM INFORMATION_SCHEMA.TABLE_CONSTRAINTS AS c JOIN INFORMATION_SCHEMA.KEY_COLUMN_USAGE AS k ON c.CONSTRAINT_TYPE = 'PRIMARY KEY' AND c.CONSTRAINT_NAME = k.CONSTRAINT_NAME WHERE c.TABLE_NAME = '{表名}'")
             主键列=[]

{db2text-0.2.1 → db2text-0.2.3}/database2text/mysql.py

@@ -7,7 +7,7 @@ from database2text.tool import *
 
 class mysql(object):
     def ana_TABLE(otype):
-        for oname, in db.exec(f"select table_name from information_schema.tables where table_schema='{database}' and table_type='BASE TABLE'"):
+        for oname, in db.exec(f"select table_name from information_schema.tables where table_schema='{database}' and table_type='BASE TABLE' order by 1"):
             if 检查匹配(otype,oname):
                 continue
             res=db.res1("show create table %s" %(oname))
@@ -28,6 +28,8 @@ class mysql(object):
 
     def ana_VIEW(otype):
         for oname, in db.exec(f"select table_name from information_schema.tables where table_schema='{database}' and table_type='VIEW'"):
+            if 检查匹配(otype,oname):
+                continue
             oridata=[]
             coldata=[]
             tdesc=db.res1("SELECT TABLE_COMMENT FROM INFORMATION_SCHEMA.TABLES  WHERE TABLE_NAME ='%s' AND TABLE_SCHEMA = '%s'" %(oname,database))

{db2text-0.2.1 → db2text-0.2.3}/database2text/opengauss.py

@@ -9,7 +9,7 @@ from database2text.tool import *
 
 class opengauss(object):
     def ana_TABLE(otype):
-        for 表id,表名 in db.exec(f"select oid,relname from pg_class where relkind='r' and relnamespace=(select oid from pg_namespace where nspname='{stdata['schema']}')"):
+        for 表id,表名 in db.exec(f"select oid,relname from pg_class where relkind='r' and relnamespace=(select oid from pg_namespace where nspname='{stdata['schema']}') order by oid"):
             odata=db.res1(f"select pg_get_tabledef({表id})")
             oridata=[]
             coldata=[]

{db2text-0.2.1 → db2text-0.2.3}/database2text/oracle11.py

@@ -7,7 +7,7 @@ from database2text.tool import *
 
 class oracle(object):
     def ana_TABLE(otype):
-        for oname, in db.exec("select object_name from all_objects where object_type=:ot and owner=:owner",ot=otype,owner=owner):
+        for oname, in db.exec("select object_name from all_objects where object_type=:ot and owner=:owner order by 1",ot=otype,owner=owner):
             if 检查匹配(otype,oname):
                 continue
             if oname.startswith("SYS_EXPORT_TABLE"):
@@ -119,8 +119,11 @@ class oracle(object):
         return ssql
 
 def readdata(arg):
+    global owner
     dbdata["sql"]={}
     dbdata["exp"]={}
+    if "owner" in arg:
+        owner=arg["owner"]
     for i in vars(oracle):
         if i.startswith("ana_"):
             otype=i[4:]

{db2text-0.2.1 → db2text-0.2.3}/database2text/tool.py

@@ -2,6 +2,8 @@
 # -*- coding: utf-8 -*-
 
 import sys,os,difflib,jinja2,re,json,datetime,importlib,pathlib
+import db2text as dt
+from pprint import pprint
 
 __all__=["db","ckd","dbdata","storidata","stdata","检查匹配","cpt"]
 
@@ -118,9 +120,14 @@ class dot(object):
     def __init__(self,arg):
         模板文件=pathlib.Path.joinpath(pathlib.Path(__file__).parent,"datafile","dot.mb")
         模板=open(模板文件,encoding="utf8").read()
-        分页数据=set()
-        for page in arg.get("page","如果没有设置page就搞一个默认的").split():
-            分页数据.add(arg.get(page,"输出剩下的所有表"))
+        分页数据=[]
+        for page in arg.get("page","其它").split():
+            if page in ["other","其它","其他"]:
+                if arg.get(page,"输出剩下的所有表") not in 分页数据:
+                    分页数据.append(arg.get(page,"输出剩下的所有表"))
+            elif page in arg:
+                if arg[page] not in 分页数据:
+                    分页数据.append(arg[page])
         文件序号=0
         已经使用=set()
         dot列表=[]
@@ -142,12 +149,11 @@ class dot(object):
                 fdot.write(jinja2.Template(模板).render(data))
                 fdot.close()
                 dot列表.append(dotname)
-                if "dotcmd" in arg:
-                    pdfname=os.path.join(arg.get("pdfdir","."),f"{arg['filename']}_{文件序号}.pdf")
-                    pdf列表.append(pdfname)
-                    cmd="%s -Tpdf %s -o %s" %(arg["dotcmd"],dotname,pdfname)
-                    print(cmd)
-                    os.system(cmd)
+                pdfname=os.path.join(arg.get("pdfdir","."),f"{arg['filename']}_{文件序号}.pdf")
+                pdf列表.append(pdfname)
+                cmd='%s -Tpdf %s -o %s' %(arg.get("dotcmd","fdp"),dotname,pdfname)
+                print(cmd)
+                os.system(cmd)
         if len(pdf列表)>0:
             import PyPDF3
             pdfout=PyPDF3.PdfFileMerger()
@@ -165,7 +171,7 @@ class render(object):
                 self.rendertable(t)
     def rendertable(self,t):
         if "help" in stdata and stdata["help"].lower() in ["y","1"]:
-            print(json.dumps(t,ensure_ascii=False,skipkeys=False,indent=4,cls=ComplexEncoder))
+            pprint(t)
         tpl=""  #模板
         k=False
         for l in storidata:
@@ -243,6 +249,68 @@ def 检查匹配(类型或者筛选值,名称):
                 排除标志=(加减=="-")
     return 排除标志
 
+class wiki(object):
+    '处理wiki内容'
+    def __init__(self,arg):
+        import mwclient,dbcfg
+        self.arg=arg
+        dt.gd.deftitle=arg.get("title","name:字段名 desc:注释 ts:类型 default:默认值 :说明")
+        dbc=dbcfg.use(arg['wiki'])
+        cfg=dbc.cfg()
+        site = mwclient.Site(cfg["d"]["server"], scheme=cfg["d"]["scheme"],path=cfg["d"]["path"])
+        site.login(cfg["d"]["user"],cfg["d"]["password"])
+        page = site.pages[arg["page"]]
+        if not page.exists:
+            quit("未找到wiki页面，请检查配置文件")
+        dt.inittext(page.text())
+        for t in dbdata["exp"]["TABLE"]:
+            if not 检查匹配("TABLE",t["tname"]):
+                self.handle_table(t)
+        ischanged=False
+        if len(dt.gd.text)==len(dt.gd.oritext):
+            for i in range(min(len(dt.gd.text),len(dt.gd.oritext))):
+                if dt.gd.text[i].strip()!=dt.gd.oritext[i].strip():
+                    print(f"第{i}行有差异")
+                    print(dt.gd.text[i]+":")
+                    print(dt.gd.oritext[i]+":")
+                    ischanged=True
+        else:
+            print(f"数据有更新,原始数据{len(dt.gd.oritext)}行，更新数据{len(dt.gd.text)}行")
+        if ischanged or len(dt.gd.text)!=len(dt.gd.oritext):   #更新后数据和原始数据不符，需要更新
+            page.edit(dt.gd.linebreak.join(dt.gd.text))
+
+    def handle_table(self,t):
+        dt.p(1,t["tname"])
+        thead=[ #定义模板的头部
+            '{| class="wikitable"',
+            f"|+ {t['tname']}"
+        ]
+        ttail=[
+            "|}"
+        ]
+        dt.capture(thead,ttail)    #捕获符合条件的数据
+        dt.analydata()      #解析数据到capturedata
+        mdata=dt.mergecolumndata(t)   #合并原始数据和用户自己设置的数据返回
+        newdata=[]
+        if dt.gd.capturenothing and "level" in self.arg:
+            titlemark="="* int(self.arg["level"])
+            newdata.append(f"{titlemark} {t['tname']} {t['tdesc']} {titlemark}")
+        newdata.append('{| class="wikitable"')
+        newdata.append(f"|+ {t['tname']} {t['tdesc']}")
+        rowdata=[]
+        for j in dt.gd.deftitle.split():
+            cname,tname=j.split(":")
+            rowdata.append(tname)
+        newdata.append("|-")
+        newdata.append(("! "+" !! ".join(rowdata)).strip())
+        for i in dt.createcolumndata(mdata):
+            newdata.append("|-")
+            newdata.append(("| "+" || ".join(i)).strip())
+        newdata.append("|}")
+        if dt.gd.capturenothing:    #第一次增加一个空行，好看一些
+            newdata.append("")
+        dt.replacenewdata(newdata)  #使用新数据替换掉旧的
+
 db=dblib()
 ckd=checkdiff()
 dbdata={}       #保存数据库里读到的数据

db2text-0.2.3/db2text/__init__.py

@@ -0,0 +1,2 @@
+from . util import *
+from . data import *

db2text-0.2.3/db2text/data.py

@@ -0,0 +1,19 @@
+# db2text的全局数据
+
+__all__=["gd"]
+
+class gd(object):   #全局数据
+#以下为设置项
+    coding="utf8"   #字符集，默认为utf8
+    linebreak="\n"  #检测到换行符，则替换掉这个，没检测到，使用这个默认的
+    infolevel=1     #设置提示信息级别
+    localinfolevel=1    #局部消息级别
+
+#以下为数据项
+    oritext=[]      #保存文本的初始值
+    text=[]         #保存处理后的文本
+    capturebegin=0  #捕获的数据在text中的开始序号
+    captureend=0  #捕获的数据在text中的结束序号
+    capturedata={}  #保存捕获的数据，以字段名为键值，保存一个字典，指定一行的数据内容，键值为标题
+    capturenothing=True #标记是不是捕获到
+    deftitle=""     #表头，如 name:字段名 desc:注释 ts:类型 default:默认值 :说明

db2text-0.2.3/db2text/db/__init__.py

@@ -0,0 +1 @@
+print("util.init")

db2text-0.2.3/db2text/util.py

@@ -0,0 +1,108 @@
+__all__=["inittext","p","capture","mergecolumndata","createcolumndata","replacenewdata","analydata"]
+
+import db2text as dt
+import time,copy
+from pprint import pprint
+
+def inittext(text):
+    '初始化文本，保存供后续核对，处理行分隔符等'
+    dt.gd.oritext=text.splitlines(False)   #保存数据供核对
+    dt.gd.text=text.splitlines(False)    #初始化要处理的数据
+    if text.find("\r\n")>=0:
+        dt.gd.linebreak="\r\n"
+    elif text.find("\r")>=0:
+        dt.gd.linebreak="\r"
+
+def p(level,fmt,*info):
+    '输出级别不高于设置值的信息，级别为-1则输出到标准错误'
+    if level>dt.gd.infolevel and level!=-1:return  #级别较低不输出,-1是错误输出，输出到标准错误上
+    if info is None or not info:
+        sinfo = time.strftime('%H:%M:%S') + "|%d: " % (level) + fmt
+    else:
+        sinfo=time.strftime('%H:%M:%S')+"|%d: " %(level) +fmt %(info)
+    if level>=0:
+        print(sinfo)
+    else:
+        sys.stderr.write(sinfo+"\n")
+
+def capture(thead,ttail):
+    '在dt.gd.text里查找数据，找到则设置开始和结束位置，找不到设置开始位置为文档结尾'
+    dt.gd.capturenothing=False
+    for i in range(len(dt.gd.text)-len(thead)-len(ttail)):
+        for j in range(len(thead)):  #依次比较头部
+            if not dt.gd.text[i+j].startswith(thead[j]):
+                break
+        else:   #头部比较完成
+            for j in range(i+len(thead)+1,len(dt.gd.text)-len(ttail)+1):
+                for k in range(len(ttail)): #依次检查是否尾部
+                    if not dt.gd.text[j+k].startswith(ttail[k]):
+                        break
+                else:   #头、尾都符合，是最终结果
+                    dt.gd.capturebegin=i
+                    dt.gd.captureend=j+len(ttail)-1
+                    return
+    dt.gd.capturebegin=len(dt.gd.text)
+    dt.gd.captureend=len(dt.gd.text)
+    dt.gd.capturenothing=True
+
+def analydata():
+    '根据预定义表头，解析数据成字典放在在capturedata中'
+    dt.gd.capturedata={}
+    if dt.gd.capturenothing:
+        return
+    oldtitle=[]
+    for i in range(dt.gd.capturebegin,dt.gd.captureend):    #查找标题行，识别markdown和wiki格式
+        if (dt.gd.text[i].startswith("|") and dt.gd.text[i].endswith("|")) or dt.gd.text[i][0]=="!":
+            oldtitle=dt.gd.text[i].replace("!","|").replace("||","|").split("|")   #markdown和wiki加工成类似的数据
+            oldtitle=oldtitle[1:]
+            break
+    if len(oldtitle)==0:   #没找到正确的标题头
+        return
+    columnname=""   #对应name的标题头，用来做数据的键值
+    for j in dt.gd.deftitle.split():
+        cname,tname=j.split(":")
+        if cname=="name":
+            columnname=tname
+            break
+    if not columnname:
+        return
+    titlecount=len(oldtitle)
+    keynum=-1   #记录字段名对应的列序号
+    for i in range(len(oldtitle)):
+        if oldtitle[i].strip()==columnname:
+            keynum=i
+            break
+    if keynum==-1:
+        return
+    for i in range(dt.gd.capturebegin,dt.gd.captureend):
+        t=dt.gd.text[i].replace("!","|").replace("||","|").split("|")   #markdown和wiki加工成类似的数据
+        if len(t)<titlecount+1:
+            continue
+        t=t[1:]
+        dt.gd.capturedata[t[keynum].strip()]={}
+        for j in range(len(oldtitle)):
+            dt.gd.capturedata[t[keynum].strip()][oldtitle[j].strip()]=t[j].strip()
+
+def mergecolumndata(t):
+    '''用于markdown和wiki等，合并计算最终的用于生成表格数据的列表
+'''
+    retdata=[]  #返回结果
+    for i in t["md"]:   #数据以capturedata为初始值，因为这里可能有字段是用户设置，并非从数据库中获取
+        rowdata=copy.deepcopy(dt.gd.capturedata.get(i["name"],{}))
+        retdata.append(rowdata | i)
+    return retdata
+
+def createcolumndata(mdata):
+    '根据最终的列表数据，按deftitle规定的格式生成按顺序的列表数据'
+    retdata=[]
+    for i in mdata:
+        rowdata=[]
+        for j in dt.gd.deftitle.split():
+            cname,tname=j.split(":")
+            rowdata.append(i.get(cname,i.get(tname,"")) or "")
+        retdata.append(rowdata)
+    return retdata
+
+def replacenewdata(newdata):
+    '用新数据替换掉text中的相应部分'
+    dt.gd.text=dt.gd.text[:dt.gd.capturebegin]+newdata+dt.gd.text[dt.gd.captureend+1:]

{db2text-0.2.1 → db2text-0.2.3/db2text.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: db2text
-Version: 0.2.1
+Version: 0.2.3
 Summary: database to text
 Home-page: https://gitee.com/chenc224/dbt
 Author: Chen chuan

{db2text-0.2.1 → db2text-0.2.3}/db2text.egg-info/SOURCES.txt

@@ -4,6 +4,7 @@ README.md
 setup.py
 database2text/__init__.py
 database2text/dbt.py
+database2text/dm.py
 database2text/mssql.py
 database2text/mysql.py
 database2text/opengauss.py
@@ -12,14 +13,21 @@ database2text/tool.py
 database2text/datafile/dbtmanual.md
 database2text/datafile/dot.mb
 database2text/datafile/sample/dbt_dot_mssql.txt
+database2text/datafile/sample/dm/all.txt
 database2text/datafile/sample/mysql/all.txt
+database2text/datafile/sample/mysql/wiki.txt
 database2text/datafile/sample/opengauss/all.txt
 database2text/datafile/sample/oracle/all.txt
+database2text/datafile/sample/oracle/crmrpt.txt
 database2text/datafile/sample/sqlserver/all.txt
+db2text/__init__.py
+db2text/data.py
+db2text/util.py
 db2text.egg-info/PKG-INFO
 db2text.egg-info/SOURCES.txt
 db2text.egg-info/dependency_links.txt
 db2text.egg-info/entry_points.txt
 db2text.egg-info/not-zip-safe
 db2text.egg-info/requires.txt
-db2text.egg-info/top_level.txt
+db2text.egg-info/top_level.txt
+db2text/db/__init__.py

{db2text-0.2.1 → db2text-0.2.3}/db2text.egg-info/top_level.txt

@@ -1 +1,2 @@
 database2text
+db2text

{db2text-0.2.1 → db2text-0.2.3}/setup.py

@@ -8,7 +8,7 @@ with open("README.md", "r",encoding='utf-8') as fh:
 
 setuptools.setup(
     name="db2text",
-    version="0.2.1",
+    version="0.2.3",
     author="Chen chuan",
     author_email="kcchen@139.com",
     description="database to text",