mdbq 3.0.7__tar.gz → 3.0.9__tar.gz

{mdbq-3.0.7 → mdbq-3.0.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.7
+Version: 3.0.9
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.7 → mdbq-3.0.9}/mdbq/aggregation/aggregation.py

@@ -1192,52 +1192,43 @@ def one_file_to_mysql(file, db_name, table_name):
         print(f'{os.path.splitext(os.path.basename(__file__))[0]}.one_file_to_mysql: 函数只接受文件, 此文件不存在: {file}')
         return
     filename = os.path.basename(file)
-    df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
+    if file.endswith('.xlsx'):
+        df = pd.read_excel(file)
+    else:
+        df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
     # df.replace(to_replace=[','], value='', regex=True, inplace=True)  # 替换掉特殊字符
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
     m.df_to_mysql(
         df=df,
         db_name=db_name,
         table_name=table_name,
-        move_insert=False,
-        df_sql=True,
-        drop_duplicates=False,
+        # icm_update=['sku_id'],  # 增量更新, 在聚合数据中使用，其他不要用
+        move_insert=False,  # 先删除，再插入
+        df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
         count=None,
-        filename=filename,
+        filename=None,  # 用来追踪处理进度
+        # reset_id=False,  # 是否重置自增列
+        # set_typ=set_typ,
     )
 
 
 def test():
-    path = r'/Users/xigua/数据中心/原始文件3/达摩盘/dmp人群报表'
+    path = r'/Users/xigua/Downloads/京准通'
+
 
-    results = []
     for root, dirs, files in os.walk(path, topdown=False):
         for name in files:
             if name.endswith('.csv') and 'baidu' not in name and '~' not in name:
                 # df = pd.read_excel(os.path.join(root, name), header=0)
                 df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                results.append(df)
+
                 # print(name)
                 if len(df) == 0:
                     continue
-                if '达摩盘消耗占比' in df.columns.tolist():
-                    df.pop('达摩盘消耗占比')
-                if '更新时间' not in df.columns.tolist():
-                    print(name)
-                    df['更新时间'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
-                    # df.insert(loc=1, column='店铺名称', value='万里马官方旗舰店')
-                    # df['更新时间'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
-                    df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
-                # for col in ['更新时间']:
-                #     if col not in df.columns.tolist():
-                #         print(name)
-                #         df[col] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
-                #         df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
-                # pattern = re.findall(r'\d{4}-\d{2}-\d{2}_\d{4}-\d{2}-\d{2}', name)[0]
-                # new_name = f'py_xg_店铺销售指标_万里马官方旗舰店_{pattern}.csv'
-                # df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
-                # os.remove(os.path.join(root, name))
-                # results.append(df)
+                df['类目ID'] = df['类目ID'].apply(lambda x: 0 if str(x) == 'null' else x)
+                df['类目名称'] = df['类目ID'].apply(lambda x: 0 if str(x) == 'null' else x)
+                df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
 
 
 if __name__ == '__main__':
@@ -1246,21 +1237,21 @@ if __name__ == '__main__':
     # host = ''
     # port = ''
     #
-    # # 上传 1 个文件到数据库
-    # one_file_to_mysql(
-    #     file=r'/Users/xigua/Downloads/DMP报表_2024-10-23_2024-10-29.csv',
-    #     db_name='达摩盘3',
-    #     table_name='dmp人群报表',
-    # )
+    # 上传 1 个文件到数据库
+    one_file_to_mysql(
+        file=r'/Users/xigua/Downloads/批量SKU导出-批量任务.xlsx',
+        db_name='属性设置3',
+        table_name='京东商品属性',
+    )
 
-    test()
-    # col = 0
+    # test()
+    # col = 1
     # if col:
     #     # 上传一个目录到指定数据库
     #     db_name = '京东数据3'
-    #     table_name = '推广数据_全站营销'
+    #     table_name = '推广数据_京准通'
     #     upload_dir(
-    #         path=r'/Users/xigua/数据中心/原始文件3/京东报表/京准通_全站营销',
+    #         path=r'/Users/xigua/数据中心/原始文件3/京东报表/推广报表',
     #         db_name=db_name,
     #         collection_name=table_name,
     #     )

{mdbq-3.0.7 → mdbq-3.0.9}/mdbq/aggregation/query_data.py

@@ -111,8 +111,10 @@ class MysqlDatasQuery:
             '直接成交金额': 'float64',
         }, errors='raise')
         if is_maximize:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
-                **{'加购量': ('加购量', np.max),
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量'], as_index=False).agg(
+                **{
+                    '展现量': ('展现量', np.max),
+                    '加购量': ('加购量', np.max),
                    '成交笔数': ('成交笔数', np.max),
                    '成交金额': ('成交金额', np.max),
                    '自然流量曝光量': ('自然流量曝光量', np.max),
@@ -121,8 +123,9 @@ class MysqlDatasQuery:
                    }
             )
         else:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量'], as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.min),
                     '加购量': ('加购量', np.min),
                     '成交笔数': ('成交笔数', np.min),
                     '成交金额': ('成交金额', np.min),
@@ -131,6 +134,7 @@ class MysqlDatasQuery:
                     '直接成交金额': ('直接成交金额', np.max)
                 }
             )
+        df.to_csv('/Users/xigua/Downloads/zhuti.csv', index=False, header=True, encoding='utf-8_sig')
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
         set_typ = {
             '日期': 'date',
@@ -259,13 +263,14 @@ class MysqlDatasQuery:
         )
         df['宝贝id'] = df['宝贝id'].astype(str)
         df = df.groupby(['日期', '店铺名称', '宝贝id', '行业类目'], as_index=False).agg(
-            **{'销售额': ('销售额', np.min),
-               '销售量': ('销售量', np.min),
-               '订单数': ('订单数', np.min),
-               '退货量': ('退货量', np.max),
-               '退款额': ('退款额', np.max),
-               '退款额_发货后': ('退款额_发货后', np.max),
-               '退货量_发货后': ('退货量_发货后', np.max),
+            **{
+                '销售额': ('销售额', np.min),
+                '销售量': ('销售量', np.min),
+                '订单数': ('订单数', np.min),
+                '退货量': ('退货量', np.max),
+                '退款额': ('退款额', np.max),
+                '退款额_发货后': ('退款额_发货后', np.max),
+                '退货量_发货后': ('退货量_发货后', np.max),
                }
         )
         df['件均价'] = df.apply(lambda x: x['销售额'] / x['销售量'] if x['销售量'] > 0 else 0, axis=1).round(
@@ -366,19 +371,22 @@ class MysqlDatasQuery:
             '直接成交金额': 'float64',
         }, errors='raise')
         if is_maximize:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'],
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量', '人群名字'],
                             as_index=False).agg(
-                **{'加购量': ('加购量', np.max),
-                   '成交笔数': ('成交笔数', np.max),
-                   '成交金额': ('成交金额', np.max),
-                   '直接成交笔数': ('直接成交笔数', np.max),
-                   '直接成交金额': ('直接成交金额', np.max)
-                   }
+                **{
+                    '展现量': ('展现量', np.max),
+                    '加购量': ('加购量', np.max),
+                    '成交笔数': ('成交笔数', np.max),
+                    '成交金额': ('成交金额', np.max),
+                    '直接成交笔数': ('直接成交笔数', np.max),
+                    '直接成交金额': ('直接成交金额', np.max)
+                }
             )
         else:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'],
+            df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量', '人群名字'],
                             as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.min),
                     '加购量': ('加购量', np.min),
                     '成交笔数': ('成交笔数', np.min),
                     '成交金额': ('成交金额', np.min),
@@ -552,20 +560,23 @@ class MysqlDatasQuery:
         }, errors='raise')
         if is_maximize:
             df = df.groupby(
-                ['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字_词包名字', '花费', '展现量', '点击量'],
+                ['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字_词包名字', '花费', '点击量'],
                 as_index=False).agg(
-                **{'加购量': ('加购量', np.max),
-                   '成交笔数': ('成交笔数', np.max),
-                   '成交金额': ('成交金额', np.max),
-                   '直接成交笔数': ('直接成交笔数', np.max),
-                   '直接成交金额': ('直接成交金额', np.max)
-                   }
+                **{
+                    '展现量': ('展现量', np.max),
+                    '加购量': ('加购量', np.max),
+                    '成交笔数': ('成交笔数', np.max),
+                    '成交金额': ('成交金额', np.max),
+                    '直接成交笔数': ('直接成交笔数', np.max),
+                    '直接成交金额': ('直接成交金额', np.max)
+                }
             )
         else:
             df = df.groupby(
-                ['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字_词包名字', '花费', '展现量', '点击量'],
+                ['日期', '店铺名称', '营销场景', '商品id', '词类型', '词名字_词包名字', '花费', '点击量'],
                 as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.min),
                     '加购量': ('加购量', np.min),
                     '成交笔数': ('成交笔数', np.min),
                     '成交金额': ('成交金额', np.min),
@@ -682,9 +693,10 @@ class MysqlDatasQuery:
             '观看次数': 'int64',
         }, errors='raise')
         if is_maximize:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+            df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数'],
                             as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.max),
                     '进店量': ('进店量', np.max),
                     '粉丝关注量': ('粉丝关注量', np.max),
                     '加购量': ('加购量', np.max),
@@ -695,9 +707,10 @@ class MysqlDatasQuery:
                 }
             )
         else:
-            df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+            df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数'],
                             as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.min),
                     '进店量': ('进店量', np.min),
                     '粉丝关注量': ('粉丝关注量', np.min),
                     '加购量': ('加购量', np.min),
@@ -798,8 +811,9 @@ class MysqlDatasQuery:
             '品牌搜索人数': 'int64',
         }, errors='raise')
         if is_maximize:
-            df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+            df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '点击量'], as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.max),
                     '加购量': ('加购量', np.max),
                     '成交笔数': ('成交笔数', np.max),
                     '成交金额': ('成交金额', np.max),
@@ -808,8 +822,9 @@ class MysqlDatasQuery:
                 }
             )
         else:
-            df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
+            df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '点击量'], as_index=False).agg(
                 **{
+                    '展现量': ('展现量', np.min),
                     '加购量': ('加购量', np.min),
                     '成交笔数': ('成交笔数', np.min),
                     '成交金额': ('成交金额', np.min),
@@ -1105,7 +1120,7 @@ class MysqlDatasQuery:
         )
         return True
 
-    @try_except
+    # @try_except
     def jdjzt(self, db_name='聚合数据', table_name='京东_京准通'):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -1135,15 +1150,33 @@ class MysqlDatasQuery:
         df = df.groupby(
             ['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
             as_index=False).agg(
-            **{'直接订单行': ('直接订单行', np.max),
-               '直接订单金额': ('直接订单金额', np.max),
-               '总订单行': ('总订单行', np.max),
-               '总订单金额': ('总订单金额', np.max),
-               '直接加购数': ('直接加购数', np.max),
-               '总加购数': ('总加购数', np.max),
-               }
+            **{
+                '直接订单行': ('直接订单行', np.max),
+                '直接订单金额': ('直接订单金额', np.max),
+                '总订单行': ('总订单行', np.max),
+                '总订单金额': ('总订单金额', np.max),
+                '直接加购数': ('直接加购数', np.max),
+                '总加购数': ('总加购数', np.max),
+            }
         )
         df = df[df['花费'] > 0]
+        projection={
+            'sku_id': 1,
+            'spu_id': 1,
+        }
+        df_sku = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name='京东商品属性',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df.pop('spu_id')  # 删除推广表的 spu id
+        df = pd.merge(df, df_sku, how='left', left_on='跟单sku_id', right_on='sku_id')
+        df.pop('sku_id')  # 删除聚合后合并进来的 sku id，实际使用 跟单sku_id
+        p = df.pop('spu_id')
+        df.insert(loc=3, column='spu_id', value=p)
+
         self.pf_datas_jd.append(
             {
                 '集合名称': table_name,
@@ -1187,6 +1220,42 @@ class MysqlDatasQuery:
             set_typ=set_typ,
             
         )
+
+        # # 按照 spu 聚合
+        # df = df.groupby(
+        #     ['日期', '店铺名称', 'spu_id'],
+        #     as_index=False).agg(
+        #     **{
+        #         '花费': ('花费', np.sum),
+        #         '展现数': ('展现数', np.sum),
+        #         '点击数': ('点击数', np.sum),
+        #         '直接订单行': ('直接订单行', np.sum),
+        #         '直接订单金额': ('直接订单金额', np.sum),
+        #         '总订单行': ('总订单行', np.sum),
+        #         '总订单金额': ('总订单金额', np.sum),
+        #         '直接加购数': ('直接加购数', np.sum),
+        #         '总加购数': ('总加购数', np.sum),
+        #     }
+        # )
+        # min_date = df['日期'].min()
+        # max_date = df['日期'].max()
+        # now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        # print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/京东_京准通_按spu -> {min_date}~{max_date}')
+        # m_engine.df_to_mysql(
+        #     df=df,
+        #     db_name=db_name,
+        #     table_name='京东_京准通_按spu',
+        #     # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ],  # 增量更新, 在聚合数据中使用，其他不要用
+        #     move_insert=True,  # 先删除，再插入
+        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        #     count=None,
+        #     filename=None,  # 用来追踪处理进度
+        #     reset_id=False,  # 是否重置自增列
+        #     set_typ=set_typ,
+        #
+        # )
+
         return True
 
     @try_except
@@ -1213,14 +1282,15 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df = df.groupby(['日期', '店铺名称', '产品线', '花费'], as_index=False).agg(
-            **{'全站投产比': ('全站投产比', np.max),
-               '全站交易额': ('全站交易额', np.max),
-               '全站订单行': ('全站订单行', np.max),
-               '全站订单成本': ('全站订单成本', np.max),
-               '全站费比': ('全站费比', np.max),
-               '核心位置展现量': ('核心位置展现量', np.max),
-               '核心位置点击量': ('核心位置点击量', np.max),
-               }
+            **{
+                '全站投产比': ('全站投产比', np.max),
+                '全站交易额': ('全站交易额', np.max),
+                '全站订单行': ('全站订单行', np.max),
+                '全站订单成本': ('全站订单成本', np.max),
+                '全站费比': ('全站费比', np.max),
+                '核心位置展现量': ('核心位置展现量', np.max),
+                '核心位置点击量': ('核心位置点击量', np.max),
+            }
         )
         df = df[df['花费'] > 0]
         set_typ = {
@@ -1403,6 +1473,7 @@ class MysqlDatasQuery:
             '加购人数': 'int',
             '成交单量': 'int',
             '成交金额': 'decimal(10,2)',
+            'sku_id': 'varchar(100)',
         }
         min_date = df['日期'].min()
         max_date = df['日期'].max()
@@ -1420,7 +1491,6 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -1465,6 +1535,7 @@ class MysqlDatasQuery:
             '加购人数': 'int',
             '成交单量': 'int',
             '成交金额': 'decimal(10,2)',
+            'spu_id': 'varchar(100)',
         }
         min_date = df['日期'].min()
         max_date = df['日期'].max()
@@ -1916,13 +1987,14 @@ class MysqlDatasQuery:
         if len(df_jd) > 0:
             df_jd = df_jd.groupby(['日期', '店铺名称', '产品线', '触发sku_id', '跟单sku_id', 'spu_id', '花费', '展现数', '点击数'],
                             as_index=False).agg(
-                **{'直接订单行': ('直接订单行', np.max),
-                   '直接订单金额': ('直接订单金额', np.max),
-                   '成交笔数': ('总订单行', np.max),
-                   '成交金额': ('总订单金额', np.max),
-                   '直接加购数': ('直接加购数', np.max),
-                   '加购量': ('总加购数', np.max),
-                   }
+                **{
+                    '直接订单行': ('直接订单行', np.max),
+                    '直接订单金额': ('直接订单金额', np.max),
+                    '成交笔数': ('总订单行', np.max),
+                    '成交金额': ('总订单金额', np.max),
+                    '直接加购数': ('直接加购数', np.max),
+                    '加购量': ('总加购数', np.max),
+                }
             )
             df_jd = df_jd[['日期', '店铺名称', '产品线', '花费', '展现数', '点击数', '加购量', '成交笔数', '成交金额']]
             df_jd.rename(columns={'产品线': '营销场景', '展现数': '展现量', '点击数': '点击量'}, inplace=True)
@@ -2911,24 +2983,38 @@ def date_table():
     )
 
 
-def main(days=100, months=3):
+def main(days=150, months=3):
+    """
+    days:    清理聚合数据的日期长度
+    months:   生成聚合数据的长度
+    """
     # 1. 更新日期表  更新货品年份基准表， 属性设置 3 - 货品年份基准
     date_table()
     p = products.Products()
     p.to_mysql()
 
-    # 2. 数据聚合
+    # 清理非聚合数据库
     system = platform.system()  # 本机系统
     host_name = socket.gethostname()  # 本机名
     conf = myconfig.main()
     db_list = conf[system][host_name]['mysql']['数据库集']
+    not_juhe_db_list = [item for item in db_list if item != '聚合数据']
+    optimize_data.op_data(
+        db_name_lists=not_juhe_db_list,
+        days= 31,  # 清理聚合数据的日期长度
+        is_mongo=False,
+        is_mysql=True,
+    )
+
+    # 2. 数据聚合
     query_(months=months)
     time.sleep(60)
 
     # 3. 清理聚合数据
+
     optimize_data.op_data(
-        db_name_lists=db_list,
-        days=days,
+        db_name_lists=['聚合数据'],
+        days=days,  # 清理聚合数据的日期长度
         is_mongo=False,
         is_mysql=True,
     )
@@ -2971,12 +3057,16 @@ def query_(months=1, less_dict=[]):
 
 if __name__ == '__main__':
     main(days=150, months=3)
-    # query_(months=1)
-
+    # query_(months=3)
+    #
+    # system = platform.system()  # 本机系统
+    # host_name = socket.gethostname()  # 本机名
+    # conf = myconfig.main()
+    # db_list = conf[system][host_name]['mysql']['数据库集']
     # # 4. 清理聚合数据
     # optimize_data.op_data(
     #     db_name_lists=['聚合数据'],
-    #     days=200,
+    #     days=3650,
     #     is_mongo=False,
     #     is_mysql=True,
     # )

{mdbq-3.0.7 → mdbq-3.0.9}/mdbq/mysql/mysql.py

@@ -840,7 +840,7 @@ class OptimizeDatas:
             self.db_name = db_name
             self.optimize()
 
-    def optimize(self):
+    def optimize(self, except_key=['更新时间']):
         """ 更新一个数据库 移除冗余数据 """
         if not self.db_name:
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
@@ -904,12 +904,13 @@ class OptimizeDatas:
                         if self.end_date > pd.to_datetime(max_result['max_date']):
                             self.end_date = pd.to_datetime(max_result['max_date'])
                         dates_list = self.day_list(start_date=self.start_date, end_date=self.end_date)
+                        # dates_list 是日期列表
                         for date in dates_list:
-                            self.delete_duplicate(table_name=table_name, date=date)
+                            self.delete_duplicate(table_name=table_name, date=date, except_key=except_key)
                         self.start_date = start_date_before  # 重置，不然日期错乱
                         self.end_date = end_date_before
                     else:  # 不存在日期列的情况
-                        self.delete_duplicate2(table_name=table_name)
+                        self.delete_duplicate2(table_name=table_name, except_key=except_key)
 
                     # # 5. 重置自增列 (id 列)
                     # try:
@@ -927,13 +928,16 @@ class OptimizeDatas:
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
         print(f'{now}mysql({self.host}: {self.port}) {self.db_name} 数据库优化完成!')
 
-    def delete_duplicate(self, table_name, date):
+    def delete_duplicate(self, table_name, date, except_key=['更新时间']):
         datas = self.table_datas(db_name=self.db_name, table_name=str(table_name), date=date)
         if not datas:
             return
         duplicate_id = []  # 出现重复的 id
         all_datas = []  # 迭代器
         for data in datas:
+            for e_key in except_key:
+                if e_key in data.keys():  # 在检查重复数据时，不包含 更新时间 字段
+                    del data[e_key]
             try:
                 delete_id = data['id']
                 del data['id']
@@ -962,7 +966,7 @@ class OptimizeDatas:
             print(f'{self.db_name}/{table_name}, {e}')
             self.connection.rollback()  # 异常则回滚
 
-    def delete_duplicate2(self, table_name):
+    def delete_duplicate2(self, table_name, except_key=['更新时间']):
         with self.connection.cursor() as cursor:
             sql = f"SELECT * FROM {table_name}"  # 如果不包含日期列，则获取全部数据
             cursor.execute(sql)
@@ -972,6 +976,9 @@ class OptimizeDatas:
         duplicate_id = []  # 出现重复的 id
         all_datas = []  # 迭代器
         for data in datas:
+            for e_key in except_key:
+                if e_key in data.keys():  # 在检查重复数据时，不包含 更新时间 字段
+                    del data[e_key]
             delete_id = data['id']
             del data['id']
             data = re.sub(r'\.0+\', ', '\', ', str(data))  # 统一移除小数点后面的 0

{mdbq-3.0.7 → mdbq-3.0.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.7
+Version: 3.0.9
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.7 → mdbq-3.0.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='3.0.7',
+      version='3.0.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',