mdbq 3.2.9__py3-none-any.whl → 3.2.11__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -52,6 +52,16 @@ if not username:
     print(f'找不到主机：')
 
 
+def get_encoding(path):
+    """
+    获取文件的编码方式, 读取速度比较慢，非必要不要使用
+    """
+    with open(path, 'rb') as f:
+        f1 = f.read()
+        encod = chardet.detect(f1).get('encoding')
+    return encod
+
+
 class DatabaseUpdateBak:
     """
     清洗文件，并入库，被 tg.py 调用
@@ -1174,12 +1184,53 @@ def upload_dir(path, db_name, collection_name, json_path=None):
             if '更新时间' not in df.columns.tolist():
                 df['更新时间'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
 
+            # set_typ = {
+            #     '日期': 'date',
+            #     '店铺名称': 'varchar(100)',
+            #     'spu_id': 'varchar(100)',
+            #     '图片': 'varchar(255)',
+            #     '序号': 'smallint',
+            #     '商品名称': 'varchar(255)',
+            #     '商品款号': 'varchar(255)',
+            #     '一级类目名称': 'varchar(255)',
+            #     '二级类目名称': 'varchar(255)',
+            #     '三级类目名称': 'varchar(255)',
+            #     '数据更新时间': 'timestamp',
+            #     '更新时间': 'timestamp',
+            # }
+            # new_dict = {
+            #     '日期': '',
+            #     '店铺名称': '',
+            #     '序号': '',
+            #     '商品名称': '',
+            #     'spu_id': '',
+            #     '商品款号': '',
+            #     '一级类目名称': '',
+            #     '二级类目名称': '',
+            #     '三级类目名称': '',
+            #     '访客量': '',
+            #     '浏览量': '',
+            #     '下单gmv': '',
+            #     '成交gmv': '',
+            #     '支付人数_成交': '',
+            # }
+            # for dict_data in df.to_dict(orient='records'):
+            #     new_dict.update(dict_data)
+            #     m.dict_to_mysql(
+            #         db_name=db_name,
+            #         table_name=collection_name,
+            #         dict_data=new_dict,
+            #         # icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+            #         unique_main_key=None,
+            #         set_typ=set_typ,
+            #     )
             m.df_to_mysql(df=df, db_name=db_name, table_name=collection_name,
                           move_insert=False,  # 先删除，再插入
                           df_sql = True,
                           drop_duplicates=False,
                           count=f'{i}/{count}',
                           filename=name,
+                          set_typ={},
                           )
             # nas.df_to_mysql(df=df, db_name=db_name, table_name=collection_name, drop_duplicates=True,)
 
@@ -1195,20 +1246,22 @@ def one_file_to_mysql(file, db_name, table_name):
     if file.endswith('.xlsx'):
         df = pd.read_excel(file)
     else:
-        df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
+        encod = get_encoding(file)
+        df = pd.read_csv(file, encoding=encod, header=0, na_filter=False, float_precision='high')
     # df.replace(to_replace=[','], value='', regex=True, inplace=True)  # 替换掉特殊字符
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+    # df.pop('id')
     m.df_to_mysql(
         df=df,
         db_name=db_name,
         table_name=table_name,
         # icm_update=['sku_id'],  # 增量更新, 在聚合数据中使用，其他不要用
-        move_insert=False,  # 先删除，再插入
+        move_insert=True,  # 先删除，再插入
         df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
         drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
         count=None,
         filename=None,  # 用来追踪处理进度
-        # reset_id=False,  # 是否重置自增列
+        reset_id=True,  # 是否重置自增列
         # set_typ=set_typ,
     )
 
@@ -1278,25 +1331,24 @@ if __name__ == '__main__':
     # password = ''
     # host = ''
     # port = ''
-    #
-    # # 上传 1 个文件到数据库
-    # one_file_to_mysql(
-    #     file=r'/Users/xigua/Downloads/城市等级.csv',
-    #     db_name='属性设置3',
-    #     table_name='城市等级',
-    # )
 
+    # 上传 1 个文件到数据库
+    one_file_to_mysql(
+        file=r'/Users/xigua/Downloads/日期表.csv',
+        db_name='聚合数据test',
+        table_name='日期表',
+    )
 
-    col = 1
-    if col:
-        # 上传一个目录到指定数据库
-        db_name = '爱库存2'
-        table_name = '商品spu榜单'
-        upload_dir(
-            path=r'/Users/xigua/Downloads/数据上传中心',
-            db_name=db_name,
-            collection_name=table_name,
-        )
 
+    # col = 1
+    # if col:
+    #     # 上传一个目录到指定数据库
+    #     db_name = '爱库存2'
+    #     table_name = '商品spu榜单'
+    #     upload_dir(
+    #         path=r'/Users/xigua/Downloads/数据上传中心',
+    #         db_name=db_name,
+    #         collection_name=table_name,
+    #     )
 
 

mdbq/aggregation/query_data.py

@@ -59,6 +59,7 @@ class MysqlDatasQuery:
         self.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
         self.pf_datas = []
         self.pf_datas_jd = []  # 京东聚合销售表
+        self.output = set_support.SetSupport(dirname='support')
 
     @staticmethod
     def try_except(func):  # 在类内部定义一个异常处理方法
@@ -196,9 +197,8 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
 
         # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
@@ -337,7 +337,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -477,7 +477,7 @@ class MysqlDatasQuery:
             df['人群分类'].fillna('', inplace=True)
         if '人群分类' in df.columns.tolist():
             # 这行决定了，从文件中读取的分类信息优先级高于内部函数的分类规则
-            # 这个 lambda 适配人群名字中带有特定标识的分类，强匹配
+            # 这个 lambda 适配人群名字中带有特定标识的分类，强匹配，自定义命名
             df['人群分类'] = df.apply(
                 lambda x: self.set_crowd(keyword=str(x['人群名字']), as_file=False) if x['人群分类'] == ''
                 else x['人群分类'], axis=1
@@ -527,7 +527,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -663,7 +663,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -787,7 +787,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -900,7 +900,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -957,7 +957,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -1016,7 +1016,6 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -1123,7 +1122,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -1172,7 +1171,6 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -1276,7 +1274,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -1311,7 +1309,7 @@ class MysqlDatasQuery:
         #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
         #     count=None,
         #     filename=None,  # 用来追踪处理进度
-        #     reset_id=False,  # 是否重置自增列
+        #     reset_id=True,  # 是否重置自增列
         #     set_typ=set_typ,
         #
         # )
@@ -1380,7 +1378,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -1482,7 +1480,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -1557,7 +1555,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -1623,7 +1621,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -1707,9 +1705,8 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
-            
         )
         return True
 
@@ -2207,7 +2204,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -2288,46 +2285,46 @@ class MysqlDatasQuery:
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
-        new_dict = {
-            '日期': '',
-            '店铺名称': '',
-            '序号': '',
-            '商品名称': '',
-            'spu_id': '',
-            '商品款号': '',
-            '一级类目名称': '',
-            '二级类目名称': '',
-            '三级类目名称': '',
-            '访客量': '',
-            '浏览量': '',
-            '下单gmv': '',
-            '成交gmv': '',
-            '支付人数_成交': '',
-        }
-        for dict_data in df.to_dict(orient='records'):
-            new_dict.update(dict_data)
-            m_engine.dict_to_mysql(
-                db_name='爱库存2',
-                table_name='商品spu榜单',
-                dict_data=new_dict,
-                icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
-                unique_main_key=None,
-                set_typ=set_typ,
-            )
-        # m_engine.df_to_mysql(
-        #     df=df,
-        #     db_name=db_name,
-        #     table_name=table_name,
-        #     icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
-        #     move_insert=True,  # 先删除，再插入
-        #     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-        #     drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
-        #     count=None,
-        #     filename=None,  # 用来追踪处理进度
-        #     reset_id=False,  # 是否重置自增列
-        #     set_typ=set_typ,
-        #
-        # )
+        # new_dict = {
+        #     '日期': '',
+        #     '店铺名称': '',
+        #     '序号': '',
+        #     '商品名称': '',
+        #     'spu_id': '',
+        #     '商品款号': '',
+        #     '一级类目名称': '',
+        #     '二级类目名称': '',
+        #     '三级类目名称': '',
+        #     '访客量': '',
+        #     '浏览量': '',
+        #     '下单gmv': '',
+        #     '成交gmv': '',
+        #     '支付人数_成交': '',
+        # }
+        # for dict_data in df.to_dict(orient='records'):
+        #     new_dict.update(dict_data)
+        #     m_engine.dict_to_mysql(
+        #         db_name=db_name,
+        #         table_name=table_name,
+        #         dict_data=new_dict,
+        #         icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
+        #         unique_main_key=None,
+        #         set_typ=set_typ,
+        #     )
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=[],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+
+        )
         return True
 
     def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
@@ -2377,7 +2374,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
             
         )
@@ -2490,7 +2487,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -2739,6 +2736,7 @@ class MysqlDatasQuery:
                     '机会',
                     '推荐',
                     '智能定向',
+                    'AI',
                 ]
             },
             {
@@ -2900,7 +2898,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -3010,7 +3008,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -3081,7 +3079,7 @@ class MysqlDatasQuery:
             drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
             count=None,
             filename=None,  # 用来追踪处理进度
-            reset_id=False,  # 是否重置自增列
+            reset_id=True,  # 是否重置自增列
             set_typ=set_typ,
         )
         return True
@@ -3310,7 +3308,7 @@ if __name__ == '__main__':
     #         future_to_function = {
     #             executor.submit(
     #                 func_query,
-    #                 months=3,
+    #                 months=1,
     #                 less_dict=[],
     #             ),
     #         }
@@ -3318,7 +3316,7 @@ if __name__ == '__main__':
     # 3. 清理聚合数据
     optimize_data.op_data(
         db_name_lists=['聚合数据'],
-        days=3650,  # 清理聚合数据的日期长度
+        days=100,  # 清理聚合数据的日期长度
         is_mongo=False,
         is_mysql=True,
     )

mdbq/mysql/mysql.py

@@ -398,6 +398,9 @@ class MysqlUpload:
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
         cols = df.columns.tolist()
         for col in cols:
+            if col == 'id':
+                df.pop('id')
+                continue
             df[col] = df[col].apply(lambda x: float(re.sub(r'%$', '', str(x))) / 100 if (
                     str(x) != '' and str(x).endswith('%')) and not re.findall('[\\u4e00-\\u9fa5]', str(x)) else '0.0' if str(x) == '0%' else x)
             try:
@@ -587,18 +590,29 @@ class MysqlUpload:
                 )
                 if reset_id:
                     pass
-                    # # 6. 重置自增列
-                    # try:
-                    #     cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
-                    #     result = cursor.fetchone()
-                    #     if result:
-                    #         cursor.execute(f"ALTER TABLE {table_name} DROP COLUMN id;")  # 删除 id  列
-                    #     cursor.execute(
-                    #         f"ALTER TABLE {table_name} ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
-                    #     cursor.execute(f"ALTER TABLE {table_name} AUTO_INCREMENT = 1")  # 设置自增从 1 开始
-                    # except Exception as e:
-                    #     print(f'{e}')
-                    #     connection.rollback()
+                    # 6. 重置自增列
+                    try:
+                        # 查询所有复合主键
+                        sql = (
+                            f"SELECT `COLUMN_NAME` AS `PrimaryKey` FROM `information_schema`.`COLUMNS` "
+                            f"WHERE `TABLE_SCHEMA` = '{db_name}'AND `TABLE_NAME` = '{table_name}' AND `COLUMN_KEY` = 'PRI';"
+                        )
+                        cursor.execute(sql)
+                        result = cursor.fetchall()  # 复合主键数
+                        if len(result) <= 1:  # 如果存在复合主键，则不能直接删除 id 键，其他主键可能不是唯一，会报错
+                            cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
+                            result = cursor.fetchone()
+                            if result:
+                                cursor.execute(f"ALTER TABLE {table_name} DROP COLUMN id;")  # 删除 id  列
+                            cursor.execute(
+                                f"ALTER TABLE {table_name} ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
+                            cursor.execute(f"ALTER TABLE {table_name} AUTO_INCREMENT = 1")  # 设置自增从 1 开始
+                            # print(f'重置自增id')
+                        else:
+                            print(f'{table_name} 当前表存在复合主键: {result}, 无法重置自增id')
+                    except Exception as e:
+                        print(f'{e}')
+                        connection.rollback()
                 connection.commit()  # 提交事务
                 connection.close()
                 return
@@ -607,8 +621,11 @@ class MysqlUpload:
             if move_insert and '日期' in df.columns.tolist():
                 # 移除数据
                 dates = df['日期'].values.tolist()
+                # print(dates)
+                dates = [pd.to_datetime(item) for item in dates]  # 需要先转换类型才能用 min, max
                 start_date = pd.to_datetime(min(dates)).strftime('%Y-%m-%d')
                 end_date = (pd.to_datetime(max(dates)) + datetime.timedelta(days=1)).strftime('%Y-%m-%d')
+
                 sql = f"DELETE FROM `{table_name}` WHERE {'日期'} BETWEEN '%s' AND '%s'" % (start_date, end_date)
                 cursor.execute(sql)
                 connection.commit()
@@ -625,18 +642,28 @@ class MysqlUpload:
                 )
                 # 6. 重置自增列
                 if reset_id:
-                    pass
-                    # try:
-                    #     cursor.execute(f"SHOW COLUMNS FROM `{table_name}` LIKE 'id'")
-                    #     result = cursor.fetchone()
-                    #     if result:
-                    #         cursor.execute(f"ALTER TABLE `{table_name}` DROP COLUMN id;")  # 删除 id  列
-                    #     cursor.execute(
-                    #         f"ALTER TABLE `{table_name}` ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
-                    #     cursor.execute(f"ALTER TABLE `{table_name}` AUTO_INCREMENT = 1")  # 设置自增从 1 开始
-                    # except Exception as e:
-                    #     print(f'{e}')
-                    #     connection.rollback()
+                    try:
+                        # 查询所有复合主键
+                        sql = (
+                            f"SELECT `COLUMN_NAME` AS `PrimaryKey` FROM `information_schema`.`COLUMNS` "
+                            f"WHERE `TABLE_SCHEMA` = '{db_name}'AND `TABLE_NAME` = '{table_name}' AND `COLUMN_KEY` = 'PRI';"
+                        )
+                        cursor.execute(sql)
+                        result = cursor.fetchall()  # 复合主键数
+                        if len(result) <= 1:  # 如果存在复合主键，则不能直接删除 id 键，其他主键可能不是唯一，会报错
+                            cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
+                            result = cursor.fetchone()
+                            if result:
+                                cursor.execute(f"ALTER TABLE {table_name} DROP COLUMN id;")  # 删除 id  列
+                            cursor.execute(
+                                f"ALTER TABLE {table_name} ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
+                            cursor.execute(f"ALTER TABLE {table_name} AUTO_INCREMENT = 1")  # 设置自增从 1 开始
+                            # print(f'重置自增id')
+                        else:
+                            print(f'{table_name} 当前表存在复合主键: {result}, 无法重置自增id')
+                    except Exception as e:
+                        print(f'{e}')
+                        connection.rollback()
                 connection.close()
                 return
 
@@ -730,18 +757,30 @@ class MysqlUpload:
                     # print(f'mysql -> df_to_mysql 报错: {e}, {self.filename}')
                     # breakpoint()
 
-            # # 6. 重置自增列
-            # try:
-            #     cursor.execute(f"SHOW COLUMNS FROM `{table_name}` LIKE 'id'")
-            #     result = cursor.fetchone()
-            #     if result:
-            #         cursor.execute(f"ALTER TABLE `{table_name}` DROP COLUMN id;")  # 删除 id  列
-            #     cursor.execute(
-            #         f"ALTER TABLE `{table_name}` ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
-            #     cursor.execute(f"ALTER TABLE `{table_name}` AUTO_INCREMENT = 1")  # 设置自增从 1 开始
-            # except Exception as e:
-            #     print(f'{table_name}, -> {e}')
-            #     connection.rollback()
+            # 6. 重置自增列
+            if reset_id:
+                try:
+                    # 查询所有复合主键
+                    sql = (
+                        f"SELECT `COLUMN_NAME` AS `PrimaryKey` FROM `information_schema`.`COLUMNS` "
+                        f"WHERE `TABLE_SCHEMA` = '{db_name}'AND `TABLE_NAME` = '{table_name}' AND `COLUMN_KEY` = 'PRI';"
+                    )
+                    cursor.execute(sql)
+                    result = cursor.fetchall()  # 复合主键数
+                    if len(result) <= 1:  # 如果存在复合主键，则不能直接删除 id 键，其他主键可能不是唯一，会报错
+                        cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
+                        result = cursor.fetchone()
+                        if result:
+                            cursor.execute(f"ALTER TABLE {table_name} DROP COLUMN id;")  # 删除 id  列
+                        cursor.execute(
+                            f"ALTER TABLE {table_name} ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
+                        cursor.execute(f"ALTER TABLE {table_name} AUTO_INCREMENT = 1")  # 设置自增从 1 开始
+                        # print(f'重置自增id')
+                    else:
+                        print(f'{table_name} 当前表存在复合主键: {result}, 无法重置自增id')
+                except Exception as e:
+                    print(f'{e}')
+                    connection.rollback()
         connection.commit()  # 提交事务
         connection.close()
 
@@ -979,18 +1018,29 @@ class OptimizeDatas:
                     else:  # 不存在日期列的情况
                         self.delete_duplicate2(table_name=table_name, except_key=except_key)
 
-                    # # 5. 重置自增列 (id 列)
-                    # try:
-                    #     cursor.execute(f"SHOW COLUMNS FROM `{table_name}` LIKE 'id'")
-                    #     result = cursor.fetchone()
-                    #     if result:
-                    #         cursor.execute(f"ALTER TABLE `{table_name}` DROP COLUMN id;")  # 删除 id  列
-                    #     cursor.execute(
-                    #         f"ALTER TABLE `{table_name}` ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
-                    #     cursor.execute(f"ALTER TABLE `{table_name}` AUTO_INCREMENT = 1")  # 设置自增从 1 开始
-                    # except Exception as e:
-                    #     print(f'{e}')
-                    #     self.connection.rollback()
+                    # 6. 重置自增列
+                    try:
+                        # 查询所有复合主键
+                        sql = (
+                            f"SELECT `COLUMN_NAME` AS `PrimaryKey` FROM `information_schema`.`COLUMNS` "
+                            f"WHERE `TABLE_SCHEMA` = '{self.db_name}'AND `TABLE_NAME` = '{table_name}' AND `COLUMN_KEY` = 'PRI';"
+                        )
+                        cursor.execute(sql)
+                        result = cursor.fetchall()  # 复合主键数
+                        if len(result) <= 1:  # 如果存在复合主键，则不能直接删除 id 键，其他主键可能不是唯一，会报错
+                            cursor.execute(f"SHOW COLUMNS FROM {table_name} LIKE 'id'")
+                            result = cursor.fetchone()
+                            if result:
+                                cursor.execute(f"ALTER TABLE {table_name} DROP COLUMN id;")  # 删除 id  列
+                            cursor.execute(
+                                f"ALTER TABLE {table_name} ADD column id INT AUTO_INCREMENT PRIMARY KEY FIRST;")
+                            cursor.execute(f"ALTER TABLE {table_name} AUTO_INCREMENT = 1")  # 设置自增从 1 开始
+                            # print(f'重置自增id')
+                        else:
+                            print(f'{table_name} 当前表存在复合主键: {result}, 无法重置自增id')
+                    except Exception as e:
+                        print(f'{e}')
+                        self.connection.rollback()
                 self.connection.close()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
         print(f'{now}mysql({self.host}: {self.port}) {self.db_name} 数据库优化完成!')

{mdbq-3.2.9.dist-info → mdbq-3.2.11.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.2.9
+Version: 3.2.11
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.2.9.dist-info → mdbq-3.2.11.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=ygQYYbxTn7utNPgwiz6MmBSWlq5JrXB-2NU0V75b6Us,74640
+mdbq/aggregation/aggregation.py,sha256=ifactmmJYkm0UUgQG9rn6ledHnc1eFXXPdDywdB-690,76622
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=yU-PUMY5mTKAhGTH9yCe897MzSRme2toCJBqXaUrJUQ,148223
+mdbq/aggregation/query_data.py,sha256=lXJMlyHM9cSVD7rgf4dHR5NZwMXPt3OjM1Q91DYwbZc,148259
 mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
 mdbq/aggregation/query_data_bak20241124.py,sha256=oY95ZK3qt3Wx9pdZKZ5cvDh45Yi5yGj1kl8G6riumHA,144513
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
@@ -28,7 +28,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=z3RXzPiVQzJzPBoyLr1XL5QXAtXehjbkxWVoBCQBaqY,64373
+mdbq/mysql/mysql.py,sha256=-mM51DUH2BWjRSF1ySPFGxMq1fIi5vI9UwAH5X1-nQ4,67760
 mdbq/mysql/recheck_mysql.py,sha256=rgTpvDMWYTyEn7UQdlig-pdXDluTgiU8JG6lkMh8DV0,8665
 mdbq/mysql/s_query.py,sha256=MbIprZ4yJDAZ9AahZPzl7hqS695Vs0P-AJNwAtA_EEc,9287
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -46,7 +46,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=nIKKZOZbemKqcrikcrMmtksLgJjjzeU0I99teBgU1jE,22439
-mdbq-3.2.9.dist-info/METADATA,sha256=VVlPtpTiP4PO4M02keRDAf3m98dzf8_noBXsu_TV-L0,243
-mdbq-3.2.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.2.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.2.9.dist-info/RECORD,,
+mdbq-3.2.11.dist-info/METADATA,sha256=dRsOoo5Ocv2miwmeKzk3OMkmgBfN0LKuQ7fnj6YqtJQ,244
+mdbq-3.2.11.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.2.11.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.2.11.dist-info/RECORD,,