mdbq 1.2.5__tar.gz → 1.2.7__tar.gz

{mdbq-1.2.5 → mdbq-1.2.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.5
+Version: 1.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/aggregation/aggregation.py

@@ -300,6 +300,7 @@ class DatabaseUpdate:
                     df.insert(loc=0, column='日期', value=date)
                     df['省份'] = pov
                     df['省+市'] = df[['省份', '城市']].apply(lambda x: f'{x["省份"]}-{x["城市"]}', axis=1)
+                    df.replace('NAN', 0, inplace=True)
                 elif name.endswith('csv') and 'order' in name:
                     # 生意经，订单数据，仅限月数据
                     pattern = re.findall(r'(.*)(\d{4})(\d{2})(\d{2})-(\d{4})(\d{2})(\d{2})', name)
@@ -639,7 +640,13 @@ class DatabaseUpdate:
                             collection_name=collection_name,
                             is_file_dtype=True,  # 默认本地文件优先: True
                         )
-                        m.df_to_mysql(df=df, db_name=db_name, table_name=collection_name)
+                        m.df_to_mysql(
+                            df=df,
+                            db_name=db_name,
+                            table_name=collection_name,
+                            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                            drop_dup=True  # 值为 True 时检查重复数据再插入，反之直接上传
+                        )
                 df_to_json.as_json_file()  # 写入 json 文件, 包含数据的 dtypes 信息
 
     def new_unzip(self, path=None, is_move=None):
@@ -850,6 +857,8 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
                     if len(df) == 0:
                         continue
+                    # if '新版' not in name:
+                    #     continue
                     cv = converter.DataFrameConverter()
                     df = cv.convert_df_cols(df=df)  # 清理列名和 df 中的非法字符
                     try:
@@ -973,5 +982,22 @@ if __name__ == '__main__':
     #     target_service='home_lx',
     #     database='mysql'
     # )
+    # db_name = '生意参谋2'
+    # table_name = '店铺来源_日数据_新版'
+    # upload_dir(
+    #     path='/Users/xigua/数据中心/原始文件2/生意参谋/流量来源',
+    #     db_name=db_name,
+    #     collection_name=table_name,
+    #     dbs={'mysql': True, 'mongodb': False},
+    # )
+
+    # test2()
 
-    test2()
+    file = '/Users/xigua/Downloads/余额查询.csv'
+    df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False)
+    username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
+    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+    m.df_to_mysql(df=df, db_name='test', table_name='增量更新测试',
+                  drop_dup=False,
+                  icm_update=['日期', '推广费余额']
+                  )

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/aggregation/mysql_types.py

@@ -206,7 +206,7 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
         time.sleep(0.5)
 
     d = DataTypes()
-    d.json_file = os.path.join(path, 'mysql_types.json')  # # json 保存位置
+    d.json_file = os.path.join(path, f'mysql_types.json')  # # json 保存位置
     for result in results:
         for db_n, table_n in result.items():
             # print(db_n, table_n, db_name, table_name)

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/aggregation/query_data.py

@@ -240,6 +240,7 @@ class GroupBy:
                 '总成交金额': '成交金额'
             }, inplace=True)
             df = df.astype({
+                '商品id': str,
                 '花费': float,
                 '展现量': int,
                 '点击量': int,
@@ -263,12 +264,13 @@ class GroupBy:
                 )
             else:
                 df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
-                    **{'加购量': ('加购量', np.min),
-                       '成交笔数': ('成交笔数', np.min),
-                       '成交金额': ('成交金额', np.min),
-                       '自然流量曝光量': ('自然流量曝光量', np.min),
-                       '直接成交笔数': ('直接成交笔数', np.max),
-                       '直接成交金额': ('直接成交金额', np.max)
+                    **{
+                        '加购量': ('加购量', np.min),
+                        '成交笔数': ('成交笔数', np.min),
+                        '成交金额': ('成交金额', np.min),
+                        '自然流量曝光量': ('自然流量曝光量', np.min),
+                        '直接成交笔数': ('直接成交笔数', np.max),
+                        '直接成交金额': ('直接成交金额', np.max)
                        }
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
@@ -276,10 +278,10 @@ class GroupBy:
                     **{
                         '花费': ('花费', np.sum),
                         '成交笔数': ('成交笔数', np.max),
-                       '成交金额': ('成交金额', np.max),
-                       '自然流量曝光量': ('自然流量曝光量', np.max),
-                       '直接成交笔数': ('直接成交笔数', np.max),
-                       '直接成交金额': ('直接成交金额', np.max)
+                        '成交金额': ('成交金额', np.max),
+                        '自然流量曝光量': ('自然流量曝光量', np.max),
+                        '直接成交笔数': ('直接成交笔数', np.max),
+                        '直接成交金额': ('直接成交金额', np.max)
                        }
                 )
             self.data_tgyj.update(
@@ -290,6 +292,7 @@ class GroupBy:
             return df
         elif '宝贝指标' in table_name:
             """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
+            df['宝贝id'] = df['宝贝id'].astype(str)
             df.fillna(0, inplace=True)
             # df = df[(df['销售额'] != 0) | (df['退款额'] != 0)]  # 注释掉, 因为后续使用生意经作为基准合并推广表，需确保所有商品id 齐全
             df = df.groupby(['日期', '宝贝id', '行业类目'], as_index=False).agg(
@@ -320,6 +323,7 @@ class GroupBy:
         elif '店铺来源_日数据' in table_name:
             return df
         elif '商品id编码表' in table_name:
+            df['宝贝id'] = df['宝贝id'].astype(str)
             df.drop_duplicates(subset='宝贝id', keep='last', inplace=True, ignore_index=True)
             # df['行业类目'] = df['行业类目'].apply(lambda x: re.sub(' ', '', x))
             try:
@@ -359,6 +363,7 @@ class GroupBy:
                     table_name: df[['商品id', '商品图片']],
                 }
             )
+            df['商品id'] = df['商品id'].astype(str)
             return df
         elif '商品成本' in table_name:
             df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
@@ -373,7 +378,7 @@ class GroupBy:
             print(f'<{table_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
 
-    @try_except
+    # @try_except
     def performance(self, bb_tg=True):
          # print(self.data_tgyj)
         tg, syj, idbm, pic, cost = (
@@ -390,13 +395,14 @@ class GroupBy:
         df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')
         df.drop(labels='宝贝id', axis=1, inplace=True)
         if bb_tg is True:
-             # 生意经合并推广表，完整的数据表，包含全店所有推广、销售数据
+            # 生意经合并推广表，完整的数据表，包含全店所有推广、销售数据
             df = pd.merge(syj, df, how='left', left_on=['日期', '宝贝id'], right_on=['日期', '商品id'])
         else:
             # 推广表合并生意经 , 以推广数据为基准，销售数据不齐全
             df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
         df.drop(labels='宝贝id', axis=1, inplace=True)
         df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
+        df['成本价'] = df['成本价'].astype('float64')
         df['商品成本'] = df.apply(lambda x: (x['成本价'] + x['销售额']/x['销售量'] * 0.11 + 6) * x['销售量'] if x['销售量'] > 0 else 0, axis=1)
         df['商品毛利'] = df.apply(lambda x: x['销售额'] - x['商品成本'], axis=1)
         df['毛利率'] = df.apply(lambda x: round((x['销售额'] - x['商品成本']) / x['销售额'], 4) if x['销售额'] > 0 else 0, axis=1)
@@ -493,53 +499,78 @@ def data_aggregation(service_databases=[{}]):
     for service_database in service_databases:
         for service_name, database in service_database.items():
             sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
-            sdq.months = 1  # 设置数据周期， 1 表示近 2 个月
+            sdq.months = 0  # 设置数据周期， 1 表示近 2 个月
             g = GroupBy()  # 实例化数据聚合类
             # 实例化数据库连接
             username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
             m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
 
+            # 从数据库中获取数据, 返回包含 df 数据的字典
             data_dict = [
                 {
                     '数据库名': '聚合数据',
                     '集合名': '宝贝主体报表',
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id'],
                     '数据主体': sdq.tg_wxt(),
                 },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '天猫生意经_宝贝指标',
+                    '唯一主键': ['日期', '宝贝id'],
                     '数据主体': sdq.syj(),
                 },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '天猫_店铺来源_日数据',
+                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
                     '数据主体': sdq.dplyd(),
                 },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id编码表',
+                    '唯一主键': ['宝贝id'],
                     '数据主体': sdq.idbm(),
                 },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id图片对照表',
+                    '唯一主键': ['商品id'],
                     '数据主体': sdq.sp_picture(),
                 },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品成本',
+                    '唯一主键': ['款号'],
                     '数据主体': sdq.sp_cost(),
                 },
             ]
-            for items in data_dict:
-                db_name, table_name, df = items['数据库名'], items['集合名'], items['数据主体']
+            for items in data_dict:  # 遍历返回结果
+                db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
                 df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
                 # g.as_csv(df=df, filename=table_name + '.csv')
-                m.df_to_mysql(df=df, db_name=db_name, table_name=table_name)  # 3. 回传数据库
+                m.df_to_mysql(
+                    df=df,
+                    db_name=db_name,
+                    table_name=table_name,
+                    drop_dup=False,
+                    icm_update=unique_key_list
+                )  # 3. 回传数据库
             res = g.performance(bb_tg=True)   # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(df=res, db_name='聚合数据', table_name='_全店商品销售')
+            m.df_to_mysql(
+                df=res,
+                db_name='聚合数据',
+                table_name='_全店商品销售',
+                drop_dup=False,
+                icm_update=['日期', '商品id']  # 设置唯一主键
+            )
             res = g.performance(bb_tg=False)  # 盈亏表，依赖其他表，单独做
-            m.df_to_mysql(df=res, db_name='聚合数据', table_name='_推广商品销售')
+            m.df_to_mysql(
+                df=res,
+                db_name='聚合数据',
+                table_name='_推广商品销售',
+                drop_dup=False,
+                icm_update=['日期', '商品id']  # 设置唯一主键
+            )
 
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
 

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/clean/data_clean.py

@@ -1136,15 +1136,15 @@ class DataClean:
         if not path:
             path = self.path
 
-        if self.set_up_to_mogo:
-            username, password, host, port = get_myconf.select_config_values(target_service='home_lx',
-                                                                             database='mongodb')
-            d = mongo.UploadMongo(username=username, password=password, host=host, port=port,
-                                         drop_duplicates=False
-                                         )
-        if self.set_up_to_mysql:
-            username, password, host, port = get_myconf.select_config_values(target_service='home_lx', database='mysql')
-            m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
+        # if self.set_up_to_mogo:
+        #     username, password, host, port = get_myconf.select_config_values(target_service='home_lx',
+        #                                                                      database='mongodb')
+        #     d = mongo.UploadMongo(username=username, password=password, host=host, port=port,
+        #                                  drop_duplicates=False
+        #                                  )
+        # if self.set_up_to_mysql:
+        #     username, password, host, port = get_myconf.select_config_values(target_service='home_lx', database='mysql')
+        #     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
         new_save_path = os.path.join(self.source_path, '属性设置', '商品素材')
         for root, dirs, files in os.walk(path, topdown=False):
             for name in files:
@@ -1181,17 +1181,17 @@ class DataClean:
                         )
                         # mysql 可能改变 df 列名，所以在上传 mysql 前保存 csv
                         self.save_to_csv(df, new_save_path, new_name, encoding='utf-8_sig')
-                        try:
-                            if self.set_up_to_mogo:
-                                d.df_to_mongo(df=df, db_name=db_name, collection_name=collection_name)
-                            if self.set_up_to_mysql:
-                                m.df_to_mysql(df=df, db_name=db_name, tabel_name=collection_name)
-                        except Exception as e:
-                            print(e)
+                        # try:
+                        #     if self.set_up_to_mogo:
+                        #         d.df_to_mongo(df=df, db_name=db_name, collection_name=collection_name)
+                        #     if self.set_up_to_mysql:
+                        #         m.df_to_mysql(df=df, db_name=db_name, tabel_name=collection_name)
+                        # except Exception as e:
+                        #     print(e)
                         os.remove(os.path.join(root, name))
-        if self.set_up_to_mogo:
-            if d.client:
-                d.client.close()  # 必须手动关闭数据库连接
+        # if self.set_up_to_mogo:
+        #     if d.client:
+        #         d.client.close()  # 必须手动关闭数据库连接
 
     # @try_except
     def new_unzip(self, path=None, is_move=None):

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/dataframe/converter.py

@@ -61,7 +61,8 @@ class DataFrameConverter(object):
             # 转换日期样式的列为日期类型
             value = df.loc[0, col]
             if value:
-                res = re.match(r'\d{4}-\d{2}-\d{2}|\d{4}-\d{2}-\d{2} |\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}', str(value))
+                res = re.match(r'\d{4}-\d{2}-\d{2}|\d{4}-\d{2}-\d{2} |\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
+                               r'|\d{4}/\d{1}/\d{1}|\d{4}/\d{1}/\d{2}|\d{4}/\d{2}/\d{1}|\d{4}/\d{2}/\d{2}', str(value))
                 if res:
                     try:
                         df[col] = df[col].apply(lambda x: pd.to_datetime(x))

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/mysql/mysql.py

@@ -10,6 +10,7 @@ import pymysql
 import numpy as np
 import pandas as pd
 import sqlalchemy.types
+from macholib.mach_o import rpath_command
 from more_itertools.more import iequals
 from pandas.core.dtypes.common import INT64_DTYPE
 from sqlalchemy import create_engine
@@ -60,15 +61,17 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
         table_name: 集合/表名称
-        df_sql: 使用 df.to_sql 函数上传整个表
-        drop_duplicates：仅限于聚合数据使用，其他情况不要设置此参数
+        df_sql: 这是一个临时参数, 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        drop_duplicates：值为 True 时（仅限于聚合数据使用），其他情况不要设置此参数
         drop_dup: 值为 True 时检查重复数据再插入，反之直接上传
         filename: 传这个参数是方便定位产生错误的文件
+        icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_dup 改为 False
+                使用增量更新: 必须确保 icm_update 传进来的列必须是数据表中唯一主键，值不会发生变化，不会重复，否则可能产生错乱覆盖情况
         """
         self.filename = filename
         if isinstance(df, pd.DataFrame):
@@ -153,7 +156,7 @@ class MysqlUpload:
 
             if df_sql:
                 now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
-                print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+                print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count}, {self.filename}')
                 engine = create_engine(
                     f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
                 df.to_sql(
@@ -168,6 +171,7 @@ class MysqlUpload:
 
             # print(cl, db_n, tb_n)
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
+            # ⚠️ mysql_all_dtypes 函数默认只读取 home_lx 的数据库信息，不会读取其他系统
             if cl and db_n and tb_n:
                 mysql_types.mysql_all_dtypes(db_name=db_name, table_name=table_name)  # 更新一个表的 dtypes
             elif cl and db_n:
@@ -186,12 +190,15 @@ class MysqlUpload:
 
             # 5. 更新插入数据
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
-            print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+            print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count}, {self.filename}')
 
             datas = df.to_dict(orient='records')
             for data in datas:
+                # data 是传进来待处理的数据, 不是数据库数据
+                # print(data)
+                # data 示例: {'日期': Timestamp('2024-08-27 00:00:00'), '推广费余额': 33299, '品销宝余额': 2930.73, '短信剩余': 67471}
                 try:
-                    cols = ', '.join(f"`{item}`" for item in data.keys())  # 列名转义
+                    cols = ', '.join(f"`{item}`" for item in data.keys())  # 列名需要转义
                     # data.update({item: f"{data[item]}" for item in data.keys()})  # 全部值转字符, 不是必须的
                     values = ', '.join([f"'{item}'" for item in data.values()])  # 值要加单引号 ''
                     condition = []
@@ -200,7 +207,7 @@ class MysqlUpload:
                     condition = ' AND '.join(condition)  # 构建查询条件
                     # print(condition)
 
-                    if drop_dup:
+                    if drop_dup:  # 查重插入
                         sql = f"SELECT {cols} FROM `{table_name}` WHERE {condition}"
                         # sql = f"SELECT {cols} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
                         cursor.execute(sql)
@@ -210,6 +217,69 @@ class MysqlUpload:
                             cursor.execute(sql)
                         # else:
                         #     print(f'重复数据不插入: {condition[:50]}...')
+                    elif icm_update:  # 增量更新
+                        """ 使用增量更新: 需确保 icm_update['主键'] 传进来的列必须是数据表中唯一主键，值不会发生变化且不会重复，否则可能产生覆盖情况 """
+                        sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
+                        cursor.execute(sql, (db_name, {table_name}))
+                        columns = cursor.fetchall()
+                        cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
+                        update_col = [item for item in cols_exist if item not in icm_update and item != 'id']  # 除了主键外的其他列
+
+                        # unique_keys 示例: `日期`, `推广费余额`
+                        unique_keys = ', '.join(f"`{item}`" for item in update_col)  # 列名需要转义
+                        condition = []
+                        for up_col in icm_update:
+                            condition += [f"`{up_col}` = '{data[up_col]}'"]
+                        condition = ' AND '.join(condition)  # condition值示例: `品销宝余额` = '2930.73' AND `短信剩余` = '67471'
+                        sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE {condition}"
+                        # print(sql)
+                        # sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
+                        cursor.execute(sql)
+                        results = cursor.fetchall()  # results 是数据库取出的数据
+                        if results:  # 有数据返回，再进行增量更新检查
+                            for result in results:  # results 是数据库数据, data 是传进来的数据
+                                not_change_col = []
+                                change_values = []
+                                for col in update_col:
+                                    # 因为 mysql 里面有 decimal 数据类型，要移除末尾的 0 再做比较（df 默认将 5.00 小数截断为 5.0）
+                                    if str(data[col]).rstrip('0') != str(result[col]).rstrip('0'):  # 传进来的数据和数据库比较, 有变化
+                                        # print(f'{col} 列的值有变化，{str(data[col]) }  !=  {str(result[col])}')
+                                        change_values += [f"`{col}` = '{str(data[col])}'"]
+                                        not_change_col += [item for item in update_col if item != col]
+
+                                # change_values 是 df 传进来且和数据库对比后，发生了变化的数据，值示例： [`品销宝余额` = '9999.0', `短信剩余` = '888']
+                                if change_values:  # change_values 有数据返回，表示值需要更新
+                                    not_change_values = [f"`{col}` = '{str(data[col])}'" for col in not_change_col]
+                                    not_change_values = ' AND '.join(not_change_values)  # 示例: `短信剩余` = '888' AND `test1` = '93'
+                                    # print(change_values, not_change_values)
+                                    condition += f' AND {not_change_values}'  # 重新构建完整的查询条件，将未发生变化的列加进查询条件
+                                    change_values = ', '.join(f"{item}" for item in change_values)  # 注意这里 item 外面没有反引号
+                                    sql = f"UPDATE {table_name} SET {change_values} WHERE {condition}"
+                                    # print(sql)
+                                    cursor.execute(sql)
+                        else:  # 没有数据返回，则直接插入数据
+                            sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
+                            cursor.execute(sql)
+                    # elif icm_up:
+                    #     sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
+                    #     cursor.execute(sql, (db_name, {table_name}))
+                    #     columns = cursor.fetchall()
+                    #     cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
+                    #     cols_exist = [item for item in cols_exist if item != 'id']
+                    #     update_col = [item for item in cols_exist if item not in icm_up]  # 除了主键外的其他列
+                    #
+                    #     unique_keys = ', '.join([f"`{item}`" for item in cols_exist])
+                    #     unique_keys_values = ', '.join([f"'{data[item]}'" for item in cols_exist])
+                    #
+                    #     change_values = []
+                    #     for col in update_col:
+                    #         change_values += [f"`{col}` = '{str(data[col])}'"]
+                    #     change_values = ', '.join(f"{item}" for item in change_values)  # 注意这里 item 外面没有反引号
+                    #     # print(change_values)
+                    #     sql = f"INSERT INTO `{table_name}` ({unique_keys}) VALUES ({unique_keys_values}) ON DUPLICATE KEY UPDATE {change_values};"
+                    #     print(sql)
+                    #     # cursor.execute(sql)
+
                     else:
                         sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
                         cursor.execute(sql)

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq/mysql/s_query.py

@@ -12,6 +12,7 @@ from sqlalchemy import create_engine
 import os
 import calendar
 from mdbq.config import get_myconf
+from mdbq.dataframe import converter
 
 warnings.filterwarnings('ignore')
 """
@@ -84,6 +85,8 @@ class QueryDatas:
 
         if len(df) == 0:
             print(f'database: {db_name}, table: {table_name} 查询的数据为空')
+        cv = converter.DataFrameConverter()
+        df = cv.convert_df_cols(df)
         return df
 
     def columns_to_list(self, db_name, table_name,  columns_name) -> list:

{mdbq-1.2.5 → mdbq-1.2.7}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.5
+Version: 1.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.5 → mdbq-1.2.7}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.2.5',
+      version='1.2.7',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',