mdbq 1.5.6__py3-none-any.whl → 1.5.8__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -138,6 +138,57 @@ class MysqlDatasQuery:
         )
         return df
 
+    def tg_rqbb(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '场景名字': 1,
+            '主体id': 1,
+            '花费': 1,
+            '展现量': 1,
+            '点击量': 1,
+            '总购物车数': 1,
+            '总成交笔数': 1,
+            '总成交金额': 1,
+            '直接成交笔数': 1,
+            '直接成交金额': 1,
+            '人群名字': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='推广数据2',
+            table_name='人群报表',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
+    def tg_gjc(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '场景名字': 1,
+            '宝贝id': 1,
+            '词类型': 1,
+            '词名字/词包名字': 1,
+            '花费': 1,
+            '展现量': 1,
+            '点击量': 1,
+            '总购物车数': 1,
+            '总成交笔数': 1,
+            '总成交金额': 1,
+            '直接成交笔数': 1,
+            '直接成交金额': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='推广数据2',
+            table_name='关键词报表',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
     def idbm(self):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
@@ -213,6 +264,55 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         return df
 
+    def jdjzt(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '产品线': 1,
+            '触发sku id': 1,
+            '跟单sku id': 1,
+            '花费': 1,
+            '展现数': 1,
+            '点击数': 1,
+            '直接订单行': 1,
+            '直接订单金额': 1,
+            '总订单行': 1,
+            '总订单金额': 1,
+            '直接加购数': 1,
+            '总加购数': 1,
+            'spu id': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='京东数据2',
+            table_name='推广数据_京准通',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
+    def sku_sales(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '商品id': 1,
+            '货号': 1,
+            '成交单量': 1,
+            '成交金额': 1,
+            '访客数': 1,
+            '成交客户数': 1,
+            '加购商品件数': 1,
+            '加购人数': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='京东数据2',
+            table_name='sku_商品明细',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
     @staticmethod
     def months_data(num=0, end_date=None):
         """ 读取近 num 个月的数据, 0 表示读取当月的数据 """
@@ -236,6 +336,7 @@ class GroupBy:
         else:
             self.output = os.path.join('数据中心/数据库导出')
         self.data_tgyj = {}  # 推广综合聚合数据表
+        self.data_jdtg = {}  # 京东推广数据，聚合数据
 
     @staticmethod
     def try_except(func):  # 在类内部定义一个异常处理方法
@@ -319,6 +420,88 @@ class GroupBy:
                 }
             )
             return df
+        elif '人群报表' in table_name:
+            df.rename(columns={
+                '场景名字': '营销场景',
+                '主体id': '商品id',
+                '总购物车数': '加购量',
+                '总成交笔数': '成交笔数',
+                '总成交金额': '成交金额'
+            }, inplace=True)
+            df = df.astype({
+                '商品id': str,
+                '花费': float,
+                '展现量': int,
+                '点击量': int,
+                '加购量': int,
+                '成交笔数': int,
+                '成交金额': float,
+                '直接成交笔数': int,
+                '直接成交金额': float,
+            }, errors='raise')
+            df.fillna(0, inplace=True)
+            if is_maximize:
+                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
+                    **{'加购量': ('加购量', np.max),
+                       '成交笔数': ('成交笔数', np.max),
+                       '成交金额': ('成交金额', np.max),
+                       '直接成交笔数': ('直接成交笔数', np.max),
+                       '直接成交金额': ('直接成交金额', np.max)
+                       }
+                )
+            else:
+                df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
+                    **{
+                        '加购量': ('加购量', np.min),
+                        '成交笔数': ('成交笔数', np.min),
+                        '成交金额': ('成交金额', np.min),
+                        '直接成交笔数': ('直接成交笔数', np.max),
+                        '直接成交金额': ('直接成交金额', np.max)
+                       }
+                )
+            df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+            return df
+        elif '关键词报表' in table_name:
+            df.rename(columns={
+                '场景名字': '营销场景',
+                '宝贝id': '商品id',
+                '总购物车数': '加购量',
+                '总成交笔数': '成交笔数',
+                '总成交金额': '成交金额'
+            }, inplace=True)
+            df = df.astype({
+                '商品id': str,
+                '花费': float,
+                '展现量': int,
+                '点击量': int,
+                '加购量': int,
+                '成交笔数': int,
+                '成交金额': float,
+                '直接成交笔数': int,
+                '直接成交金额': float,
+            }, errors='raise')
+            df.fillna(0, inplace=True)
+            if is_maximize:
+                df = df.groupby(['日期', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
+                    **{'加购量': ('加购量', np.max),
+                       '成交笔数': ('成交笔数', np.max),
+                       '成交金额': ('成交金额', np.max),
+                       '直接成交笔数': ('直接成交笔数', np.max),
+                       '直接成交金额': ('直接成交金额', np.max)
+                       }
+                )
+            else:
+                df = df.groupby(['日期', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
+                    **{
+                        '加购量': ('加购量', np.min),
+                        '成交笔数': ('成交笔数', np.min),
+                        '成交金额': ('成交金额', np.min),
+                        '直接成交笔数': ('直接成交笔数', np.max),
+                        '直接成交金额': ('直接成交金额', np.max)
+                       }
+                )
+            df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+            return df
         elif '宝贝指标' in table_name:
             """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
             df['宝贝id'] = df['宝贝id'].astype(str)
@@ -456,6 +639,38 @@ class GroupBy:
                 }
             )
             return df
+        elif '京准通' in table_name:
+            df = df.groupby(['日期', '产品线', '触发sku id', '跟单sku id', 'spu id', '花费', '展现数', '点击数'], as_index=False).agg(
+                **{'直接订单行': ('直接订单行', np.max),
+                   '直接订单金额': ('直接订单金额', np.max),
+                   '总订单行': ('总订单行', np.max),
+                   '总订单金额': ('总订单金额', np.max),
+                   '直接加购数': ('直接加购数', np.max),
+                   '总加购数': ('总加购数', np.max),
+                   }
+            )
+            df = df[df['花费'] > 0]
+            self.data_jdtg.update(
+                {
+                    table_name: df[['日期', '产品线', '触发sku id', '跟单sku id', '花费']],
+                }
+            )
+            return df
+        elif '京东_sku_商品明细' in table_name:
+            df = df[df['商品id'] != '合计']
+            df = df.groupby(['日期', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'],
+                            as_index=False).agg(
+                **{
+                    '成交单量': ('成交单量', np.max),
+                    '成交金额': ('成交金额', np.max),
+                   }
+            )
+            self.data_jdtg.update(
+                {
+                    table_name: df,
+                }
+            )
+            return df
         else:
             print(f'<{table_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
@@ -487,13 +702,47 @@ class GroupBy:
             df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
             df.drop(labels='宝贝id', axis=1, inplace=True)
         df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
+        df.fillna(0, inplace=True)
         df['成本价'] = df['成本价'].astype('float64')
+        df['销售额'] = df['销售额'].astype('float64')
+        df['销售量'] = df['销售量'].astype('int64')
         df['商品成本'] = df.apply(lambda x: (x['成本价'] + x['销售额']/x['销售量'] * 0.11 + 6) * x['销售量'] if x['销售量'] > 0 else 0, axis=1)
         df['商品毛利'] = df.apply(lambda x: x['销售额'] - x['商品成本'], axis=1)
         df['毛利率'] = df.apply(lambda x: round((x['销售额'] - x['商品成本']) / x['销售额'], 4) if x['销售额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
         return df
 
+    def performance_jd(self, jd_tg=True):
+        jdtg, sku_sales = self.data_jdtg['京东_京准通'], self.data_jdtg['京东_sku_商品明细']
+        jdtg = jdtg.groupby(['日期', '跟单sku id'],
+                        as_index=False).agg(
+            **{
+                '花费': ('花费', np.sum)
+            }
+        )
+        cost = self.data_tgyj['商品成本']
+        df = pd.merge(sku_sales, cost, how='left', left_on='货号', right_on='款号')
+        df = df[['日期', '商品id', '货号', '成交单量', '成交金额', '成本价']]
+        if jd_tg is True:
+            # 完整的数据表，包含全店所有推广、销售数据
+            df = pd.merge(df, jdtg, how='left', left_on=['日期', '商品id'], right_on=['日期', '跟单sku id'])  # df 合并推广表
+        else:
+            df = pd.merge(jdtg, df, how='left', left_on=['日期', '跟单sku id'], right_on=['日期', '商品id'])  # 推广表合并 df
+        df = df[['日期', '跟单sku id', '花费', '货号', '成交单量', '成交金额', '成本价']]
+        df.fillna(0, inplace=True)
+        df['成本价'] = df['成本价'].astype('float64')
+        df['成交金额'] = df['成交金额'].astype('float64')
+        df['花费'] = df['花费'].astype('float64')
+        df['成交单量'] = df['成交单量'].astype('int64')
+        df['商品成本'] = df.apply(
+            lambda x: (x['成本价'] + x['成交金额'] / x['成交单量'] * 0.11 + 6) * x['成交单量'] if x['成交单量'] > 0 else 0,
+            axis=1)
+        df['商品毛利'] = df.apply(lambda x: x['成交金额'] - x['商品成本'], axis=1)
+        df['毛利率'] = df.apply(
+            lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
+        df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
+        return df
+
     def as_csv(self, df, filename, path=None, encoding='utf-8_sig',
                index=False, header=True, st_ascend=None, ascend=None, freq=None):
         """
@@ -592,20 +841,21 @@ def data_aggregation_one(service_databases=[{}], months=1):
 
             # 从数据库中获取数据, 返回包含 df 数据的字典
             # 单独处理某一个聚合数据库，在这里修改添加 data_dict 的值
+            ######################################################
+            #################    修改这里    ##########################
+            ######################################################
             data_dict = [
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据_旧版',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd_old(),
-                },
-                {
-                    '数据库名': '聚合数据',
-                    '集合名': '天猫_店铺来源_日数据',
-                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                    '数据主体': sdq.dplyd(),
+                    '集合名': '京东_sku_商品明细',
+                    '唯一主键': ['日期', '商品id', '成交单量'],
+                    '数据主体': sdq.sku_sales(),
                 },
             ]
+            ######################################################
+            #################    修改这里    ##########################
+            ######################################################
+
             for items in data_dict:  # 遍历返回结果
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
                 df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
@@ -680,6 +930,30 @@ def data_aggregation(service_databases=[{}], months=1):
                     '唯一主键': ['款号'],
                     '数据主体': sdq.sp_cost(),
                 },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '京东_京准通',
+                    '唯一主键': ['日期', '产品线', '触发sku id', '跟单sku id', '花费', ],
+                    '数据主体': sdq.jdjzt(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '京东_sku_商品明细',
+                    '唯一主键': ['日期', '商品id', '成交单量'],
+                    '数据主体': sdq.sku_sales(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_人群报表',
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'],
+                    '数据主体': sdq.tg_rqbb(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_关键词报表',
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
+                    '数据主体': sdq.tg_gjc(),
+                },
             ]
             for items in data_dict:  # 遍历返回结果
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
@@ -711,14 +985,22 @@ def data_aggregation(service_databases=[{}], months=1):
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 service_database=service_database,
             )
+            res = g.performance_jd(jd_tg=False)  # 盈亏表，依赖其他表，单独做
+            m.df_to_mysql(
+                df=res,
+                db_name='聚合数据',
+                table_name='_京东_推广商品销售',
+                drop_duplicates=False,
+                icm_update=['日期', '跟单sku id', '货号', '花费'],  # 设置唯一主键
+                service_database=service_database,
+            )
 
     # 这里要注释掉，不然 copysh.py 可能有问题，这里主要修改配置文件，后续触发 home_lx 的 optimize_datas.py(有s)程序进行全局清理
     # optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
 
 
 if __name__ == '__main__':
-    # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1)
-    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)
+    data_aggregation(service_databases=[{'company': 'mysql'}], months=1)  # 正常的聚合所有数据
+    # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作
 
-

mdbq/mysql/mysql.py

@@ -180,87 +180,87 @@ class MysqlUpload:
             for data in datas:
                 # data 是传进来待处理的数据, 不是数据库数据
                 # data 示例: {'日期': Timestamp('2024-08-27 00:00:00'), '推广费余额': 33299, '品销宝余额': 2930.73, '短信剩余': 67471}
-                # try:
-                cols = ', '.join(f"`{item}`" for item in data.keys())  # 列名需要转义
-                # data.update({item: f"{data[item]}" for item in data.keys()})  # 全部值转字符, 不是必须的
-                values = ', '.join([f'"{item}"' for item in data.values()])  # 值要加引号
-                condition = []
-                for k, v in data.items():
-                    condition += [f'`{k}` = "{v}"']
-                condition = ' AND '.join(condition)  # 构建查询条件
-                # print(condition)
-
-                if drop_duplicates:  # 查重插入
-                    sql = "SELECT %s FROM %s WHERE %s" % (cols, table_name, condition)
-                    # sql = f"SELECT {cols} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
-                    # print(sql)
-                    cursor.execute(sql)
-                    result = cursor.fetchall()  # 获取查询结果, 有结果返回 list 表示数据已存在(不重复插入)，没有则返回空 tuple
-                    if not result:  # 数据不存在则插入
-                        sql = f"INSERT INTO `{table_name}` ({cols}) VALUES (%s);" % (values)
-                        cursor.execute(sql)
-                    # else:
-                    #     print(f'重复数据不插入: {condition[:50]}...')
-                elif icm_update:  # 增量更新, 专门用于聚合数据，其他库不要调用
-                    """ 使用增量更新: 需确保 icm_update['主键'] 传进来的列必须是数据表中唯一主键，值不会发生变化且不会重复，否则可能产生覆盖情况 """
-                    sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
-                    cursor.execute(sql, (db_name, {table_name}))
-                    columns = cursor.fetchall()
-                    cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
-                    update_col = [item for item in cols_exist if item not in icm_update and item != 'id']  # 除了主键外的其他列
-
-                    # unique_keys 示例: `日期`, `推广费余额`
-                    unique_keys = ', '.join(f"`{item}`" for item in update_col)  # 列名需要转义
+                try:
+                    cols = ', '.join(f"`{item}`" for item in data.keys())  # 列名需要转义
+                    # data.update({item: f"{data[item]}" for item in data.keys()})  # 全部值转字符, 不是必须的
+                    values = ', '.join([f'"{item}"' for item in data.values()])  # 值要加引号
                     condition = []
-                    for up_col in icm_update:
-                        condition += [f'`{up_col}` = "{data[up_col]}"']
-                    condition = ' AND '.join(condition)  # condition值示例: `品销宝余额` = '2930.73' AND `短信剩余` = '67471'
-                    sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE {condition}"
-                    # print(sql)
-                    # sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
-                    cursor.execute(sql)
-                    results = cursor.fetchall()  # results 是数据库取出的数据
-                    if results:  # 有数据返回，再进行增量检查
-                        for result in results:  # results 是数据库数据, data 是传进来的数据
-                            change_col = []  # 发生变化的列名
-                            change_values = []  # 发生变化的数据
-                            for col in update_col:
-                                # 因为 mysql 里面有 decimal 数据类型，要移除末尾的 0 再做比较（df 默认将 5.00 小数截断为 5.0）
-                                df_value = str(data[col])
-                                mysql_value = str(result[col])
-                                if '.' in df_value:
-                                    df_value = re.sub(r'0+$', '', df_value)
-                                    df_value = re.sub(r'\.$', '', df_value)
-                                if '.' in mysql_value:
-                                    mysql_value = re.sub(r'0+$', '', mysql_value)
-                                    mysql_value = re.sub(r'\.$', '', mysql_value)
-                                if df_value != mysql_value:  # 传进来的数据和数据库比较, 有变化
-                                    # print(f'{data['日期']}{data['商品id']}{col} 列的值有变化，{str(data[col])}  !=  {str(result[col])}')
-                                    change_values += [f"`{col}` = \"{str(data[col])}\""]
-                                    change_col.append(col)
-                            not_change_col = [item for item in update_col if item not in change_col]
-                            # change_values 是 df 传进来且和数据库对比后，发生了变化的数据，值示例： [`品销宝余额` = '9999.0', `短信剩余` = '888']
-                            if change_values:  # change_values 有数据返回，表示值需要更新
-                                if not_change_col:
-                                    not_change_values = [f'`{col}` = "{str(data[col])}"' for col in not_change_col]
-                                    not_change_values = ' AND '.join(not_change_values)  # 示例: `短信剩余` = '888' AND `test1` = '93'
-                                    # print(change_values, not_change_values)
-                                    condition += f' AND {not_change_values}'  # 重新构建完整的查询条件，将未发生变化的列加进查询条件
-                                change_values = ', '.join(f"{item}" for item in change_values)  # 注意这里 item 外面没有反引号
-                                sql = "UPDATE `%s` SET %s WHERE %s" % (table_name, change_values, condition)
-                                # print(sql)
-                                cursor.execute(sql)
-                    else:  # 没有数据返回，则直接插入数据
-                        sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
+                    for k, v in data.items():
+                        condition += [f'`{k}` = "{v}"']
+                    condition = ' AND '.join(condition)  # 构建查询条件
+                    # print(condition)
+
+                    if drop_duplicates:  # 查重插入
+                        sql = "SELECT %s FROM %s WHERE %s" % (cols, table_name, condition)
+                        # sql = f"SELECT {cols} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
+                        # print(sql)
                         cursor.execute(sql)
-                else:
-                    sql = f"INSERT INTO `{table_name}` ({cols}) VALUES (%s);" % (values)
-                    cursor.execute(sql)
-                # except Exception as e:
-                #     # print(data)
-                #     # print(values)
-                #     print(f'mysql -> df_to_mysql 报错: {e}, {self.filename}')
-                #     # breakpoint()
+                        result = cursor.fetchall()  # 获取查询结果, 有结果返回 list 表示数据已存在(不重复插入)，没有则返回空 tuple
+                        if not result:  # 数据不存在则插入
+                            sql = f"INSERT INTO `{table_name}` ({cols}) VALUES (%s);" % (values)
+                            cursor.execute(sql)
+                        # else:
+                        #     print(f'重复数据不插入: {condition[:50]}...')
+                    elif icm_update:  # 增量更新, 专门用于聚合数据，其他库不要调用
+                        """ 使用增量更新: 需确保 icm_update['主键'] 传进来的列必须是数据表中唯一主键，值不会发生变化且不会重复，否则可能产生覆盖情况 """
+                        sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
+                        cursor.execute(sql, (db_name, {table_name}))
+                        columns = cursor.fetchall()
+                        cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
+                        update_col = [item for item in cols_exist if item not in icm_update and item != 'id']  # 除了主键外的其他列
+
+                        # unique_keys 示例: `日期`, `推广费余额`
+                        unique_keys = ', '.join(f"`{item}`" for item in update_col)  # 列名需要转义
+                        condition = []
+                        for up_col in icm_update:
+                            condition += [f'`{up_col}` = "{data[up_col]}"']
+                        condition = ' AND '.join(condition)  # condition值示例: `品销宝余额` = '2930.73' AND `短信剩余` = '67471'
+                        sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE {condition}"
+                        # print(sql)
+                        # sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
+                        cursor.execute(sql)
+                        results = cursor.fetchall()  # results 是数据库取出的数据
+                        if results:  # 有数据返回，再进行增量检查
+                            for result in results:  # results 是数据库数据, data 是传进来的数据
+                                change_col = []  # 发生变化的列名
+                                change_values = []  # 发生变化的数据
+                                for col in update_col:
+                                    # 因为 mysql 里面有 decimal 数据类型，要移除末尾的 0 再做比较（df 默认将 5.00 小数截断为 5.0）
+                                    df_value = str(data[col])
+                                    mysql_value = str(result[col])
+                                    if '.' in df_value:
+                                        df_value = re.sub(r'0+$', '', df_value)
+                                        df_value = re.sub(r'\.$', '', df_value)
+                                    if '.' in mysql_value:
+                                        mysql_value = re.sub(r'0+$', '', mysql_value)
+                                        mysql_value = re.sub(r'\.$', '', mysql_value)
+                                    if df_value != mysql_value:  # 传进来的数据和数据库比较, 有变化
+                                        # print(f'{data['日期']}{data['商品id']}{col} 列的值有变化，{str(data[col])}  !=  {str(result[col])}')
+                                        change_values += [f"`{col}` = \"{str(data[col])}\""]
+                                        change_col.append(col)
+                                not_change_col = [item for item in update_col if item not in change_col]
+                                # change_values 是 df 传进来且和数据库对比后，发生了变化的数据，值示例： [`品销宝余额` = '9999.0', `短信剩余` = '888']
+                                if change_values:  # change_values 有数据返回，表示值需要更新
+                                    if not_change_col:
+                                        not_change_values = [f'`{col}` = "{str(data[col])}"' for col in not_change_col]
+                                        not_change_values = ' AND '.join(not_change_values)  # 示例: `短信剩余` = '888' AND `test1` = '93'
+                                        # print(change_values, not_change_values)
+                                        condition += f' AND {not_change_values}'  # 重新构建完整的查询条件，将未发生变化的列加进查询条件
+                                    change_values = ', '.join(f"{item}" for item in change_values)  # 注意这里 item 外面没有反引号
+                                    sql = "UPDATE `%s` SET %s WHERE %s" % (table_name, change_values, condition)
+                                    # print(sql)
+                                    cursor.execute(sql)
+                        else:  # 没有数据返回，则直接插入数据
+                            sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
+                            cursor.execute(sql)
+                    else:
+                        sql = f"INSERT INTO `{table_name}` ({cols}) VALUES (%s);" % (values)
+                        cursor.execute(sql)
+                except Exception as e:
+                    # print(data)
+                    # print(values)
+                    print(f'mysql -> df_to_mysql 报错: {e}, {self.filename}')
+                    # breakpoint()
         connection.commit()  # 提交事务
         connection.close()
 

mdbq/mysql/s_query.py

@@ -46,41 +46,44 @@ class QueryDatas:
 
         self.config.update({'database': db_name})
         connection = pymysql.connect(**self.config)  # 重新连接数据库
-        try:
-            with connection.cursor() as cursor:
-                # 3. 获取数据表的所有列信息
-                sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
-                cursor.execute(sql, (db_name, {table_name}))
-                columns = cursor.fetchall()
-                cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
-
-                # 4. 构建 SQL 查询语句
-                if projection:  # 获取指定列
-                    columns_in = []
-                    for key, value in projection.items():
-                        if value == 1 and key in cols_exist:
-                            columns_in.append(key)  # 提取值为 1 的键并清理不在数据表的键
-                    columns_in = ', '.join(columns_in)
-                    if '日期' in cols_exist:  # 不论是否指定, 只要数据表有日期，则执行
-                        sql = (f"SELECT {columns_in} FROM {db_name}.{table_name} "
-                               f"WHERE {'日期'} BETWEEN '{start_date}' AND '{end_date}'")
-                    else:  # 数据表没有日期列时，返回指定列的所有数据
-                        sql = f"SELECT {columns_in} FROM {db_name}.{table_name}"
-                else:  # 没有指定获取列时
-                    if '日期' in cols_exist:  # 但数据表有日期，仍然执行
-                        columns_in = ', '.join(cols_exist)
-                        sql = (f"SELECT {columns_in} FROM {db_name}.{table_name} "
-                               f"WHERE {'日期'} BETWEEN '{start_date}' AND '{end_date}'")
-                    else:  # 没有指定获取列，且数据表也没有日期列，则返回全部列的全部数据
-                        sql = f"SELECT * FROM {db_name}.{table_name}"
-                cursor.execute(sql)
-                rows = cursor.fetchall()  # 获取查询结果
-                columns = [desc[0] for desc in cursor.description]
-                df = pd.DataFrame(rows, columns=columns)  # 转为 df
-        except Exception as e:
-            print(f'{e}')
+        # try:
+        with connection.cursor() as cursor:
+            # 3. 获取数据表的所有列信息
+            sql = 'SELECT `COLUMN_NAME` FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
+            cursor.execute(sql, (db_name, {table_name}))
+            columns = cursor.fetchall()
+            cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
+
+            # 4. 构建 SQL 查询语句
+            if projection:  # 获取指定列
+                columns_in = []
+                for key, value in projection.items():
+                    if value == 1 and key in cols_exist:
+                        columns_in.append(key)  # 提取值为 1 的键并清理不在数据表的键
+                columns_in = [f"`{item}`" for item in columns_in]
+                columns_in = ', '.join(columns_in)
+                if '日期' in cols_exist:  # 不论是否指定, 只要数据表有日期，则执行
+                    sql = (f"SELECT {columns_in} FROM `{db_name}`.`{table_name}` "
+                           f"WHERE {'日期'} BETWEEN '{start_date}' AND '{end_date}'")
+                else:  # 数据表没有日期列时，返回指定列的所有数据
+                    sql = f"SELECT {columns_in} FROM `{db_name}`.`{table_name}`"
+            else:  # 没有指定获取列时
+                if '日期' in cols_exist:  # 但数据表有日期，仍然执行
+                    cols_exist = [f"`{item}`" for item in cols_exist]
+                    columns_in = ', '.join(cols_exist)
+                    sql = (f"SELECT {columns_in} FROM `{db_name}`.`{table_name}` "
+                           f"WHERE {'日期'} BETWEEN '{start_date}' AND '{end_date}'")
+                else:  # 没有指定获取列，且数据表也没有日期列，则返回全部列的全部数据
+                    all_col = ', '.join([f"`{item}`" for item in cols_exist if item != 'id'])
+                    sql = f"SELECT %s FROM `%s`.`%s`" % (all_col, db_name, table_name)
+            cursor.execute(sql)
+            rows = cursor.fetchall()  # 获取查询结果
+            columns = [desc[0] for desc in cursor.description]
+            df = pd.DataFrame(rows, columns=columns)  # 转为 df
+        # except Exception as e:
+        #     print(f'{e}')
             return df
-        finally:
+        # finally:
             connection.close()
 
         if len(df) == 0:

{mdbq-1.5.6.dist-info → mdbq-1.5.8.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.5.6
+Version: 1.5.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.5.6.dist-info → mdbq-1.5.8.dist-info}/RECORD

@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=gvfaRx-LnzUKlp_kynSsvAnFGEccMKRxS5zPT6URe
 mdbq/aggregation/df_types.py,sha256=oQJS2IBU3_IO6GMgbssHuC2yCjNnbta0QPGrFOwNLnU,7591
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=u2Kl_MFtZueXJ57ycy4H2OhXD431RctUYJYCl637uT0,4176
-mdbq/aggregation/query_data.py,sha256=9osiGFJkvmHPB8DAfmII7EJLwmyYUPwKjKhKYvLnfjU,35495
+mdbq/aggregation/query_data.py,sha256=niMR9WytRmMzF0rMkQKbt7doLX5ELO5aHSiiZXku8Zs,48288
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -24,8 +24,8 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=o2QRV3JZ_jva8u3ScFiMGcgnInSGFYfADm1-nEKMr4M,43051
-mdbq/mysql/s_query.py,sha256=a33aYhW6gAnspIZfQ7l23ePln9-MD1f_ukypr5M0jd8,8018
+mdbq/mysql/mysql.py,sha256=6hILGosp2fwTp9qgc9IMFTmNzAz0ZG8rznmPxXHY-eA,43331
+mdbq/mysql/s_query.py,sha256=WD_pwgUA9pSQMvNKUxQoHKQf2LgkV8PyQV9Te3AJYs4,8175
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/porxy.py,sha256=UHfgEyXugogvXgsG68a7QouUCKaohTKKkI4RN-kYSdQ,4961
@@ -35,7 +35,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.5.6.dist-info/METADATA,sha256=CISMYo5CRiOFsR7h_GgYSRkLgZydZnoKAvLj078WmoA,245
-mdbq-1.5.6.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-1.5.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.5.6.dist-info/RECORD,,
+mdbq-1.5.8.dist-info/METADATA,sha256=TeXzPAKzEOXDldORH96e6ROQ3flMXAwL_zyAi6Ld-bo,245
+mdbq-1.5.8.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.5.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.5.8.dist-info/RECORD,,

{mdbq-1.5.6.dist-info → mdbq-1.5.8.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (70.1.0)
+Generator: bdist_wheel (0.44.0)
 Root-Is-Purelib: true
 Tag: py3-none-any