mdbq 1.2.7__tar.gz → 1.2.9__tar.gz

{mdbq-1.2.7 → mdbq-1.2.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.7
+Version: 1.2.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.7 → mdbq-1.2.9}/mdbq/aggregation/query_data.py

@@ -388,19 +388,22 @@ class GroupBy:
             self.data_tgyj['商品id图片对照表'],
             self.data_tgyj['商品成本'])  # 这里不要加逗号
         pic['商品id'] = pic['商品id'].astype(str)
-        df = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')
+        df = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')  # id 编码表合并图片表
         df = df[['宝贝id', '商家编码', '商品图片']]
-        df = pd.merge(df, cost, how='left', left_on='商家编码', right_on='款号')
+        df = pd.merge(df, cost, how='left', left_on='商家编码', right_on='款号')  # df 合并商品成本表
         df = df[['宝贝id', '商家编码', '商品图片', '成本价']]
-        df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')
+        df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')  # 推广表合并 df
         df.drop(labels='宝贝id', axis=1, inplace=True)
         if bb_tg is True:
             # 生意经合并推广表，完整的数据表，包含全店所有推广、销售数据
             df = pd.merge(syj, df, how='left', left_on=['日期', '宝贝id'], right_on=['日期', '商品id'])
+            df.drop(labels='商品id', axis=1, inplace=True)  # 因为生意经中的宝贝 id 列才是完整的
+            df.rename(columns={'宝贝id': '商品id'}, inplace=True)
+            # df.to_csv('/Users/xigua/Downloads/test.csv', encoding='utf-8_sig', index=False, header=True)
         else:
             # 推广表合并生意经 , 以推广数据为基准，销售数据不齐全
             df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
-        df.drop(labels='宝贝id', axis=1, inplace=True)
+            df.drop(labels='宝贝id', axis=1, inplace=True)
         df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
         df['成本价'] = df['成本价'].astype('float64')
         df['商品成本'] = df.apply(lambda x: (x['成本价'] + x['销售额']/x['销售量'] * 0.11 + 6) * x['销售量'] if x['销售量'] > 0 else 0, axis=1)
@@ -425,6 +428,8 @@ class GroupBy:
             path = os.path.join(self.output, path)
         if not os.path.exists(path):
             os.makedirs(path)
+        if filename.endswith('.csv'):
+            filename = filename[:-4]
         if st_ascend and ascend:
             try:
                 df.sort_values(st_ascend, ascending=ascend, ignore_index=True, inplace=True)
@@ -510,7 +515,7 @@ def data_aggregation(service_databases=[{}]):
                 {
                     '数据库名': '聚合数据',
                     '集合名': '宝贝主体报表',
-                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id'],
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费'],
                     '数据主体': sdq.tg_wxt(),
                 },
                 {
@@ -547,7 +552,7 @@ def data_aggregation(service_databases=[{}]):
             for items in data_dict:  # 遍历返回结果
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
                 df = g.groupby(df=df, table_name=table_name, is_maximize=True)  # 2. 聚合数据
-                # g.as_csv(df=df, filename=table_name + '.csv')
+                g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
                 m.df_to_mysql(
                     df=df,
                     db_name=db_name,

{mdbq-1.2.7 → mdbq-1.2.9}/mdbq/mysql/mysql.py

@@ -9,11 +9,7 @@ import warnings
 import pymysql
 import numpy as np
 import pandas as pd
-import sqlalchemy.types
-from macholib.mach_o import rpath_command
-from more_itertools.more import iequals
-from pandas.core.dtypes.common import INT64_DTYPE
-from sqlalchemy import create_engine
+# from sqlalchemy import create_engine
 import os
 import calendar
 from mdbq.config import get_myconf
@@ -195,7 +191,6 @@ class MysqlUpload:
             datas = df.to_dict(orient='records')
             for data in datas:
                 # data 是传进来待处理的数据, 不是数据库数据
-                # print(data)
                 # data 示例: {'日期': Timestamp('2024-08-27 00:00:00'), '推广费余额': 33299, '品销宝余额': 2930.73, '短信剩余': 67471}
                 try:
                     cols = ', '.join(f"`{item}`" for item in data.keys())  # 列名需要转义
@@ -236,17 +231,24 @@ class MysqlUpload:
                         # sql = f"SELECT {unique_keys} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
                         cursor.execute(sql)
                         results = cursor.fetchall()  # results 是数据库取出的数据
-                        if results:  # 有数据返回，再进行增量更新检查
+                        if results:  # 有数据返回，再进行增量检查
                             for result in results:  # results 是数据库数据, data 是传进来的数据
                                 not_change_col = []
                                 change_values = []
                                 for col in update_col:
                                     # 因为 mysql 里面有 decimal 数据类型，要移除末尾的 0 再做比较（df 默认将 5.00 小数截断为 5.0）
-                                    if str(data[col]).rstrip('0') != str(result[col]).rstrip('0'):  # 传进来的数据和数据库比较, 有变化
-                                        # print(f'{col} 列的值有变化，{str(data[col]) }  !=  {str(result[col])}')
+                                    df_value = str(data[col])
+                                    mysql_value = str(result[col])
+                                    if '.' in df_value:
+                                        df_value = re.sub(r'0+$', '', df_value)
+                                        df_value = re.sub(r'\.$', '', df_value)
+                                    if '.' in mysql_value:
+                                        mysql_value = re.sub(r'0+$', '', mysql_value)
+                                        mysql_value = re.sub(r'\.$', '', mysql_value)
+                                    if df_value != mysql_value:  # 传进来的数据和数据库比较, 有变化
+                                        # print(f'{data['日期']}{data['商品id']}{col} 列的值有变化，{str(data[col])}  !=  {str(result[col])}')
                                         change_values += [f"`{col}` = '{str(data[col])}'"]
                                         not_change_col += [item for item in update_col if item != col]
-
                                 # change_values 是 df 传进来且和数据库对比后，发生了变化的数据，值示例： [`品销宝余额` = '9999.0', `短信剩余` = '888']
                                 if change_values:  # change_values 有数据返回，表示值需要更新
                                     not_change_values = [f"`{col}` = '{str(data[col])}'" for col in not_change_col]

{mdbq-1.2.7 → mdbq-1.2.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.7
+Version: 1.2.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.7 → mdbq-1.2.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.2.7',
+      version='1.2.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',