mdbq 3.0.1__tar.gz → 3.0.2__tar.gz

{mdbq-3.0.1 → mdbq-3.0.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.1
+Version: 3.0.2
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq/aggregation/aggregation.py

@@ -1238,23 +1238,13 @@ def test():
                 # df.to_csv(os.path.join(root, name), encoding='utf-8_sig', index=False, header=True)
                 # os.remove(os.path.join(root, name))
                 # results.append(df)
-    # df = pd.concat(results)
-    # df.drop_duplicates(
-    #     subset=[
-    #         '日期',
-    #         '店铺名称',
-    #         '报表类型',
-    #         '消耗',
-    #         '展现量',
-    #         '点击量',
-    #     ], keep='last', inplace=True, ignore_index=True)
-    # df.fillna(0, inplace=True)
-    # for col in df.columns.tolist():
-    #     df[col] = df[col].apply(lambda x: 0 if str(x) == '' else x)
-    # path = '/Users/xigua/Downloads'
-    # filename = '品销宝_2024年_合并.csv'
-    # df.to_csv(os.path.join(path, filename), encoding='utf-8_sig', index=False, header=True)
 
+def test2():
+    file = '/Users/xigua/Downloads/商品素材中心.xlsx'
+    df = pd.read_excel(file, engine='openpyxl')
+    df.replace(to_replace=['0'], value='', regex=False, inplace=True)
+    # print(df.head())
+    df.to_excel(file, index=False, header=True, engine='openpyxl')
 
 if __name__ == '__main__':
     # username = 'root'
@@ -1269,17 +1259,17 @@ if __name__ == '__main__':
     #     table_name='dmp人群报表',
     # )
 
-    # test()
-    col = 1
-    if col:
-        # 上传一个目录到指定数据库
-        db_name = '京东数据3'
-        table_name = '推广数据_全站营销'
-        upload_dir(
-            path=r'/Users/xigua/数据中心/原始文件3/京东报表/京准通_全站营销',
-            db_name=db_name,
-            collection_name=table_name,
-        )
+    test2()
+    # col = 0
+    # if col:
+    #     # 上传一个目录到指定数据库
+    #     db_name = '京东数据3'
+    #     table_name = '推广数据_全站营销'
+    #     upload_dir(
+    #         path=r'/Users/xigua/数据中心/原始文件3/京东报表/京准通_全站营销',
+    #         db_name=db_name,
+    #         collection_name=table_name,
+    #     )
 
 
 

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq/aggregation/query_data.py

@@ -180,6 +180,56 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
+        )
+
+        # df_pic：商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
+        today = datetime.date.today()
+        last_month = today - datetime.timedelta(days=30)
+        if last_month.month == 12:
+            year_my = today.year - 1
+        else:
+            year_my = today.year
+        # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
+        # df_pic_lin = df[df['店铺名称'] == '万里马官方旗舰店']
+        df_pic = df.groupby(['日期', '店铺名称', '商品id'], as_index=False).agg({'花费': 'sum'})
+        if len(df_pic) == 0:
+            return True
+        df_pic = df_pic[~df_pic['商品id'].isin([''])]  # 指定列中删除包含空值的行
+        date_obj = datetime.datetime.strptime(f'{year_my}-{last_month.month}-01', '%Y-%m-%d').date()
+        df_pic = df_pic[(df_pic['日期'] >= date_obj)]
+        df_pic = df_pic.groupby(['店铺名称', '商品id'], as_index=False).agg({'花费': 'sum'})
+        df_pic.sort_values('花费', ascending=False, ignore_index=True, inplace=True)
+        df_pic.reset_index(inplace=True)
+        df_pic['index'] = df_pic['index'] + 100
+        df_pic.rename(columns={'index': '商品索引'}, inplace=True)
+        df_pic['商品索引'].fillna(1000, inplace=True)
+        df_pic.pop('花费')
+        p= df_pic.pop('商品索引')
+        df_pic.insert(loc=2, column='商品索引', value=p)  # df中插入新列
+        df_pic['更新时间'] = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        set_typ = {
+            '商品id': 'bigint',
+            '店铺名称': 'varchar(100)',
+            '商品索引': 'smallint',
+            '花费': 'decimal(12,2)',
+            '更新时间': 'timestamp',
+        }
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) 属性设置3/商品索引表_主推排序调用')
+        m_engine.df_to_mysql(
+            df=df_pic,
+            db_name='属性设置3',
+            table_name='商品索引表_主推排序调用',
+            icm_update=['商品id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -267,6 +317,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -302,7 +353,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        df.fillna(0, inplace=True)
+        # df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -450,6 +501,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -486,7 +538,7 @@ class MysqlDatasQuery:
             '总成交笔数': '成交笔数',
             '总成交金额': '成交金额'
         }, inplace=True)
-        df.fillna(0, inplace=True)
+        # df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
             '花费': float,
@@ -579,6 +631,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -617,7 +670,7 @@ class MysqlDatasQuery:
             '场景名字': '营销场景',
         }, inplace=True)
         df['营销场景'] = '超级直播'
-        df.fillna(0, inplace=True)
+        # df.fillna(0, inplace=True)
         df = df.astype({
             '花费': float,
             # '点击量': int,
@@ -697,6 +750,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -726,7 +780,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df = df[df['报表类型'] == '账户']
-        df.fillna(value=0, inplace=True)
+        # df.fillna(value=0, inplace=True)
         df.rename(columns={
             '消耗': '花费',
             '宝贝加购数': '加购量',
@@ -804,6 +858,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -858,6 +913,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -915,6 +971,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -996,6 +1053,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1043,6 +1101,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1126,6 +1185,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1192,6 +1252,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1289,6 +1350,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1358,6 +1420,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1419,6 +1482,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1498,6 +1562,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1636,6 +1701,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1888,6 +1954,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -1972,6 +2039,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2024,6 +2092,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2131,6 +2200,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2541,6 +2611,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2616,7 +2687,7 @@ class MysqlDatasQuery:
                 '自然流量曝光量': int,
         }
         )
-        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2651,6 +2722,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2690,7 +2762,7 @@ class MysqlDatasQuery:
         df['毛利率'] = df.apply(
             lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
-        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
+        # [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '跟单sku_id': 'bigint',
@@ -2722,6 +2794,7 @@ class MysqlDatasQuery:
             filename=None,  # 用来追踪处理进度
             reset_id=False,  # 是否重置自增列
             set_typ=set_typ,
+            default=True,  # 对于空值使用默认值
         )
         return True
 
@@ -2780,6 +2853,7 @@ def date_table():
         count=None,
         filename=None,  # 用来追踪处理进度
         set_typ=set_typ,
+        default=True,  # 对于空值使用默认值
     )
 
 
@@ -2851,13 +2925,13 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    main(days=100, months=3)
-    # query_(months=13)
+    main(days=130, months=3)
+    # query_(months=1)
 
     # # 4. 清理聚合数据
     # optimize_data.op_data(
     #     db_name_lists=['聚合数据'],
-    #     days=40,
+    #     days=300,
     #     is_mongo=False,
     #     is_mysql=True,
     # )

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq/config/products.py

@@ -142,9 +142,9 @@ class Products:
                 # icm_update=['日期', '店铺名称', '宝贝id'],  # 唯一组合键
                 unique_main_key=['商品id'],
                 set_typ={
-                    '商品id': 'mediumtext',
-                    '平台': 'mediumtext',
-                    '上市年份': 'mediumtext',
+                    '商品id': 'bigint',
+                    '平台': 'varchar(100)',
+                    '上市年份': 'varchar(100)',
                 },
             )
 

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq/dataframe/converter.py

@@ -31,8 +31,8 @@ class DataFrameConverter(object):
             return longest_value
 
         # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -88,7 +88,7 @@ class DataFrameConverter(object):
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
+        # df.fillna(0, inplace=True)
         return df
 
 

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq/mysql/mysql.py

@@ -127,7 +127,7 @@ class MysqlUpload:
         return wrapper
 
     @try_except
-    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None):
+    def dict_to_mysql(self, db_name, table_name, dict_data, icm_update=None, main_key=None, unique_main_key=None, index_length=100, set_typ=None, default=True):
         """
         插入字典数据
         dict_data： 字典
@@ -186,7 +186,22 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    if default:
+                        if dtypes[col] == 'date':
+                            default = '2000-01-01'
+                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
+                            default = '2000-01-01 10:00:00'
+                        elif 'decimal' in dtypes[col]:
+                            default = 0.0
+                        elif 'int' in dtypes[col]:
+                            default = 0
+                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
+                            default = ''
+                        elif 'year' in dtypes[col]:
+                            default = '2000'
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
+                    else:
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 
@@ -362,8 +377,8 @@ class MysqlUpload:
 
     def cover_df(self, df):
         """ 清理 df 的值和列名 """
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace([np.inf, -np.inf], '', inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan', 'NAN'], value='', regex=False, inplace=True)  # 替换掉特殊字符
         df.replace(to_replace=[','], value='', regex=True, inplace=True)
         df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
         df.replace(to_replace=['"'], value='', regex=True, inplace=True)
@@ -387,7 +402,7 @@ class MysqlUpload:
             new_col = re.sub(r'_{2,}', '_', new_col)
             new_col = re.sub(r'_+$', '', new_col)
             df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
+        # df.fillna(0, inplace=True)
         return df
 
     def convert_df_dtypes(self, df: pd.DataFrame):
@@ -411,15 +426,15 @@ class MysqlUpload:
             elif result4:  # 小数
                 __res_dict.update({k: 'decimal(12,2)'})
             elif k == '日期':
-                __res_dict.update({k: 'DATE'})
+                __res_dict.update({k: 'date'})
             elif k == '更新时间':
-                __res_dict.update({k: 'TIMESTAMP'})
+                __res_dict.update({k: 'timestamp'})
             elif v == 'int64':
                 __res_dict.update({k: 'int'})
             elif v == 'float64':
                 __res_dict.update({k: 'decimal(10,4)'})
             elif v == 'bool':
-                __res_dict.update({k: 'BOOLEAN'})
+                __res_dict.update({k: 'boolean'})
             elif v == 'datetime64[ns]':
                 __res_dict.update({k: 'datetime'})
             else:
@@ -428,7 +443,7 @@ class MysqlUpload:
 
     # @try_except
     def df_to_mysql(self, df, db_name, table_name, set_typ=None, icm_update=[], move_insert=False, df_sql=False, drop_duplicates=False,
-                    filename=None, count=None, reset_id=False):
+                    filename=None, count=None, reset_id=False, default=None):
         """
         db_name: 数据库名
         table_name: 表名
@@ -499,7 +514,22 @@ class MysqlUpload:
             if col_not_exist:  # 数据表中不存在的列
                 for col in col_not_exist:
                     #  创建列，需转义
-                    sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
+                    if default:
+                        if dtypes[col] == 'date':
+                            default = '2000-01-01'
+                        elif dtypes[col] == 'datetime' or dtypes[col] == 'timestamp':
+                            default = '2000-01-01 10:00:00'
+                        elif 'decimal' in dtypes[col]:
+                            default = 0.0
+                        elif 'int' in dtypes[col]:
+                            default = 0
+                        elif 'varchar' in dtypes[col] or 'text' in dtypes[col]:
+                            default = ''
+                        elif 'year' in dtypes[col]:
+                            default = '2000'
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL DEFAULT '{default}';"
+                    else:
+                        sql = f"ALTER TABLE `{table_name}` ADD COLUMN `{col}` {dtypes[col]} NOT NULL;"
                     cursor.execute(sql)
                     print(f"添加列: {col}({dtypes[col]})")  # 添加列并指定数据类型
 

{mdbq-3.0.1 → mdbq-3.0.2}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.1
+Version: 3.0.2
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.1 → mdbq-3.0.2}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='3.0.1',
+      version='3.0.2',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',