mdbq 2.6.3__py3-none-any.whl → 2.6.4__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -1305,7 +1305,7 @@ if __name__ == '__main__':
 
     # 上传 1 个文件到数据库
     one_file_to_mysql(
-        file='/Users/xigua/Downloads/万里马箱包推广1_营销概况_全站营销_2024-08-18_2024-09-01.csv',
+        file='/Users/xigua/Downloads/万里马箱包推广1_营销概况_qwqw全站营销_2024-08-18_2024-09-01.csv',
         db_name='京东数据3',
         table_name='推广数据_全站营销',
         target_service='company',

mdbq/aggregation/query_data.py

@@ -1205,7 +1205,7 @@ class GroupBy:
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             # df.insert(loc=2, column='营销场景', value='超级直播')  # df中插入新列
             # df = df.loc[df['日期'].between(start_day, today)]
-            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+            df_new = df.groupby(['日期', '店铺名称', '推广渠道', '营销场景'], as_index=False).agg(
                 **{
                     '花费': ('花费', np.sum),
                     '展现量': ('展现量', np.sum),
@@ -1264,7 +1264,7 @@ class GroupBy:
                 )
             df.insert(loc=1, column='推广渠道', value='品销宝')  # df中插入新列
             df.insert(loc=2, column='营销场景', value='品销宝')  # df中插入新列
-            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+            df_new = df.groupby(['日期', '店铺名称', '推广渠道', '营销场景'], as_index=False).agg(
                 **{
                     '花费': ('花费', np.sum),
                     '展现量': ('展现量', np.sum),
@@ -2107,12 +2107,6 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
                     '数据主体': sdq.dplyd(),
                 },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '天猫_店铺来源_日数据_旧版',
-                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                #     '数据主体': sdq.dplyd_old(),
-                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id编码表',
@@ -2185,18 +2179,18 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
                     '数据主体': sdq.pxb_zh(),
                 },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
-                #     '唯一主键': ['日期', '关键词', '访客数'],
-                #     '数据主体': sdq.tm_search(),
-                # },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '生意参谋_直播场次分析',  # 暂缺
-                #     '唯一主键': ['场次id'],
-                #     '数据主体': sdq.zb_ccfx(),
-                # },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
+                    '唯一主键': ['日期', '关键词', '访客数'],
+                    '数据主体': sdq.tm_search(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '生意参谋_直播场次分析',  # 暂缺
+                    '唯一主键': ['场次id'],
+                    '数据主体': sdq.zb_ccfx(),
+                },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '多店推广场景_按日聚合',
@@ -2232,7 +2226,7 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                         service_database=service_database,
                     )
                     g.sp_index_datas = pd.DataFrame()  # 重置，不然下个循环会继续刷入数据库
-                # # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
+                # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
                 if '日期' in df.columns.tolist():
                     m.df_to_mysql(
                         df=df,

mdbq/clean/clean_upload.py

@@ -98,6 +98,11 @@ class DataClean:
                 '数据库名': '生意参谋3',
                 '集合名称': '店铺流量来源构成',
             },
+            {
+                '文件简称': '爱库存_商品榜单_',  # 文件名中包含的字符
+                '数据库名': '爱库存2',
+                '集合名称': '商品spu榜单',
+            },
         ]
         for root, dirs, files in os.walk(path, topdown=False):
             for name in files:
@@ -145,6 +150,13 @@ class DataClean:
                     new_name = f'py_xg_{os.path.splitext(name)[0]}.csv'
                     self.save_to_csv(df, root, new_name, encoding='utf-8_sig')
                     os.remove(os.path.join(root, name))
+                elif name.endswith('.csv') and '爱库存_商品榜单_' in name:
+                    df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
+                    if '店铺名称' not in df.columns.tolist():
+                        df.insert(loc=1, column='店铺名称', value='爱库存平台')  # df中插入新列
+                    new_name = f'py_xg_{os.path.splitext(name)[0]}.csv'
+                    self.save_to_csv(df, root, new_name, encoding='utf-8_sig')
+                    os.remove(os.path.join(root, name))
 
                 # 将数据传入 self.datas 等待更新进数据库
                 if not db_name or not collection_name:
@@ -923,6 +935,9 @@ class DataClean:
                         '商品类目属性' in name or '商品主图视频' in name or '商品sku属性' in name):
                     t_path = os.path.join(self.source_path, '生意参谋', '商品属性')
                     bib(t_path, _as_month=True)
+                elif name.endswith('.csv') and '爱库存_商品榜单_' in name:
+                    t_path = os.path.join(self.source_path, '爱库存', 'spu商品榜单')
+                    bib(t_path, _as_month=True)
 
     def move_dmp(self, path=None, is_except=[]):
         """ 达摩盘 """
@@ -1502,15 +1517,15 @@ def main(service_databases=None, is_mysql=False):
 
 
 if __name__ == '__main__':
-    main(
-        service_databases = [
-            {'company': 'mysql'},
-            # {'home_lx': 'mysql'},
-            # {'home_lx': 'mongodb'},
-            # {'nas': 'mysql'},
-        ],
-        is_mysql = False,  # 清理聚合数据
-    )
+    # main(
+    #     service_databases = [
+    #         {'company': 'mysql'},
+    #         # {'home_lx': 'mysql'},
+    #         # {'home_lx': 'mongodb'},
+    #         # {'nas': 'mysql'},
+    #     ],
+    #     is_mysql = False,  # 清理聚合数据
+    # )
 
     # c = DataClean(
     #     path=upload_path,  # 源文件目录，下载文件夹
@@ -1521,4 +1536,4 @@ if __name__ == '__main__':
     # c.move_tg_tm(is_except=['临时文件', ])  # 天猫，移到文件到原始文件夹
 
 
-    # test()
+    test()

mdbq/spider/aikucun.py

@@ -216,6 +216,7 @@ class AikuCun:
         today = datetime.date.today()
         for date_s in range(date_num):
             new_date = today - datetime.timedelta(days=date_s)  # 会用作文件名
+            print(f'正在下载爱库存文件 {date_s}/{date_num}: {new_date}')
             str_date = str(new_date)[2:]
             wait = WebDriverWait(_driver, timeout=15)  #
             elements = _driver.find_elements(
@@ -254,7 +255,7 @@ class AikuCun:
                 '//button[@class="el-button el-button--primary el-button--small is-plain"]/span[contains(text(), "下载数据")]')
             _driver.execute_script("arguments[0].click();", elements[0])  # 点击
             time.sleep(5)
-            self.clean_data(date=new_date)
+            self.clean_data(date=new_date)  # 每下载一个文件，需要立即清洗数据
         _driver.quit()
 
     def clean_data(self, date):
@@ -275,6 +276,7 @@ class AikuCun:
                         os.remove(os.path.join(root, name))
                         continue
                     df.insert(loc=0, column='日期', value=date)  # df中插入新列
+                    df.insert(loc=1, column='店铺名称', value='爱库存平台')  # df中插入新列
                     df.rename(columns={'spuId': 'spu_id'}, inplace=True)
                     df['数据更新时间'] = pd.to_datetime(df['数据更新时间'], format='%Y-%m-%d %H:%M:%S', errors='ignore')
                     # df['数据更新时间'] = df['数据更新时间'].apply(lambda x: re.sub('  ', ' ', str(x)) if x else x)
@@ -290,24 +292,24 @@ def akucun():
     akc.get_data(shop_name='aikucun', date_num=10)  # 获取最近 N 天数据，0表示今天
     # akc.clean_data()
 
-    # 新版 数据分类
-    dp = aggregation.DatabaseUpdate(path=upload_path)
-    dp.new_unzip(is_move=True)
-    dp.cleaning(is_move=False, is_except=['临时文件'])  # 清洗数据, 存入 self.datas, 不需要立即移除文件，仍保留文件到原始文件中
-    # 将 self.datas 更新至数据库
-    dp.upload_df(service_databases=[
-        # {'home_lx': 'mongodb'},
-        # {'home_lx': 'mysql'},
-        {'company': 'mysql'},
-        # {'nas': 'mysql'},
-    ])
-    # 数据分类
-    c = data_clean.DataClean(path=upload_path, source_path=Source_Path)
-    c.set_up_to_mogo = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
-    c.set_up_to_mysql = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
-    c.new_unzip(is_move=True, )  # 解压文件
-    c.change_and_sort(is_except=['临时文件'])
-    c.move_all(is_except=['临时文件'])  # 移到文件到原始文件夹
+    # # 新版 数据分类
+    # dp = aggregation.DatabaseUpdate(path=upload_path)
+    # dp.new_unzip(is_move=True)
+    # dp.cleaning(is_move=False, is_except=['临时文件'])  # 清洗数据, 存入 self.datas, 不需要立即移除文件，仍保留文件到原始文件中
+    # # 将 self.datas 更新至数据库
+    # dp.upload_df(service_databases=[
+    #     # {'home_lx': 'mongodb'},
+    #     # {'home_lx': 'mysql'},
+    #     {'company': 'mysql'},
+    #     # {'nas': 'mysql'},
+    # ])
+    # # 数据分类
+    # c = data_clean.DataClean(path=upload_path, source_path=Source_Path)
+    # c.set_up_to_mogo = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
+    # c.set_up_to_mysql = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
+    # c.new_unzip(is_move=True, )  # 解压文件
+    # c.change_and_sort(is_except=['临时文件'])
+    # c.move_all(is_except=['临时文件'])  # 移到文件到原始文件夹
 
 
 class AikuCunNew:
@@ -359,7 +361,7 @@ class AikuCunNew:
 
 if __name__ == '__main__':
     pass
-    # get_cookie_aikucun()
+    get_cookie_aikucun()
     akucun()
 
     # a = AikuCunNew(shop_name='aikucun')

{mdbq-2.6.3.dist-info → mdbq-2.6.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.6.3
+Version: 2.6.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.6.3.dist-info → mdbq-2.6.4.dist-info}/RECORD

@@ -1,15 +1,15 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=-iXQ2XWVbVRJT3ek3VEoqPqepx0Npt0GW4m76jg82R0,76245
+mdbq/aggregation/aggregation.py,sha256=YWfi6mhGAxEmY7DVIw--PimKYRx8wUhQYlz9zd-i1vk,76249
 mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=gdScrgTAb6RbXHZy1LitX7lggMGn1GTLhkYSgztfwew,4903
-mdbq/aggregation/query_data.py,sha256=vSSXOKE2pUgadUoIcBfUPWOC1dc11vmxLOMtux4aPwI,102942
+mdbq/aggregation/query_data.py,sha256=0NGYmfl1klQryriHu4V6_Twi9WPERHbl56X3kUqmZaY,102619
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
-mdbq/clean/clean_upload.py,sha256=o151jxkRy8iEjWZ3df3tSB79y69QetHn9vz5zzq1zbM,78396
+mdbq/clean/clean_upload.py,sha256=ZiPuyLhdEkAVTiqMCXGw2TbIuJtQL6qzXS4qf5Lncus,79427
 mdbq/clean/data_clean.py,sha256=ucfslhqXVZoH2QaXHSAWDky0GhIvH9f4GeNaHg4SrFE,104790
 mdbq/company/__init__.py,sha256=qz8F_GsP_pMB5PblgJAUAMjasuZbOEp3qQOCB39E8f0,21
 mdbq/company/copysh.py,sha256=NvlXCBZBcO2GIT5nLRYYqhOyHWM1-1RE7DHvgbj6jmQ,19723
@@ -41,8 +41,8 @@ mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,
 mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/req_post/req_tb.py,sha256=PexWSCPJNM6Tv0ol4lAWIhlOwsAr_frnjtcdSHCFiek,36179
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq/spider/aikucun.py,sha256=3EjeTPbwk_qLGMVqDhBZoEPGfD2oM-SBiODjxLL3A8U,16883
-mdbq-2.6.3.dist-info/METADATA,sha256=O3Xs0KdYzXEJ2LapxiFlxqnc1Q4fB3ujJ47O-QdF-iQ,245
-mdbq-2.6.3.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-2.6.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-2.6.3.dist-info/RECORD,,
+mdbq/spider/aikucun.py,sha256=4Y5zd64hZUFtll8AdpUc2napDas-La-A6XzAhb2mLv0,17157
+mdbq-2.6.4.dist-info/METADATA,sha256=jxpJC0SoZbSmRSFQRw56smOeg_66YUnRBWT8bQl7L38,245
+mdbq-2.6.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-2.6.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-2.6.4.dist-info/RECORD,,