mdbq 2.6.3__tar.gz → 2.6.4__tar.gz

{mdbq-2.6.3 → mdbq-2.6.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.6.3
+Version: 2.6.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.6.3 → mdbq-2.6.4}/mdbq/aggregation/aggregation.py

@@ -1305,7 +1305,7 @@ if __name__ == '__main__':
 
     # 上传 1 个文件到数据库
     one_file_to_mysql(
-        file='/Users/xigua/Downloads/万里马箱包推广1_营销概况_全站营销_2024-08-18_2024-09-01.csv',
+        file='/Users/xigua/Downloads/万里马箱包推广1_营销概况_qwqw全站营销_2024-08-18_2024-09-01.csv',
         db_name='京东数据3',
         table_name='推广数据_全站营销',
         target_service='company',

{mdbq-2.6.3 → mdbq-2.6.4}/mdbq/aggregation/query_data.py

@@ -1205,7 +1205,7 @@ class GroupBy:
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             # df.insert(loc=2, column='营销场景', value='超级直播')  # df中插入新列
             # df = df.loc[df['日期'].between(start_day, today)]
-            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+            df_new = df.groupby(['日期', '店铺名称', '推广渠道', '营销场景'], as_index=False).agg(
                 **{
                     '花费': ('花费', np.sum),
                     '展现量': ('展现量', np.sum),
@@ -1264,7 +1264,7 @@ class GroupBy:
                 )
             df.insert(loc=1, column='推广渠道', value='品销宝')  # df中插入新列
             df.insert(loc=2, column='营销场景', value='品销宝')  # df中插入新列
-            df_new = df.groupby(['日期', '推广渠道', '营销场景'], as_index=False).agg(
+            df_new = df.groupby(['日期', '店铺名称', '推广渠道', '营销场景'], as_index=False).agg(
                 **{
                     '花费': ('花费', np.sum),
                     '展现量': ('展现量', np.sum),
@@ -2107,12 +2107,6 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源', '访客数'],
                     '数据主体': sdq.dplyd(),
                 },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '天猫_店铺来源_日数据_旧版',
-                #     '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
-                #     '数据主体': sdq.dplyd_old(),
-                # },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '商品id编码表',
@@ -2185,18 +2179,18 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                     '唯一主键': ['日期', '报表类型', '推广渠道', '营销场景', '花费'],
                     '数据主体': sdq.pxb_zh(),
                 },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
-                #     '唯一主键': ['日期', '关键词', '访客数'],
-                #     '数据主体': sdq.tm_search(),
-                # },
-                # {
-                #     '数据库名': '聚合数据',
-                #     '集合名': '生意参谋_直播场次分析',  # 暂缺
-                #     '唯一主键': ['场次id'],
-                #     '数据主体': sdq.zb_ccfx(),
-                # },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫店铺来源_手淘搜索',  # 暂缺
+                    '唯一主键': ['日期', '关键词', '访客数'],
+                    '数据主体': sdq.tm_search(),
+                },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '生意参谋_直播场次分析',  # 暂缺
+                    '唯一主键': ['场次id'],
+                    '数据主体': sdq.zb_ccfx(),
+                },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '多店推广场景_按日聚合',
@@ -2232,7 +2226,7 @@ def data_aggregation(service_databases=[{}], months=1, is_juhe=True):
                         service_database=service_database,
                     )
                     g.sp_index_datas = pd.DataFrame()  # 重置，不然下个循环会继续刷入数据库
-                # # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
+                # g.as_csv(df=df, filename=table_name + '.csv')  # 导出 csv
                 if '日期' in df.columns.tolist():
                     m.df_to_mysql(
                         df=df,

{mdbq-2.6.3 → mdbq-2.6.4}/mdbq/clean/clean_upload.py

@@ -98,6 +98,11 @@ class DataClean:
                 '数据库名': '生意参谋3',
                 '集合名称': '店铺流量来源构成',
             },
+            {
+                '文件简称': '爱库存_商品榜单_',  # 文件名中包含的字符
+                '数据库名': '爱库存2',
+                '集合名称': '商品spu榜单',
+            },
         ]
         for root, dirs, files in os.walk(path, topdown=False):
             for name in files:
@@ -145,6 +150,13 @@ class DataClean:
                     new_name = f'py_xg_{os.path.splitext(name)[0]}.csv'
                     self.save_to_csv(df, root, new_name, encoding='utf-8_sig')
                     os.remove(os.path.join(root, name))
+                elif name.endswith('.csv') and '爱库存_商品榜单_' in name:
+                    df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
+                    if '店铺名称' not in df.columns.tolist():
+                        df.insert(loc=1, column='店铺名称', value='爱库存平台')  # df中插入新列
+                    new_name = f'py_xg_{os.path.splitext(name)[0]}.csv'
+                    self.save_to_csv(df, root, new_name, encoding='utf-8_sig')
+                    os.remove(os.path.join(root, name))
 
                 # 将数据传入 self.datas 等待更新进数据库
                 if not db_name or not collection_name:
@@ -923,6 +935,9 @@ class DataClean:
                         '商品类目属性' in name or '商品主图视频' in name or '商品sku属性' in name):
                     t_path = os.path.join(self.source_path, '生意参谋', '商品属性')
                     bib(t_path, _as_month=True)
+                elif name.endswith('.csv') and '爱库存_商品榜单_' in name:
+                    t_path = os.path.join(self.source_path, '爱库存', 'spu商品榜单')
+                    bib(t_path, _as_month=True)
 
     def move_dmp(self, path=None, is_except=[]):
         """ 达摩盘 """
@@ -1502,15 +1517,15 @@ def main(service_databases=None, is_mysql=False):
 
 
 if __name__ == '__main__':
-    main(
-        service_databases = [
-            {'company': 'mysql'},
-            # {'home_lx': 'mysql'},
-            # {'home_lx': 'mongodb'},
-            # {'nas': 'mysql'},
-        ],
-        is_mysql = False,  # 清理聚合数据
-    )
+    # main(
+    #     service_databases = [
+    #         {'company': 'mysql'},
+    #         # {'home_lx': 'mysql'},
+    #         # {'home_lx': 'mongodb'},
+    #         # {'nas': 'mysql'},
+    #     ],
+    #     is_mysql = False,  # 清理聚合数据
+    # )
 
     # c = DataClean(
     #     path=upload_path,  # 源文件目录，下载文件夹
@@ -1521,4 +1536,4 @@ if __name__ == '__main__':
     # c.move_tg_tm(is_except=['临时文件', ])  # 天猫，移到文件到原始文件夹
 
 
-    # test()
+    test()

{mdbq-2.6.3 → mdbq-2.6.4}/mdbq/spider/aikucun.py

@@ -216,6 +216,7 @@ class AikuCun:
         today = datetime.date.today()
         for date_s in range(date_num):
             new_date = today - datetime.timedelta(days=date_s)  # 会用作文件名
+            print(f'正在下载爱库存文件 {date_s}/{date_num}: {new_date}')
             str_date = str(new_date)[2:]
             wait = WebDriverWait(_driver, timeout=15)  #
             elements = _driver.find_elements(
@@ -254,7 +255,7 @@ class AikuCun:
                 '//button[@class="el-button el-button--primary el-button--small is-plain"]/span[contains(text(), "下载数据")]')
             _driver.execute_script("arguments[0].click();", elements[0])  # 点击
             time.sleep(5)
-            self.clean_data(date=new_date)
+            self.clean_data(date=new_date)  # 每下载一个文件，需要立即清洗数据
         _driver.quit()
 
     def clean_data(self, date):
@@ -275,6 +276,7 @@ class AikuCun:
                         os.remove(os.path.join(root, name))
                         continue
                     df.insert(loc=0, column='日期', value=date)  # df中插入新列
+                    df.insert(loc=1, column='店铺名称', value='爱库存平台')  # df中插入新列
                     df.rename(columns={'spuId': 'spu_id'}, inplace=True)
                     df['数据更新时间'] = pd.to_datetime(df['数据更新时间'], format='%Y-%m-%d %H:%M:%S', errors='ignore')
                     # df['数据更新时间'] = df['数据更新时间'].apply(lambda x: re.sub('  ', ' ', str(x)) if x else x)
@@ -290,24 +292,24 @@ def akucun():
     akc.get_data(shop_name='aikucun', date_num=10)  # 获取最近 N 天数据，0表示今天
     # akc.clean_data()
 
-    # 新版 数据分类
-    dp = aggregation.DatabaseUpdate(path=upload_path)
-    dp.new_unzip(is_move=True)
-    dp.cleaning(is_move=False, is_except=['临时文件'])  # 清洗数据, 存入 self.datas, 不需要立即移除文件，仍保留文件到原始文件中
-    # 将 self.datas 更新至数据库
-    dp.upload_df(service_databases=[
-        # {'home_lx': 'mongodb'},
-        # {'home_lx': 'mysql'},
-        {'company': 'mysql'},
-        # {'nas': 'mysql'},
-    ])
-    # 数据分类
-    c = data_clean.DataClean(path=upload_path, source_path=Source_Path)
-    c.set_up_to_mogo = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
-    c.set_up_to_mysql = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
-    c.new_unzip(is_move=True, )  # 解压文件
-    c.change_and_sort(is_except=['临时文件'])
-    c.move_all(is_except=['临时文件'])  # 移到文件到原始文件夹
+    # # 新版 数据分类
+    # dp = aggregation.DatabaseUpdate(path=upload_path)
+    # dp.new_unzip(is_move=True)
+    # dp.cleaning(is_move=False, is_except=['临时文件'])  # 清洗数据, 存入 self.datas, 不需要立即移除文件，仍保留文件到原始文件中
+    # # 将 self.datas 更新至数据库
+    # dp.upload_df(service_databases=[
+    #     # {'home_lx': 'mongodb'},
+    #     # {'home_lx': 'mysql'},
+    #     {'company': 'mysql'},
+    #     # {'nas': 'mysql'},
+    # ])
+    # # 数据分类
+    # c = data_clean.DataClean(path=upload_path, source_path=Source_Path)
+    # c.set_up_to_mogo = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
+    # c.set_up_to_mysql = False  # 不再使用 data_clean 更新数据库，改为 aggregation.py
+    # c.new_unzip(is_move=True, )  # 解压文件
+    # c.change_and_sort(is_except=['临时文件'])
+    # c.move_all(is_except=['临时文件'])  # 移到文件到原始文件夹
 
 
 class AikuCunNew:
@@ -359,7 +361,7 @@ class AikuCunNew:
 
 if __name__ == '__main__':
     pass
-    # get_cookie_aikucun()
+    get_cookie_aikucun()
     akucun()
 
     # a = AikuCunNew(shop_name='aikucun')

{mdbq-2.6.3 → mdbq-2.6.4}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.6.3
+Version: 2.6.4
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.6.3 → mdbq-2.6.4}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.6.3',
+      version='2.6.4',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',