mdbq 1.4.8__py3-none-any.whl → 1.5.0__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -833,6 +833,35 @@ class DatabaseUpdate:
                 )
         # return df
 
+    def other_table(self, service_databases=[{'home_lx': 'mysql'}]):
+        """ 上传 support 文件夹下的 主推商品.csv """
+        support_file = set_support.SetSupport(dirname='support').dirname
+        filename = '主推商品.csv'
+        if not os.path.isfile(os.path.join(support_file, filename)):
+            return
+        df = pd.read_csv(os.path.join(support_file, filename), encoding='utf-8_sig', header=0, na_filter=False)
+        for service_database in service_databases:
+            for service_name, database in service_database.items():
+                username, password, host, port = get_myconf.select_config_values(
+                    target_service=service_name,
+                    database=database,
+                )
+                m = mysql.MysqlUpload(
+                    username=username,
+                    password=password,
+                    host=host,
+                    port=port,
+                )
+                m.df_to_mysql(
+                    df=df,
+                    db_name='属性设置2',
+                    table_name='主推商品',
+                    df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+                    drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    filename=None,  # 用来追踪处理进度
+                    system_name=service_name,  # 用来追踪处理进度
+                )
+
 
 def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': True}, json_path=None, system_name=None):
     """ 上传一个文件夹到 mysql 或者 mongodb 数据库 """
@@ -1032,12 +1061,5 @@ if __name__ == '__main__':
 
     # test2()
 
-    file = ''
-    df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False)
-    username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
-    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-    m.df_to_mysql(df=df, db_name='市场数据2', table_name='搜索排行',
-                  drop_duplicates=True,
-                  # icm_update=['日期', '推广费余额'],
-                  system_name='company',
-                  )
+    dp = DatabaseUpdate(path='')
+    dp.other_table(service_databases=[{'company': 'mysql'}])

mdbq/aggregation/query_data.py

@@ -349,9 +349,60 @@ class GroupBy:
                 }
             )
             return df
-        elif '店铺来源_日数据' in table_name:
+        elif '店铺来源_日数据' in table_name and '旧版' not in table_name:
+            # 包含三级来源名称和预设索引值列
+            # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
+            df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor3.reset_index(inplace=True)
+            df_visitor3['index'] = df_visitor3['index'] + 100
+            df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
+            df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+
+            # 包含二级来源名称和预设索引值列
+            df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor2.reset_index(inplace=True)
+            df_visitor2['index'] = df_visitor2['index'] + 100
+            df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
+            df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
+
+            df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
+            df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
             return df
-        elif '店铺来源_日数据_旧版' in table_name:
+        elif '天猫_店铺来源_日数据_旧版' in table_name:
+
+            # 包含三级来源名称和预设索引值列
+            # 截取 从上月1日 至 今天的花费数据, 推广款式按此数据从高到低排序（商品图+排序）
+            df_visitor3 = df.groupby(['日期', '三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3 = df_visitor3[~df_visitor3['三级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor = df_visitor[(df_visitor['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor3 = df_visitor3.groupby(['三级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor3.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor3.reset_index(inplace=True)
+            df_visitor3['index'] = df_visitor3['index'] + 100
+            df_visitor3.rename(columns={'index': '三级访客索引'}, inplace=True)
+            df_visitor3 = df_visitor3[['三级来源', '三级访客索引']]
+
+            # 包含二级来源名称和预设索引值列
+            df_visitor2 = df.groupby(['日期', '二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2 = df_visitor2[~df_visitor2['二级来源'].isin([''])]  # 指定列中删除包含空值的行
+            # df_visitor2 = df_visitor2[(df_visitor2['日期'] >= f'{year_my}-{last_month.month}-01')]
+            df_visitor2 = df_visitor2.groupby(['二级来源'], as_index=False).agg({'访客数': 'sum'})
+            df_visitor2.sort_values('访客数', ascending=False, ignore_index=True, inplace=True)
+            df_visitor2.reset_index(inplace=True)
+            df_visitor2['index'] = df_visitor2['index'] + 100
+            df_visitor2.rename(columns={'index': '二级访客索引'}, inplace=True)
+            df_visitor2 = df_visitor2[['二级来源', '二级访客索引']]
+
+            df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
+            df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
             return df
         elif '商品id编码表' in table_name:
             df['宝贝id'] = df['宝贝id'].astype(str)
@@ -542,6 +593,12 @@ def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
             # 从数据库中获取数据, 返回包含 df 数据的字典
             # 单独处理某一个聚合数据库，在这里修改添加 data_dict 的值
             data_dict = [
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_店铺来源_日数据_旧版',
+                    '唯一主键': ['日期', '一级来源', '二级来源', '三级来源'],
+                    '数据主体': sdq.dplyd_old(),
+                },
                 {
                     '数据库名': '聚合数据',
                     '集合名': '天猫_店铺来源_日数据',
@@ -665,5 +722,5 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
 
 if __name__ == '__main__':
     # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
-    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
+    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1, system_name='company')
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

mdbq/company/copysh.py

@@ -348,6 +348,7 @@ def main():
             dp.cleaning(is_move=True)  # 公司台式机需要移除自身下载的文件
             dp.upload_df(service_databases=[{'company': 'mysql'}], system_name='company')
             dp.date_table(service_databases=[{'company': 'mysql'}])  # 因为日期表不受 days 参数控制，因此单独更新日期表
+            dp.other_table(service_databases=[{'company': 'mysql'}])  # 上传 support 文件夹下的 主推商品.csv
 
             # 此操作用于修改 .copysh_conf 文件，将 ch_record 改为 false (更新完成)
             w = update_conf.UpdateConf()

{mdbq-1.4.8.dist-info → mdbq-1.5.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.8
+Version: 1.5.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.8.dist-info → mdbq-1.5.0.dist-info}/RECORD

@@ -1,17 +1,17 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=UThzLh2KTL91BpiXxiuy6Z-Nck6v_uqtNnHf3uu-BVs,59513
+mdbq/aggregation/aggregation.py,sha256=HwEsA1-szRO-0gPv4wcAhUDi23XC2gPjKkUHL46DxRA,60561
 mdbq/aggregation/df_types.py,sha256=oQJS2IBU3_IO6GMgbssHuC2yCjNnbta0QPGrFOwNLnU,7591
 mdbq/aggregation/mysql_types.py,sha256=3j_SUTi7qYJyY3JtV_lRLIyczIczmRPE_WaIrXiZ6Rw,11425
 mdbq/aggregation/optimize_data.py,sha256=u2Kl_MFtZueXJ57ycy4H2OhXD431RctUYJYCl637uT0,4176
-mdbq/aggregation/query_data.py,sha256=PBBbnwN8fHxd6H_k8gZygu41bFk0H4oL3sKULa9_YSM,31207
+mdbq/aggregation/query_data.py,sha256=SyfskxjqZMXDTwP13A2mCBAiq1e8NqOdFjbGykVCTz4,35761
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
 mdbq/clean/data_clean.py,sha256=BIzc1XCJjJaZyPT6DCRXRCCRwBaeC5_lER0aqYF1P3M,87778
 mdbq/company/__init__.py,sha256=qz8F_GsP_pMB5PblgJAUAMjasuZbOEp3qQOCB39E8f0,21
-mdbq/company/copysh.py,sha256=RWlQqfpqDiRO1QaVCbPhgAYSopnMoOgcnFhRi0TNFnM,17181
+mdbq/company/copysh.py,sha256=GbkczZ4umr_25LGHRYHjZSuPkDitKX37wsbLP8wPtsY,17302
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/get_myconf.py,sha256=bp6bVARZVm3ANj1pmM9hLB8Ao539TUWeM9xxeSsBpzw,5994
 mdbq/config/products.py,sha256=xJ5-5y3_yf0bU-w5dCe3X1O3iGjmRTTHAz9PFc_B9pU,4386
@@ -35,7 +35,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.4.8.dist-info/METADATA,sha256=fJMnwkgLTNFjOKfgz8U8Tb7XSviURUyrwe_061c9A-Q,245
-mdbq-1.4.8.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-1.4.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.4.8.dist-info/RECORD,,
+mdbq-1.5.0.dist-info/METADATA,sha256=9FS-d-0mYLAendTDTvpXWakZi2qYTsJzgWbeD2yEiB0,245
+mdbq-1.5.0.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.5.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.5.0.dist-info/RECORD,,