mdbq 1.6.0__py3-none-any.whl → 1.6.2__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -906,16 +906,16 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
             host=host,
             port=port,
         )
-        username, password, host, port = get_myconf.select_config_values(
-            target_service='nas',
-            database='mysql',
-        )
-        nas = mysql.MysqlUpload(
-            username=username,
-            password=password,
-            host=host,
-            port=port,
-        )
+        # username, password, host, port = get_myconf.select_config_values(
+        #     target_service='nas',
+        #     database='mysql',
+        # )
+        # nas = mysql.MysqlUpload(
+        #     username=username,
+        #     password=password,
+        #     host=host,
+        #     port=port,
+        # )
 
     # 从本地 json 文件从读取 df 的数据类型信息
     df_to_json = df_types.DataTypes()
@@ -1064,11 +1064,11 @@ if __name__ == '__main__':
     #     target_service='company',
     #     database='mysql'
     # )
-    # db_name = '生意参谋2'
-    # table_name = '自助取数_店铺流量_月数据'
-    # upload_dir(
-    #     path='/Users/xigua/数据中心/原始文件2/月数据/流量来源-自助取数-月数据',
-    #     db_name=db_name,
-    #     collection_name=table_name,
-    #     dbs={'mysql': True, 'mongodb': False},
-    # )
+    db_name = '推广数据2'
+    table_name = '超级直播'
+    upload_dir(
+        path='/Users/xigua/数据中心/原始文件2/推广报表/超级直播',
+        db_name=db_name,
+        collection_name=table_name,
+        dbs={'mysql': True, 'mongodb': False},
+    )

mdbq/aggregation/query_data.py

@@ -192,6 +192,33 @@ class MysqlDatasQuery:
         )
         return df
 
+    def tg_cjzb(self):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '场景名字': 1,
+            '人群名字': 1,
+            '计划名字': 1,
+            '花费': 1,
+            '展现量': 1,
+            '进店量': 1,
+            '粉丝关注量': 1,
+            '观看次数': 1,
+            '总购物车数': 1,
+            '总成交笔数': 1,
+            '总成交金额': 1,
+            '直接成交笔数': 1,
+            '直接成交金额': 1,
+        }
+        df = self.download.data_to_df(
+            db_name='推广数据2',
+            table_name='超级直播',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        return df
+
     def idbm(self):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
@@ -397,6 +424,7 @@ class GroupBy:
                 '总成交笔数': '成交笔数',
                 '总成交金额': '成交金额'
             }, inplace=True)
+            df.fillna(0, inplace=True)
             df = df.astype({
                 '商品id': str,
                 '花费': float,
@@ -409,7 +437,6 @@ class GroupBy:
                 '直接成交笔数': int,
                 '直接成交金额': float,
             }, errors='raise')
-            df.fillna(0, inplace=True)
             if is_maximize:
                 df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
@@ -477,6 +504,7 @@ class GroupBy:
                 '总成交笔数': '成交笔数',
                 '总成交金额': '成交金额'
             }, inplace=True)
+            df.fillna(0, inplace=True)
             df = df.astype({
                 '商品id': str,
                 '花费': float,
@@ -488,7 +516,6 @@ class GroupBy:
                 '直接成交笔数': int,
                 '直接成交金额': float,
             }, errors='raise')
-            df.fillna(0, inplace=True)
             if is_maximize:
                 df = df.groupby(['日期', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
@@ -518,6 +545,7 @@ class GroupBy:
                 '总成交笔数': '成交笔数',
                 '总成交金额': '成交金额'
             }, inplace=True)
+            df.fillna(0, inplace=True)
             df = df.astype({
                 '商品id': str,
                 '花费': float,
@@ -529,7 +557,6 @@ class GroupBy:
                 '直接成交笔数': int,
                 '直接成交金额': float,
             }, errors='raise')
-            df.fillna(0, inplace=True)
             if is_maximize:
                 df = df.groupby(['日期', '营销场景', '商品id', '词类型', '词名字/词包名字', '花费', '展现量', '点击量'], as_index=False).agg(
                     **{'加购量': ('加购量', np.max),
@@ -551,6 +578,55 @@ class GroupBy:
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
             return df
+        elif '超级直播' in table_name:
+            df.rename(columns={
+                '观看次数': '观看次数',
+                '总购物车数': '加购量',
+                '总成交笔数': '成交笔数',
+                '总成交金额': '成交金额',
+                '场景名字': '营销场景',
+            }, inplace=True)
+            df.fillna(0, inplace=True)
+            df = df.astype({
+                '花费': float,
+                # '点击量': int,
+                '加购量': int,
+                '成交笔数': int,
+                '成交金额': float,
+                '进店量': int,
+                '粉丝关注量': int,
+                '观看次数': int,
+            }, errors='raise')
+            if is_maximize:
+                df = df.groupby(['日期', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+                                as_index=False).agg(
+                    **{
+                        '进店量': ('进店量', np.max),
+                        '粉丝关注量': ('粉丝关注量', np.max),
+                        '加购量': ('加购量', np.max),
+                        '成交笔数': ('成交笔数', np.max),
+                        '成交金额': ('成交金额', np.max),
+                        '直接成交笔数': ('直接成交笔数', np.max),
+                        '直接成交金额': ('直接成交金额', np.max),
+                       }
+                )
+            else:
+                df = df.groupby(['日期', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
+                                as_index=False).agg(
+                    **{
+                        '进店量': ('进店量', np.min),
+                        '粉丝关注量': ('粉丝关注量', np.min),
+                        '加购量': ('加购量', np.min),
+                        '成交笔数': ('成交笔数', np.min),
+                        '成交金额': ('成交金额', np.min),
+                        '直接成交笔数': ('直接成交笔数', np.min),
+                        '直接成交金额': ('直接成交金额', np.min),
+                    }
+                )
+            df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+            # df.insert(loc=2, column='营销场景', value='超级直播')  # df中插入新列
+            # df = df.loc[df['日期'].between(start_day, today)]
+            return df
         elif '宝贝指标' in table_name:
             """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
             df['宝贝id'] = df['宝贝id'].astype(str)
@@ -890,6 +966,10 @@ class GroupBy:
         df.to_excel(os.path.join(path, filename + '.xlsx'), index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
 
+def g_group():
+    pass
+
+
 def data_aggregation_one(service_databases=[{}], months=1):
     """
     # 单独处理某一个聚合数据库，修改添加 data_dict 的值
@@ -911,9 +991,9 @@ def data_aggregation_one(service_databases=[{}], months=1):
             data_dict = [
                 {
                     '数据库名': '聚合数据',
-                    '集合名': '京东_京准通_全站营销',
-                    '唯一主键': ['日期', '产品线',],
-                    '数据主体': sdq.jdqzyx(),
+                    '集合名': '天猫_超级直播',
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
+                    '数据主体': sdq.tg_cjzb(),
                 },
             ]
             ######################################################
@@ -1024,6 +1104,12 @@ def data_aggregation(service_databases=[{}], months=1):
                     '唯一主键': ['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字/词包名字',],
                     '数据主体': sdq.tg_gjc(),
                 },
+                {
+                    '数据库名': '聚合数据',
+                    '集合名': '天猫_超级直播',
+                    '唯一主键': ['日期', '推广渠道', '营销场景', '花费'],
+                    '数据主体': sdq.tg_cjzb(),
+                },
             ]
             for items in data_dict:  # 遍历返回结果
                 db_name, table_name, unique_key_list, df = items['数据库名'], items['集合名'], items['唯一主键'], items['数据主体']
@@ -1081,7 +1167,7 @@ def data_aggregation(service_databases=[{}], months=1):
 
 
 if __name__ == '__main__':
-    data_aggregation(service_databases=[{'company': 'mysql'}], months=1)  # 正常的聚合所有数据
-    # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
+    # data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1)  # 正常的聚合所有数据
+    data_aggregation_one(service_databases=[{'home_lx': 'mysql'}], months=1)  # 单独聚合某一个数据库，具体库进函数编辑
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作
 

mdbq/mysql/s_query.py

@@ -61,6 +61,9 @@ class QueryDatas:
                     if value == 1 and key in cols_exist:
                         columns_in.append(key)  # 提取值为 1 的键并清理不在数据表的键
                 columns_in = [f"`{item}`" for item in columns_in]
+                if not columns_in:
+                    print(f'传递的参数 projection，在数据库中没有找到匹配的列，请检查 projection： {projection}')
+                    return df
                 columns_in = ', '.join(columns_in)
                 if '日期' in cols_exist:  # 不论是否指定, 只要数据表有日期，则执行
                     sql = (f"SELECT {columns_in} FROM `{db_name}`.`{table_name}` "

{mdbq-1.6.0.dist-info → mdbq-1.6.2.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.6.0
+Version: 1.6.2
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.6.0.dist-info → mdbq-1.6.2.dist-info}/RECORD

@@ -1,11 +1,11 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=L1ZETxvSY7Ads0qlN5fC5xQrrStMPiNNoDrngJnKAXA,61742
+mdbq/aggregation/aggregation.py,sha256=Fb74FW6EgYGlFiTqcITgBEWeHUAv13A2VN5EIKojOxQ,61703
 mdbq/aggregation/df_types.py,sha256=oQJS2IBU3_IO6GMgbssHuC2yCjNnbta0QPGrFOwNLnU,7591
 mdbq/aggregation/mysql_types.py,sha256=DQYROALDiwjJzjhaJfIIdnsrNs11i5BORlj_v6bp67Y,11062
 mdbq/aggregation/optimize_data.py,sha256=u2Kl_MFtZueXJ57ycy4H2OhXD431RctUYJYCl637uT0,4176
-mdbq/aggregation/query_data.py,sha256=NSVMrndo6QsHnjBq6iWvi7OnLo_Shp1GgszvLc2Fe2Q,52491
+mdbq/aggregation/query_data.py,sha256=TG2J72xQ_oiluW3WRk8Sh2lW9dGXyCAyYo8Mjsdjuxc,56244
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -25,7 +25,7 @@ mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=v9qvrp6p1ZRWuPpbSilqveiE0FEcZF7U5xUPI0RN4xs,31880
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
 mdbq/mysql/mysql.py,sha256=Fiha5MUqac36UUhLfOoRybhwbRftub9qUBi63wVz1Pc,43329
-mdbq/mysql/s_query.py,sha256=WD_pwgUA9pSQMvNKUxQoHKQf2LgkV8PyQV9Te3AJYs4,8175
+mdbq/mysql/s_query.py,sha256=fIQvQKPyV7rvSUuxVWXv9S5FmCnIM4GHKconE1Zn5BA,8378
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/porxy.py,sha256=UHfgEyXugogvXgsG68a7QouUCKaohTKKkI4RN-kYSdQ,4961
@@ -35,7 +35,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=tgy762608HMaXWynbOURIf2UVMuSPybzrDXQnOOcnZU,6102
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-1.6.0.dist-info/METADATA,sha256=i6L70MhhwWiPA0iTOnW5i_cNX8TNeFTSEnRyP-hE9x8,245
-mdbq-1.6.0.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-1.6.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-1.6.0.dist-info/RECORD,,
+mdbq-1.6.2.dist-info/METADATA,sha256=tHulrCtoamc5pSt-mVLU3aM_dIs0AqKv8Pd8SX7-bzE,245
+mdbq-1.6.2.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-1.6.2.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-1.6.2.dist-info/RECORD,,