mdbq 4.0.52__py3-none-any.whl → 4.0.53__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '4.0.52'
+VERSION = '4.0.53'

mdbq/aggregation/query_data.py

@@ -247,7 +247,7 @@ class MysqlDatasQuery:
         df = df_shop_gmv.merge(df_real_sales, on=['日期', '店铺名称'], how='outer')  # 平台数据合并销售数据
         df = df.merge(df_tg_data, on=['日期', '店铺名称'], how='outer')  # 合并推广数据
         df.fillna(0, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -451,7 +451,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         # 制作其他聚合表
         self.pf_datas.append(
             {
@@ -599,7 +599,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -690,7 +690,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -781,7 +781,7 @@ class MysqlDatasQuery:
                 }
             )
         df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -841,7 +841,7 @@ class MysqlDatasQuery:
             else '300+' if x >= 300
             else '300以下'
         )
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1030,7 +1030,7 @@ class MysqlDatasQuery:
                 else x['人群分类'], axis=1
             )
         df['人群分类'] = df['人群分类'].apply(lambda x: str(x).upper() if x else x)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         df.fillna(0, inplace=True)
         return df, {
             'db_name': db_name,
@@ -1146,7 +1146,7 @@ class MysqlDatasQuery:
             )
         else:
             df['词分类'] = df['词名字_词包名字'].apply(lambda x: self.ret_keyword(keyword=str(x), as_file=False))
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1295,7 +1295,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '观看次数', '加购量', '成交笔数', '成交金额', '直接成交笔数', '直接成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1389,7 +1389,7 @@ class MysqlDatasQuery:
                 '数据主体': df[['日期', '店铺名称', '推广渠道', '营销场景', '花费', '展现量', '点击量', '加购量', '成交笔数', '成交金额']]
             },
         )  # 制作其他聚合表
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1430,7 +1430,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'商品id': '宝贝id'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         logger.info('更新', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
         return df, {
             'db_name': db_name,
@@ -1472,7 +1472,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
         df = df.loc[idx]
         df.rename(columns={'白底图': '商品图片'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1523,7 +1523,7 @@ class MysqlDatasQuery:
                     return item['上市年份']
 
         df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1603,7 +1603,7 @@ class MysqlDatasQuery:
         df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
         p = df.pop('上市季节')
         df.insert(loc=9, column='上市季节', value=p)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1690,9 +1690,10 @@ class MysqlDatasQuery:
         df = pd.merge(df, df_visitor1, how='left', left_on='一级来源', right_on='一级来源')
         df = pd.merge(df, df_visitor2, how='left', left_on='二级来源', right_on='二级来源')
         df = pd.merge(df, df_visitor3, how='left', left_on='三级来源', right_on='三级来源')
+
         for col in ['一级来源索引', '二级来源索引', '三级来源索引']:
             df[col] = df[col].apply(lambda x: 1000 if str(x) == 'nan' else x)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1721,7 +1722,7 @@ class MysqlDatasQuery:
         df = pd.DataFrame(data=data_values)
         df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
         df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1813,7 +1814,7 @@ class MysqlDatasQuery:
         cols = list(df.columns)
         cols.insert(3, cols.pop(cols.index('spu_id')))
         df = df[cols]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1868,7 +1869,7 @@ class MysqlDatasQuery:
             }
         )
         df = df[df['花费'] > 0]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1944,7 +1945,7 @@ class MysqlDatasQuery:
         df['k_是否品牌词'] = df['k_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
         df['s_是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
         df['s_是否品牌词'] = df['s_是否品牌词'].apply(lambda x: '品牌词' if x else '-')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -1994,7 +1995,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2044,7 +2045,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '商品id', '货号', '访客数', '成交客户数', '加购商品件数', '加购人数', '成交单量', '成交金额']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2104,7 +2105,7 @@ class MysqlDatasQuery:
         idx = df.groupby(['日期', '店铺名称', '词类型', '搜索词'])['更新时间'].idxmax()
         df = df.loc[idx]
         df = df[['日期', '店铺名称', '词类型', '搜索词', '访客数', '加购人数', '支付金额', '支付转化率', '支付买家数', '客单价', 'uv价值']]
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2133,7 +2134,7 @@ class MysqlDatasQuery:
             projection={},
         )
         df.drop_duplicates(subset=['场次id'], keep='first', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         ordered_columns = [
             '日期',
             '店铺名称',
@@ -2618,7 +2619,7 @@ class MysqlDatasQuery:
             }
         )
         df.sort_values(['日期', '店铺名称', '花费'], ascending=[False, False, False], ignore_index=True, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2694,7 +2695,7 @@ class MysqlDatasQuery:
         df = df[new_columns]
         df['更新时间'] = df.pop('更新时间')
         df = df.astype({'日期': 'datetime64[ns]'}, errors='ignore')
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2723,7 +2724,7 @@ class MysqlDatasQuery:
             projection=projection,
         )
         df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2762,7 +2763,7 @@ class MysqlDatasQuery:
         df.rename(columns={'起始日期': '日期'}, inplace=True)
 
         # df.drop_duplicates(subset=['日期', '店铺名称', '场景id', '父渠道id'], keep='last', inplace=True, ignore_index=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -2822,7 +2823,7 @@ class MysqlDatasQuery:
         df['用户年龄'] = df['用户年龄'].apply(lambda x: '~'.join(re.findall(r'^(\d+).*-(\d+)岁$', str(x))[0]) if '岁' in str(x) else x)
         df['消费能力等级'] = df['消费能力等级'].apply(lambda x: f'L{''.join(re.findall(r'(\d)', str(x)))}' if '购买力' in str(x) else x)
         df.rename(columns={'消耗_元': '消耗'}, inplace=True)
-        set_typ = SET_TYP_DICT[f'{db_name}_{table_name}']
+        set_typ = SET_TYP_DICT.get(f'{db_name}_{table_name}', {})
         return df, {
             'db_name': db_name,
             'table_name': table_name,
@@ -3395,4 +3396,4 @@ if __name__ == '__main__':
         )
     sdq = MysqlDatasQuery(download_manager=download_manager) 
     sdq.months = 1
-    sdq.shops_concat(db_name='聚合数据', table_name='多店聚合_日报')
+    sdq.dplyd(db_name='聚合数据', table_name='店铺流量来源构成')

mdbq/aggregation/set_typ_dict.py

@@ -38,7 +38,7 @@ SET_TYP_DICT = {
         '直接成交笔数': 'int',
         '直接成交金额': 'decimal(12,2)',
     },
-    '聚合数据_奥莱_主体报表': {
+    '聚合数据_奥莱店_主体报表': {
         '日期': 'date',
         '推广渠道': 'varchar(100)',
         '店铺名称': 'varchar(255)',
@@ -582,6 +582,27 @@ SET_TYP_DICT = {
         '实际消耗': 'decimal(10,2)',
         '推广成交金额': 'decimal(12,2)',
     },
+    '聚合数据_店铺流量来源构成': {
+        '日期': 'DATE',
+        '店铺名称': 'varchar(255)',
+        '类别': 'varchar(100)',
+        '来源构成': 'varchar(100)',
+        '一级来源': 'varchar(100)',
+        '二级来源': 'varchar(100)',
+        '三级来源': 'varchar(100)',
+        '访客数': 'int',
+        '支付金额': 'decimal(12,2)',
+        '支付买家数': 'smallint',
+        '支付转化率': 'decimal(10,4)',
+        '加购人数': 'smallint',
+        '加购件数': 'smallint',
+        '下单买家数': 'smallint',
+        '关注店铺人数': 'smallint',
+        '一级来源索引': 'smallint',
+        '二级来源索引': 'smallint',
+        '三级来源索引': 'smallint',
+        '更新时间': 'timestamp',
+    },
 }
 
 

mdbq/mysql/uploader.py

@@ -1071,6 +1071,10 @@ class MySQLUploader:
         # 统一处理原始数据中列名的特殊字符
         data = self.normalize_column_names(data)
 
+        if not set_typ:
+            logger.warning('set_typ为空, 将自动推断数据类型, 可能存在数据类型识别错误', {
+                'func': sys._getframe().f_code.co_name,
+            })
         # set_typ的键清洗
         if not set_typ:
             set_typ = {}

{mdbq-4.0.52.dist-info → mdbq-4.0.53.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.52
+Version: 4.0.53
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-4.0.52.dist-info → mdbq-4.0.53.dist-info}/RECORD

@@ -1,8 +1,8 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=oRmzDEkmmyAlXwpbKoDeVNJzH0P6pghSjKc3gq_WNa4,18
+mdbq/__version__.py,sha256=9vyZ4I0j81_4JlQheKzGIaKvwj8TSxiPWOQMlewc28A,18
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=83-CR2jFFrMJMwkuZm43Kn7P3mjTvjP6i4Av6eEudT8,157236
-mdbq/aggregation/set_typ_dict.py,sha256=Cax8i6My6xuTC8l-eB0AJ-kOZQwPRcZj-P9dhiiaTj0,21078
+mdbq/aggregation/query_data.py,sha256=-LNj3I1i2pewncAfJ77CLxbxlTcJmF-UgAbdU0FTLbE,157460
+mdbq/aggregation/set_typ_dict.py,sha256=wR-j7odh53htOLsUwXb2zHN2w_vU7-6rL3smBLk5hEo,21863
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=kPe3wsQNaB1slfX-Z7VMqzZoMoqPfc7ylYXZDBeFzzI,24945
 mdbq/myconf/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -12,7 +12,7 @@ mdbq/mysql/deduplicator.py,sha256=AB3gL7ZwhcmzGHSu4UY4M6YZVPFZ2wlAN3BCcwAhegQ,73
 mdbq/mysql/mysql.py,sha256=pDg771xBugCMSTWeskIFTi3pFLgaqgyG3smzf-86Wn8,56772
 mdbq/mysql/s_query.py,sha256=1wJ3HVjHEF6FA-bVeeesRlsf73CZSvVTEQ51CF1OsE4,46786
 mdbq/mysql/unique_.py,sha256=MaztT-WIyEQUs-OOYY4pFulgHVcXR1BfCy3QUz0XM_U,21127
-mdbq/mysql/uploader.py,sha256=Y5gCXuhZR-Oo89xaU4wRlcrzDtarABEyJLt43GvDhcI,88718
+mdbq/mysql/uploader.py,sha256=dJRAtj-IebPgOHvKKeu-CqoeqfSaRqusSBgt_hXgNdw,88926
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/other/download_sku_picture.py,sha256=X66sVdvVgzoNzmgVJyPtd7bjEvctEKtLPblEPF65EWc,46940
 mdbq/other/error_handler.py,sha256=4p5haAXSY-P78stp4Xwo_MwAngWYqyKj5ogWIuYXMeY,12631
@@ -25,7 +25,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=vpBuNc22uj9Vr-_Dh25_wpwWM1e-072EAAIBdB_IpL0,23494
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-4.0.52.dist-info/METADATA,sha256=OLb8hSRm0jr5HU-n2MJ0JILsojpcmcbGBCJCaPdZHN4,364
-mdbq-4.0.52.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-4.0.52.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-4.0.52.dist-info/RECORD,,
+mdbq-4.0.53.dist-info/METADATA,sha256=EAXK83_DJ3401B7lKmpSDmLCCUb_08DOxKmTBOG6WoM,364
+mdbq-4.0.53.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-4.0.53.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-4.0.53.dist-info/RECORD,,