mdbq 2.9.9__tar.gz → 3.0.1__tar.gz

{mdbq-2.9.9 → mdbq-3.0.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.9.9
+Version: 3.0.1
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.9.9 → mdbq-3.0.1}/mdbq/aggregation/query_data.py

@@ -1027,8 +1027,8 @@ class MysqlDatasQuery:
         )  # 制作其他聚合表
         if not self.update_service:
             return
-        min_date = df['日期'].min()
-        max_date = df['日期'].max()
+        min_date = pd.to_datetime(df['日期'].min()).strftime('%Y-%m-%d')
+        max_date = pd.to_datetime(df['日期'].max()).strftime('%Y-%m-%d')
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
         m_engine.df_to_mysql(
@@ -1975,6 +1975,58 @@ class MysqlDatasQuery:
         )
         return True
 
+    def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {}
+        df = self.download.data_to_df(
+            db_name='达摩盘3',
+            table_name='店铺deeplink人群洞察',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
+        if not self.update_service:
+            return
+        set_typ = {
+            '日期': 'date',
+            '人群类型': 'varchar(100)',
+            '店铺名称': 'varchar(100)',
+            '人群规模': 'int',
+            '人均成交价值': 'decimal(10, 4)',
+            'datatype': 'varchar(100)',
+            '人群总计': 'int',
+            '广告触达占比': 'decimal(12, 4)',
+            '广告投入金额': 'decimal(12, 2)',
+            'touchcharge': 'decimal(12, 2)',
+            '人群占比': 'decimal(12, 4)',
+            '长周期roi': 'decimal(12, 4)',
+            '支付买家数': 'int',
+            '成交笔数': 'int',
+            '成交金额': 'decimal(13, 2)',
+            '触达人数': 'int',
+            '长周期成交价值': 'decimal(13, 2)',
+            '达摩盘id': 'int',
+        }
+        min_date = df['日期'].min()
+        max_date = df['日期'].max()
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        return True
+
     @try_except
     def dmp_crowd(self, db_name='聚合数据', table_name='达摩盘_人群报表'):
         start_date, end_date = self.months_data(num=self.months)
@@ -2393,17 +2445,6 @@ class MysqlDatasQuery:
         pic = [item['数据主体'] for item in self.pf_datas if item['集合名称'] == '商品id图片对照表'][0]
         cost = [item['数据主体'] for item in self.pf_datas if item['集合名称'] == '商品成本'][0]
 
-        # pic['商品id'] = pic['商品id'].astype(str)
-        # # 1.  id 编码表合并图片表
-        # df = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')
-        # df = df[['宝贝id', '商家编码', '商品图片']]
-        # # 2.  df 合并商品成本表
-        # df = pd.merge(df, cost, how='left', left_on='商家编码', right_on='款号')
-        # df = df[['宝贝id', '商家编码', '商品图片', '成本价']]
-        # # 3.  推广表合并 df
-        # df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')
-        # df.drop(labels='宝贝id', axis=1, inplace=True)
-
         # 由于推广表之前根据场景、营销渠道等聚合的，这里不含这些字段所以要进一步聚合
         tg = tg.groupby(
             ['日期', '店铺名称', '商品id'],
@@ -2414,7 +2455,6 @@ class MysqlDatasQuery:
                 '直接成交金额': ('直接成交金额', np.sum),
             }
         )
-        syj.to_csv('/Users/xigua/Downloads/ddd.csv', index=False, header=True, encoding='utf-8_sig')
         # 4.  生意经，推广表聚合
         if bb_tg is True:
             # 生意经合并推广表，完整的数据表，包含全店所有推广、销售数据
@@ -2463,6 +2503,7 @@ class MysqlDatasQuery:
         df['商品毛利'] = df.apply(lambda x: x['销售额'] - x['商品成本'], axis=1)
         df['毛利率'] = df.apply(lambda x: round((x['销售额'] - x['商品成本']) / x['销售额'], 4) if x['销售额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2575,6 +2616,7 @@ class MysqlDatasQuery:
                 '自然流量曝光量': int,
         }
         )
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2648,7 +2690,7 @@ class MysqlDatasQuery:
         df['毛利率'] = df.apply(
             lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
-        # print(df.info())
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '跟单sku_id': 'bigint',
@@ -2717,6 +2759,17 @@ def date_table():
         host=host,
         port=port,
     )
+    set_typ = {
+        '日期': 'date',
+        '年': 'varchar(50)',
+        '月': 'varchar(50)',
+        '日': 'int',
+        '年月': 'varchar(50)',
+        '月日': 'varchar(50)',
+        '第n周': 'varchar(50)',
+        '索引': 'int',
+        '月索引': 'int',
+    }
     m.df_to_mysql(
         df=df,
         db_name='聚合数据',
@@ -2726,7 +2779,7 @@ def date_table():
         drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
         count=None,
         filename=None,  # 用来追踪处理进度
-        set_typ={},
+        set_typ=set_typ,
     )
 
 
@@ -2750,7 +2803,7 @@ def main(days=100, months=3):
     )
 
     # 3. 数据聚合
-    query_(months=3)
+    query_(months=months)
     time.sleep(60)
 
     # 4. 清理聚合数据
@@ -2790,6 +2843,7 @@ def query_(months=1, less_dict=[]):
     sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
     sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
     sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
     sdq.performance(bb_tg=True, db_name='聚合数据', table_name='_全店商品销售')  # _全店商品销售
     sdq.performance(bb_tg=False, db_name='聚合数据', table_name='_推广商品销售')  # _推广商品销售
     sdq.performance_jd(jd_tg=False, db_name='聚合数据', table_name='_京东_推广商品销售')  # _推广商品销售
@@ -2798,5 +2852,12 @@ def query_(months=1, less_dict=[]):
 
 if __name__ == '__main__':
     main(days=100, months=3)
-
-    # query_(months=1)
+    # query_(months=13)
+
+    # # 4. 清理聚合数据
+    # optimize_data.op_data(
+    #     db_name_lists=['聚合数据'],
+    #     days=40,
+    #     is_mongo=False,
+    #     is_mysql=True,
+    # )

{mdbq-2.9.9 → mdbq-3.0.1}/mdbq/mysql/mysql.py

@@ -6,19 +6,13 @@ import re
 import time
 from functools import wraps
 import warnings
-from unittest.mock import inplace
-
 import pymysql
 import numpy as np
 import pandas as pd
-from markdown_it.rules_inline.backticks import regex
 from sqlalchemy import create_engine
 import os
 import calendar
 from mdbq.config import myconfig
-from mdbq.config import set_support
-from mdbq.dataframe import converter
-from mdbq.aggregation import mysql_types
 
 warnings.filterwarnings('ignore')
 """

{mdbq-2.9.9 → mdbq-3.0.1}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.9.9
+Version: 3.0.1
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.9.9 → mdbq-3.0.1}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.9.9',
+      version='3.0.1',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',