mdbq 3.0.0__tar.gz → 3.0.1__tar.gz

{mdbq-3.0.0 → mdbq-3.0.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.0
+Version: 3.0.1
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.0 → mdbq-3.0.1}/mdbq/aggregation/query_data.py

@@ -1975,6 +1975,58 @@ class MysqlDatasQuery:
         )
         return True
 
+    def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {}
+        df = self.download.data_to_df(
+            db_name='达摩盘3',
+            table_name='店铺deeplink人群洞察',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df.drop_duplicates(subset=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], keep='last', inplace=True, ignore_index=True)
+        if not self.update_service:
+            return
+        set_typ = {
+            '日期': 'date',
+            '人群类型': 'varchar(100)',
+            '店铺名称': 'varchar(100)',
+            '人群规模': 'int',
+            '人均成交价值': 'decimal(10, 4)',
+            'datatype': 'varchar(100)',
+            '人群总计': 'int',
+            '广告触达占比': 'decimal(12, 4)',
+            '广告投入金额': 'decimal(12, 2)',
+            'touchcharge': 'decimal(12, 2)',
+            '人群占比': 'decimal(12, 4)',
+            '长周期roi': 'decimal(12, 4)',
+            '支付买家数': 'int',
+            '成交笔数': 'int',
+            '成交金额': 'decimal(13, 2)',
+            '触达人数': 'int',
+            '长周期成交价值': 'decimal(13, 2)',
+            '达摩盘id': 'int',
+        }
+        min_date = df['日期'].min()
+        max_date = df['日期'].max()
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        return True
+
     @try_except
     def dmp_crowd(self, db_name='聚合数据', table_name='达摩盘_人群报表'):
         start_date, end_date = self.months_data(num=self.months)
@@ -2791,6 +2843,7 @@ def query_(months=1, less_dict=[]):
     sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
     sdq.aikucun_bd_spu(db_name='聚合数据', table_name='爱库存_商品spu榜单')
     sdq.dmp_crowd(db_name='聚合数据', table_name='达摩盘_人群报表')
+    sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
     sdq.performance(bb_tg=True, db_name='聚合数据', table_name='_全店商品销售')  # _全店商品销售
     sdq.performance(bb_tg=False, db_name='聚合数据', table_name='_推广商品销售')  # _推广商品销售
     sdq.performance_jd(jd_tg=False, db_name='聚合数据', table_name='_京东_推广商品销售')  # _推广商品销售
@@ -2798,5 +2851,13 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    # main(days=100, months=3)
-    query_(months=1)
+    main(days=100, months=3)
+    # query_(months=13)
+
+    # # 4. 清理聚合数据
+    # optimize_data.op_data(
+    #     db_name_lists=['聚合数据'],
+    #     days=40,
+    #     is_mongo=False,
+    #     is_mysql=True,
+    # )

{mdbq-3.0.0 → mdbq-3.0.1}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.0
+Version: 3.0.1
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.0 → mdbq-3.0.1}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='3.0.0',
+      version='3.0.1',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',