mdbq 3.0.3__py3-none-any.whl → 3.0.5__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (5) hide show
  1. mdbq/aggregation/query_data.py +41 -36
  2. {mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/METADATA +1 -1
  3. {mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/RECORD +5 -5
  4. {mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/WHEEL +0 -0
  5. {mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/top_level.txt +0 -0
mdbq/aggregation/query_data.py CHANGED
@@ -172,8 +172,8 @@ class MysqlDatasQuery:
172
172
  df=df,
173
173
  db_name=db_name,
174
174
  table_name=table_name,
175
- icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
176
- move_insert=False, # 先删除，再插入
175
+ # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
176
+ move_insert=True, # 先删除，再插入
177
177
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
178
178
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
179
179
  count=None,
@@ -309,8 +309,8 @@ class MysqlDatasQuery:
309
309
  df=df,
310
310
  db_name=db_name,
311
311
  table_name=table_name,
312
- icm_update=['日期', '宝贝id'], # 增量更新, 在聚合数据中使用，其他不要用
313
- move_insert=False, # 先删除，再插入
312
+ # icm_update=['日期', '宝贝id'], # 增量更新, 在聚合数据中使用，其他不要用
313
+ move_insert=True, # 先删除，再插入
314
314
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
315
315
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
316
316
  count=None,
@@ -493,8 +493,8 @@ class MysqlDatasQuery:
493
493
  df=df,
494
494
  db_name=db_name,
495
495
  table_name=table_name,
496
- icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'], # 增量更新, 在聚合数据中使用，其他不要用
497
- move_insert=False, # 先删除，再插入
496
+ # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'], # 增量更新, 在聚合数据中使用，其他不要用
497
+ move_insert=True, # 先删除，再插入
498
498
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
499
499
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
500
500
  count=None,
@@ -623,8 +623,8 @@ class MysqlDatasQuery:
623
623
  df=df,
624
624
  db_name=db_name,
625
625
  table_name=table_name,
626
- icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',], # 增量更新, 在聚合数据中使用，其他不要用
627
- move_insert=False, # 先删除，再插入
626
+ # icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',], # 增量更新, 在聚合数据中使用，其他不要用
627
+ move_insert=True, # 先删除，再插入
628
628
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
629
629
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
630
630
  count=None,
@@ -742,8 +742,8 @@ class MysqlDatasQuery:
742
742
  df=df,
743
743
  db_name=db_name,
744
744
  table_name=table_name,
745
- icm_update=['日期', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
746
- move_insert=False, # 先删除，再插入
745
+ # icm_update=['日期', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
746
+ move_insert=True, # 先删除，再插入
747
747
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
748
748
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
749
749
  count=None,
@@ -850,8 +850,8 @@ class MysqlDatasQuery:
850
850
  df=df,
851
851
  db_name=db_name,
852
852
  table_name=table_name,
853
- icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
854
- move_insert=False, # 先删除，再插入
853
+ # icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
854
+ move_insert=True, # 先删除，再插入
855
855
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
856
856
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
857
857
  count=None,
@@ -1045,8 +1045,8 @@ class MysqlDatasQuery:
1045
1045
  df=df,
1046
1046
  db_name=db_name,
1047
1047
  table_name=table_name,
1048
- icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'], # 增量更新, 在聚合数据中使用，其他不要用
1049
- move_insert=False, # 先删除，再插入
1048
+ # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'], # 增量更新, 在聚合数据中使用，其他不要用
1049
+ move_insert=True, # 先删除，再插入
1050
1050
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1051
1051
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1052
1052
  count=None,
@@ -1177,8 +1177,8 @@ class MysqlDatasQuery:
1177
1177
  df=df,
1178
1178
  db_name=db_name,
1179
1179
  table_name=table_name,
1180
- icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ], # 增量更新, 在聚合数据中使用，其他不要用
1181
- move_insert=False, # 先删除，再插入
1180
+ # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ], # 增量更新, 在聚合数据中使用，其他不要用
1181
+ move_insert=True, # 先删除，再插入
1182
1182
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1183
1183
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1184
1184
  count=None,
@@ -1244,8 +1244,8 @@ class MysqlDatasQuery:
1244
1244
  df=df,
1245
1245
  db_name=db_name,
1246
1246
  table_name=table_name,
1247
- icm_update=['日期', '产品线', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
1248
- move_insert=False, # 先删除，再插入
1247
+ # icm_update=['日期', '产品线', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
1248
+ move_insert=True, # 先删除，再插入
1249
1249
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1250
1250
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1251
1251
  count=None,
@@ -1342,8 +1342,8 @@ class MysqlDatasQuery:
1342
1342
  df=df,
1343
1343
  db_name=db_name,
1344
1344
  table_name=table_name,
1345
- icm_update=['日期', '产品线', '搜索词', '关键词', '展现数', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
1346
- move_insert=False, # 先删除，再插入
1345
+ # icm_update=['日期', '产品线', '搜索词', '关键词', '展现数', '花费'], # 增量更新, 在聚合数据中使用，其他不要用
1346
+ move_insert=True, # 先删除，再插入
1347
1347
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1348
1348
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1349
1349
  count=None,
@@ -1412,8 +1412,8 @@ class MysqlDatasQuery:
1412
1412
  df=df,
1413
1413
  db_name=db_name,
1414
1414
  table_name=table_name,
1415
- icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用，其他不要用
1416
- move_insert=False, # 先删除，再插入
1415
+ # icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用，其他不要用
1416
+ move_insert=True, # 先删除，再插入
1417
1417
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1418
1418
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1419
1419
  count=None,
@@ -1474,8 +1474,8 @@ class MysqlDatasQuery:
1474
1474
  df=df,
1475
1475
  db_name=db_name,
1476
1476
  table_name=table_name,
1477
- icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用，其他不要用
1478
- move_insert=False, # 先删除，再插入
1477
+ # icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用，其他不要用
1478
+ move_insert=True, # 先删除，再插入
1479
1479
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1480
1480
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1481
1481
  count=None,
@@ -1554,8 +1554,8 @@ class MysqlDatasQuery:
1554
1554
  df=df,
1555
1555
  db_name=db_name,
1556
1556
  table_name=table_name,
1557
- icm_update=['日期', '店铺名称', '词类型', '搜索词'], # 增量更新, 在聚合数据中使用，其他不要用
1558
- move_insert=False, # 先删除，再插入
1557
+ # icm_update=['日期', '店铺名称', '词类型', '搜索词'], # 增量更新, 在聚合数据中使用，其他不要用
1558
+ move_insert=True, # 先删除，再插入
1559
1559
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1560
1560
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
1561
1561
  count=None,
@@ -1813,9 +1813,9 @@ class MysqlDatasQuery:
1813
1813
  **{
1814
1814
  '展现量': ('展现量', np.sum),
1815
1815
  '点击量': ('点击量', np.sum),
1816
- '加购量': ('总购物车数', np.sum),
1817
- '成交笔数': ('总成交笔数', np.sum),
1818
- '成交金额': ('总成交金额', np.sum)
1816
+ '加购量': ('加购量', np.sum),
1817
+ '成交笔数': ('成交笔数', np.sum),
1818
+ '成交金额': ('成交金额', np.sum)
1819
1819
  }
1820
1820
  )
1821
1821
  df_tb_qzt['营销场景'] = '全站推广'
@@ -2000,8 +2000,8 @@ class MysqlDatasQuery:
2000
2000
  df=df,
2001
2001
  db_name=db_name,
2002
2002
  table_name=table_name,
2003
- icm_update=[], # 增量更新, 在聚合数据中使用，其他不要用
2004
- move_insert=False, # 先删除，再插入
2003
+ # icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'], # 增量更新, 在聚合数据中使用，其他不要用
2004
+ move_insert=True, # 先删除，再插入
2005
2005
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
2006
2006
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
2007
2007
  count=None,
@@ -2086,7 +2086,7 @@ class MysqlDatasQuery:
2086
2086
  db_name=db_name,
2087
2087
  table_name=table_name,
2088
2088
  icm_update=[], # 增量更新, 在聚合数据中使用，其他不要用
2089
- move_insert=False, # 先删除，再插入
2089
+ move_insert=True, # 先删除，再插入
2090
2090
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
2091
2091
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
2092
2092
  count=None,
@@ -2138,7 +2138,7 @@ class MysqlDatasQuery:
2138
2138
  df=df,
2139
2139
  db_name=db_name,
2140
2140
  table_name=table_name,
2141
- icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], # 增量更新, 在聚合数据中使用，其他不要用
2141
+ # icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], # 增量更新, 在聚合数据中使用，其他不要用
2142
2142
  move_insert=True, # 先删除，再插入
2143
2143
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
2144
2144
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
@@ -2247,7 +2247,7 @@ class MysqlDatasQuery:
2247
2247
  db_name=db_name,
2248
2248
  table_name=table_name,
2249
2249
  icm_update=[], # 增量更新, 在聚合数据中使用，其他不要用
2250
- move_insert=False, # 先删除，再插入
2250
+ move_insert=True, # 先删除，再插入
2251
2251
  df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
2252
2252
  drop_duplicates=False, # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
2253
2253
  count=None,
@@ -2979,13 +2979,18 @@ def query_(months=1, less_dict=[]):
2979
2979
 
2980
2980
 
2981
2981
  if __name__ == '__main__':
2982
- main(days=130, months=3)
2982
+ # main(days=130, months=3)
2983
2983
  # query_(months=1)
2984
2984
 
2985
2985
  # # 4. 清理聚合数据
2986
2986
  # optimize_data.op_data(
2987
2987
  # db_name_lists=['聚合数据'],
2988
- # days=100,
2988
+ # days=200,
2989
2989
  # is_mongo=False,
2990
2990
  # is_mysql=True,
2991
2991
  # )
2992
+
2993
+ sdq = MysqlDatasQuery() # 实例化数据处理类
2994
+ sdq.months = 6 # 设置数据周期， 1 表示近 2 个月
2995
+ sdq.update_service = True # 调试时加，true: 将数据写入 mysql 服务器
2996
+ sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')
{mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/METADATA RENAMED
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: mdbq
3
- Version: 3.0.3
3
+ Version: 3.0.5
4
4
  Home-page: https://pypi.org/project/mdbq
5
5
  Author: xigua,
6
6
  Author-email: 2587125111@qq.com
{mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/RECORD RENAMED
@@ -5,7 +5,7 @@ mdbq/aggregation/aggregation.py,sha256=mAa4JDFsFRzsM_dFZAkNr_madBB4Ct27-5hDU-21p
5
5
  mdbq/aggregation/df_types.py,sha256=U9i3q2eRPTDY8qAPTw7irzu-Tlg4CIySW9uYro81wdk,8125
6
6
  mdbq/aggregation/mysql_types.py,sha256=YTGyrF9vcRgfkQbpT-e-JdJ7c7VF1dDHgyx9YZRES8w,10934
7
7
  mdbq/aggregation/optimize_data.py,sha256=79uwiM2WqNNFxGpE2wKz742PRq-ZGgFjdOV0vgptHdY,3513
8
- mdbq/aggregation/query_data.py,sha256=zpjxirAf8T4WUfkPIrBzDLVp7ojssViopGUPeORxS9o,132599
8
+ mdbq/aggregation/query_data.py,sha256=yjWmbhEA53i2Tm-pV8NRccuUmqU6HAeX8l3QUP3bERw,132978
9
9
  mdbq/aggregation/query_data_bak.py,sha256=r1FU0C4zjXln7oVSrRkElh4Ehl-9mYhGcq57jLbViUA,104071
10
10
  mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
11
11
  mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
@@ -44,7 +44,7 @@ mdbq/req_post/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
44
44
  mdbq/req_post/req_tb.py,sha256=qg7pet73IgKGmCwxaeUyImJIoeK_pBQT9BBKD7fkBNg,36160
45
45
  mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
46
46
  mdbq/spider/aikucun.py,sha256=01qJo_Di5Kmi2lG5_HKb0OI283b1-Pgqh-nnA0pX4TY,19038
47
- mdbq-3.0.3.dist-info/METADATA,sha256=XjPWfGSiF-THV8JDaOyOqGHhmM9eBYV-dSxtAXB00V8,243
48
- mdbq-3.0.3.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
49
- mdbq-3.0.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
50
- mdbq-3.0.3.dist-info/RECORD,,
47
+ mdbq-3.0.5.dist-info/METADATA,sha256=fA2vV6_FSk6FvR0-Ixr9GraLb7qiDqhUlRWlOKUBbDg,243
48
+ mdbq-3.0.5.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
49
+ mdbq-3.0.5.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
50
+ mdbq-3.0.5.dist-info/RECORD,,
{mdbq-3.0.3.dist-info → mdbq-3.0.5.dist-info}/WHEEL RENAMED
File without changes