mdbq 3.6.23__py3-none-any.whl → 3.7.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- mdbq/aggregation/optimize_data.py +1 -18
- mdbq/aggregation/query_data.py +1 -435
- mdbq/config/default.py +14 -6
- mdbq/config/myconfig.py +3 -1
- mdbq/config/products.py +1 -13
- mdbq/other/download_sku_picture.py +1 -18
- mdbq/redis/getredis.py +2 -28
- mdbq/spider/aikucun.py +1 -57
- {mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/METADATA +1 -1
- {mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/RECORD +12 -12
- {mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/WHEEL +0 -0
- {mdbq-3.6.23.dist-info → mdbq-3.7.0.dist-info}/top_level.txt +0 -0
@@ -1,7 +1,6 @@
|
|
1
1
|
# -*- coding: UTF-8 –*-
|
2
2
|
from mdbq.mongo import mongo
|
3
3
|
from mdbq.mysql import mysql
|
4
|
-
# from mdbq.config import myconfig
|
5
4
|
from mdbq.config import default
|
6
5
|
import socket
|
7
6
|
import subprocess
|
@@ -12,23 +11,7 @@ import logging
|
|
12
11
|
"""
|
13
12
|
对指定数据库所有冗余数据进行清理
|
14
13
|
"""
|
15
|
-
m_engine,
|
16
|
-
# username, password, host, port, service_database = None, None, None, None, None,
|
17
|
-
# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
|
18
|
-
# conf = myconfig.main()
|
19
|
-
# data = conf['Windows']['xigua_lx']['mysql']['local']
|
20
|
-
# username, password, host, port = data['username'], data['password'], data['host'], data['port']
|
21
|
-
# service_database = {'xigua_lx': 'mysql'}
|
22
|
-
# elif socket.gethostname() in ['company', 'Mac2.local']:
|
23
|
-
# conf = myconfig.main()
|
24
|
-
# data = conf['Windows']['company']['mysql']['local']
|
25
|
-
# username, password, host, port = data['username'], data['password'], data['host'], data['port']
|
26
|
-
# service_database = {'company': 'mysql'}
|
27
|
-
# elif socket.gethostname() == 'xigua_ts':
|
28
|
-
# conf = myconfig.main()
|
29
|
-
# data = conf['Windows']['xigua_ts']['mysql']['remoto']
|
30
|
-
# username, password, host, port = data['username'], data['password'], data['host'], data['port']
|
31
|
-
# service_database = {'xigua_ts': 'mysql'}
|
14
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
32
15
|
if not username:
|
33
16
|
logger.info(f'找不到主机:')
|
34
17
|
|
mdbq/aggregation/query_data.py
CHANGED
@@ -4,7 +4,6 @@ import socket
|
|
4
4
|
from mdbq.mysql import mysql
|
5
5
|
from mdbq.mysql import s_query
|
6
6
|
from mdbq.aggregation import optimize_data
|
7
|
-
from mdbq.config import myconfig
|
8
7
|
from mdbq.config import products
|
9
8
|
from mdbq.config import set_support
|
10
9
|
from mdbq.config import default
|
@@ -27,8 +26,7 @@ import logging
|
|
27
26
|
|
28
27
|
"""
|
29
28
|
error_file = os.path.join(set_support.SetSupport(dirname='support').dirname, 'error.log')
|
30
|
-
m_engine,
|
31
|
-
|
29
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
32
30
|
logger = logging.getLogger(__name__)
|
33
31
|
|
34
32
|
|
@@ -186,19 +184,6 @@ class MysqlDatasQuery:
|
|
186
184
|
reset_id=True, # 是否重置自增列
|
187
185
|
set_typ=set_typ,
|
188
186
|
)
|
189
|
-
company_engine.df_to_mysql(
|
190
|
-
df=df,
|
191
|
-
db_name=db_name,
|
192
|
-
table_name=table_name,
|
193
|
-
# icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
194
|
-
move_insert=True, # 先删除,再插入
|
195
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
196
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
197
|
-
count=None,
|
198
|
-
filename=None, # 用来追踪处理进度
|
199
|
-
reset_id=True, # 是否重置自增列
|
200
|
-
set_typ=set_typ,
|
201
|
-
)
|
202
187
|
|
203
188
|
# df_pic:商品排序索引表, 给 powerbi 中的主推款排序用的,(从上月1号到今天的总花费进行排序)
|
204
189
|
today = datetime.date.today()
|
@@ -247,19 +232,6 @@ class MysqlDatasQuery:
|
|
247
232
|
reset_id=False, # 是否重置自增列
|
248
233
|
set_typ=set_typ,
|
249
234
|
)
|
250
|
-
company_engine.df_to_mysql(
|
251
|
-
df=df_pic,
|
252
|
-
db_name='属性设置3',
|
253
|
-
table_name='商品索引表_主推排序调用',
|
254
|
-
icm_update=['商品id'], # 增量更新, 在聚合数据中使用,其他不要用
|
255
|
-
move_insert=False, # 先删除,再插入
|
256
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
257
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
258
|
-
count=None,
|
259
|
-
filename=None, # 用来追踪处理进度
|
260
|
-
reset_id=False, # 是否重置自增列
|
261
|
-
set_typ=set_typ,
|
262
|
-
)
|
263
235
|
return True
|
264
236
|
|
265
237
|
def _tb_wxt(self, db_name='聚合数据', table_name='淘宝_主体报表', is_maximize=True):
|
@@ -371,19 +343,6 @@ class MysqlDatasQuery:
|
|
371
343
|
reset_id=True, # 是否重置自增列
|
372
344
|
set_typ=set_typ,
|
373
345
|
)
|
374
|
-
company_engine.df_to_mysql(
|
375
|
-
df=df,
|
376
|
-
db_name=db_name,
|
377
|
-
table_name=table_name,
|
378
|
-
# icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
379
|
-
move_insert=True, # 先删除,再插入
|
380
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
381
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
382
|
-
count=None,
|
383
|
-
filename=None, # 用来追踪处理进度
|
384
|
-
reset_id=True, # 是否重置自增列
|
385
|
-
set_typ=set_typ,
|
386
|
-
)
|
387
346
|
return True
|
388
347
|
|
389
348
|
def _ald_wxt(self, db_name='聚合数据', table_name='奥莱店_主体报表', is_maximize=True):
|
@@ -495,19 +454,6 @@ class MysqlDatasQuery:
|
|
495
454
|
reset_id=True, # 是否重置自增列
|
496
455
|
set_typ=set_typ,
|
497
456
|
)
|
498
|
-
company_engine.df_to_mysql(
|
499
|
-
df=df,
|
500
|
-
db_name=db_name,
|
501
|
-
table_name=table_name,
|
502
|
-
# icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
503
|
-
move_insert=True, # 先删除,再插入
|
504
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
505
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
506
|
-
count=None,
|
507
|
-
filename=None, # 用来追踪处理进度
|
508
|
-
reset_id=True, # 是否重置自增列
|
509
|
-
set_typ=set_typ,
|
510
|
-
)
|
511
457
|
return True
|
512
458
|
|
513
459
|
@try_except
|
@@ -605,19 +551,6 @@ class MysqlDatasQuery:
|
|
605
551
|
reset_id=True, # 是否重置自增列
|
606
552
|
set_typ=set_typ,
|
607
553
|
)
|
608
|
-
company_engine.df_to_mysql(
|
609
|
-
df=df,
|
610
|
-
db_name=db_name,
|
611
|
-
table_name=table_name,
|
612
|
-
# icm_update=['日期', '宝贝id'], # 增量更新, 在聚合数据中使用,其他不要用
|
613
|
-
move_insert=True, # 先删除,再插入
|
614
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
615
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
616
|
-
count=None,
|
617
|
-
filename=None, # 用来追踪处理进度
|
618
|
-
reset_id=True, # 是否重置自增列
|
619
|
-
set_typ=set_typ,
|
620
|
-
)
|
621
554
|
return True
|
622
555
|
|
623
556
|
@try_except
|
@@ -837,19 +770,6 @@ class MysqlDatasQuery:
|
|
837
770
|
reset_id=True, # 是否重置自增列
|
838
771
|
set_typ=set_typ,
|
839
772
|
)
|
840
|
-
company_engine.df_to_mysql(
|
841
|
-
df=df,
|
842
|
-
db_name=db_name,
|
843
|
-
table_name=table_name,
|
844
|
-
# icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '人群名字'], # 增量更新, 在聚合数据中使用,其他不要用
|
845
|
-
move_insert=True, # 先删除,再插入
|
846
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
847
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
848
|
-
count=None,
|
849
|
-
filename=None, # 用来追踪处理进度
|
850
|
-
reset_id=True, # 是否重置自增列
|
851
|
-
set_typ=set_typ,
|
852
|
-
)
|
853
773
|
return True
|
854
774
|
|
855
775
|
@try_except
|
@@ -986,19 +906,6 @@ class MysqlDatasQuery:
|
|
986
906
|
reset_id=True, # 是否重置自增列
|
987
907
|
set_typ=set_typ,
|
988
908
|
)
|
989
|
-
company_engine.df_to_mysql(
|
990
|
-
df=df,
|
991
|
-
db_name=db_name,
|
992
|
-
table_name=table_name,
|
993
|
-
# icm_update=['日期', '推广渠道', '营销场景', '商品id', '花费', '词类型', '词名字_词包名字',], # 增量更新, 在聚合数据中使用,其他不要用
|
994
|
-
move_insert=True, # 先删除,再插入
|
995
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
996
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
997
|
-
count=None,
|
998
|
-
filename=None, # 用来追踪处理进度
|
999
|
-
reset_id=True, # 是否重置自增列
|
1000
|
-
set_typ=set_typ,
|
1001
|
-
)
|
1002
909
|
return True
|
1003
910
|
|
1004
911
|
@try_except
|
@@ -1124,19 +1031,6 @@ class MysqlDatasQuery:
|
|
1124
1031
|
reset_id=True, # 是否重置自增列
|
1125
1032
|
set_typ=set_typ,
|
1126
1033
|
)
|
1127
|
-
company_engine.df_to_mysql(
|
1128
|
-
df=df,
|
1129
|
-
db_name=db_name,
|
1130
|
-
table_name=table_name,
|
1131
|
-
# icm_update=['日期', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
1132
|
-
move_insert=True, # 先删除,再插入
|
1133
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1134
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1135
|
-
count=None,
|
1136
|
-
filename=None, # 用来追踪处理进度
|
1137
|
-
reset_id=True, # 是否重置自增列
|
1138
|
-
set_typ=set_typ,
|
1139
|
-
)
|
1140
1034
|
return True
|
1141
1035
|
|
1142
1036
|
@try_except
|
@@ -1250,19 +1144,6 @@ class MysqlDatasQuery:
|
|
1250
1144
|
reset_id=True, # 是否重置自增列
|
1251
1145
|
set_typ=set_typ,
|
1252
1146
|
)
|
1253
|
-
company_engine.df_to_mysql(
|
1254
|
-
df=df,
|
1255
|
-
db_name=db_name,
|
1256
|
-
table_name=table_name,
|
1257
|
-
# icm_update=['日期', '报表类型', '推广渠道', '营销场景', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
1258
|
-
move_insert=True, # 先删除,再插入
|
1259
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1260
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1261
|
-
count=None,
|
1262
|
-
filename=None, # 用来追踪处理进度
|
1263
|
-
reset_id=True, # 是否重置自增列
|
1264
|
-
set_typ=set_typ,
|
1265
|
-
)
|
1266
1147
|
return True
|
1267
1148
|
|
1268
1149
|
@try_except
|
@@ -1320,19 +1201,6 @@ class MysqlDatasQuery:
|
|
1320
1201
|
reset_id=True, # 是否重置自增列
|
1321
1202
|
set_typ=set_typ,
|
1322
1203
|
)
|
1323
|
-
company_engine.df_to_mysql(
|
1324
|
-
df=df,
|
1325
|
-
db_name=db_name,
|
1326
|
-
table_name=table_name,
|
1327
|
-
icm_update=['宝贝id'], # 增量更新, 在聚合数据中使用,其他不要用
|
1328
|
-
move_insert=False, # 先删除,再插入
|
1329
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1330
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1331
|
-
count=None,
|
1332
|
-
filename=None, # 用来追踪处理进度
|
1333
|
-
reset_id=True, # 是否重置自增列
|
1334
|
-
set_typ=set_typ,
|
1335
|
-
)
|
1336
1204
|
return True
|
1337
1205
|
|
1338
1206
|
@try_except
|
@@ -1390,19 +1258,6 @@ class MysqlDatasQuery:
|
|
1390
1258
|
reset_id=False, # 是否重置自增列
|
1391
1259
|
set_typ=set_typ,
|
1392
1260
|
)
|
1393
|
-
company_engine.df_to_mysql(
|
1394
|
-
df=df,
|
1395
|
-
db_name=db_name,
|
1396
|
-
table_name=table_name,
|
1397
|
-
icm_update=['商品id'], # 增量更新, 在聚合数据中使用,其他不要用
|
1398
|
-
move_insert=False, # 先删除,再插入
|
1399
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1400
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1401
|
-
count=None,
|
1402
|
-
filename=None, # 用来追踪处理进度
|
1403
|
-
reset_id=False, # 是否重置自增列
|
1404
|
-
set_typ=set_typ,
|
1405
|
-
)
|
1406
1261
|
return True
|
1407
1262
|
|
1408
1263
|
def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
|
@@ -1467,19 +1322,6 @@ class MysqlDatasQuery:
|
|
1467
1322
|
reset_id=True, # 是否重置自增列
|
1468
1323
|
set_typ=set_typ,
|
1469
1324
|
)
|
1470
|
-
company_engine.df_to_mysql(
|
1471
|
-
df=df,
|
1472
|
-
db_name=db_name,
|
1473
|
-
table_name=table_name,
|
1474
|
-
# icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'], # 增量更新, 在聚合数据中使用,其他不要用
|
1475
|
-
move_insert=True, # 先删除,再插入
|
1476
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1477
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1478
|
-
count=None,
|
1479
|
-
filename=None, # 用来追踪处理进度
|
1480
|
-
reset_id=True, # 是否重置自增列
|
1481
|
-
set_typ=set_typ,
|
1482
|
-
)
|
1483
1325
|
|
1484
1326
|
|
1485
1327
|
def spph(self, db_name='聚合数据', table_name='天猫_商品排行'):
|
@@ -1603,19 +1445,6 @@ class MysqlDatasQuery:
|
|
1603
1445
|
reset_id=True, # 是否重置自增列
|
1604
1446
|
set_typ=set_typ,
|
1605
1447
|
)
|
1606
|
-
company_engine.df_to_mysql(
|
1607
|
-
df=df,
|
1608
|
-
db_name=db_name,
|
1609
|
-
table_name=table_name,
|
1610
|
-
# icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'], # 增量更新, 在聚合数据中使用,其他不要用
|
1611
|
-
move_insert=True, # 先删除,再插入
|
1612
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1613
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1614
|
-
count=None,
|
1615
|
-
filename=None, # 用来追踪处理进度
|
1616
|
-
reset_id=True, # 是否重置自增列
|
1617
|
-
set_typ=set_typ,
|
1618
|
-
)
|
1619
1448
|
|
1620
1449
|
# @try_except
|
1621
1450
|
def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
|
@@ -1726,19 +1555,6 @@ class MysqlDatasQuery:
|
|
1726
1555
|
reset_id=True, # 是否重置自增列
|
1727
1556
|
set_typ=set_typ,
|
1728
1557
|
)
|
1729
|
-
company_engine.df_to_mysql(
|
1730
|
-
df=df,
|
1731
|
-
db_name=db_name,
|
1732
|
-
table_name=table_name,
|
1733
|
-
# icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'], # 增量更新, 在聚合数据中使用,其他不要用
|
1734
|
-
move_insert=True, # 先删除,再插入
|
1735
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1736
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1737
|
-
count=None,
|
1738
|
-
filename=None, # 用来追踪处理进度
|
1739
|
-
reset_id=True, # 是否重置自增列
|
1740
|
-
set_typ=set_typ,
|
1741
|
-
)
|
1742
1558
|
return True
|
1743
1559
|
|
1744
1560
|
@try_except
|
@@ -1786,19 +1602,6 @@ class MysqlDatasQuery:
|
|
1786
1602
|
reset_id=False, # 是否重置自增列
|
1787
1603
|
set_typ=set_typ,
|
1788
1604
|
)
|
1789
|
-
company_engine.df_to_mysql(
|
1790
|
-
df=df,
|
1791
|
-
db_name=db_name,
|
1792
|
-
table_name=table_name,
|
1793
|
-
icm_update=['款号'], # 增量更新, 在聚合数据中使用,其他不要用
|
1794
|
-
move_insert=False, # 先删除,再插入
|
1795
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1796
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1797
|
-
count=None,
|
1798
|
-
filename=None, # 用来追踪处理进度
|
1799
|
-
reset_id=False, # 是否重置自增列
|
1800
|
-
set_typ=set_typ,
|
1801
|
-
)
|
1802
1605
|
return True
|
1803
1606
|
|
1804
1607
|
# @try_except
|
@@ -1904,67 +1707,6 @@ class MysqlDatasQuery:
|
|
1904
1707
|
reset_id=True, # 是否重置自增列
|
1905
1708
|
set_typ=set_typ,
|
1906
1709
|
)
|
1907
|
-
company_engine.df_to_mysql(
|
1908
|
-
df=df,
|
1909
|
-
db_name=db_name,
|
1910
|
-
table_name=table_name,
|
1911
|
-
# icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ], # 增量更新, 在聚合数据中使用,其他不要用
|
1912
|
-
move_insert=True, # 先删除,再插入
|
1913
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1914
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1915
|
-
count=None,
|
1916
|
-
filename=None, # 用来追踪处理进度
|
1917
|
-
reset_id=True, # 是否重置自增列
|
1918
|
-
set_typ=set_typ,
|
1919
|
-
)
|
1920
|
-
|
1921
|
-
# # 按照 spu 聚合
|
1922
|
-
# df = df.groupby(
|
1923
|
-
# ['日期', '店铺名称', 'spu_id'],
|
1924
|
-
# as_index=False).agg(
|
1925
|
-
# **{
|
1926
|
-
# '花费': ('花费', np.sum),
|
1927
|
-
# '展现数': ('展现数', np.sum),
|
1928
|
-
# '点击数': ('点击数', np.sum),
|
1929
|
-
# '直接订单行': ('直接订单行', np.sum),
|
1930
|
-
# '直接订单金额': ('直接订单金额', np.sum),
|
1931
|
-
# '总订单行': ('总订单行', np.sum),
|
1932
|
-
# '总订单金额': ('总订单金额', np.sum),
|
1933
|
-
# '直接加购数': ('直接加购数', np.sum),
|
1934
|
-
# '总加购数': ('总加购数', np.sum),
|
1935
|
-
# }
|
1936
|
-
# )
|
1937
|
-
# min_date = df['日期'].min()
|
1938
|
-
# max_date = df['日期'].max()
|
1939
|
-
# now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
1940
|
-
# logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/京东_京准通_按spu -> {min_date}~{max_date}')
|
1941
|
-
# m_engine.df_to_mysql(
|
1942
|
-
# df=df,
|
1943
|
-
# db_name=db_name,
|
1944
|
-
# table_name='京东_京准通_按spu',
|
1945
|
-
# # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ], # 增量更新, 在聚合数据中使用,其他不要用
|
1946
|
-
# move_insert=True, # 先删除,再插入
|
1947
|
-
# df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1948
|
-
# drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1949
|
-
# count=None,
|
1950
|
-
# filename=None, # 用来追踪处理进度
|
1951
|
-
# reset_id=True, # 是否重置自增列
|
1952
|
-
# set_typ=set_typ
|
1953
|
-
# )
|
1954
|
-
# company_engine.df_to_mysql(
|
1955
|
-
# df=df,
|
1956
|
-
# db_name=db_name,
|
1957
|
-
# table_name='京东_京准通_按spu',
|
1958
|
-
# # icm_update=['日期', '产品线', '触发sku_id', '跟单sku_id', '花费', ], # 增量更新, 在聚合数据中使用,其他不要用
|
1959
|
-
# move_insert=True, # 先删除,再插入
|
1960
|
-
# df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1961
|
-
# drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1962
|
-
# count=None,
|
1963
|
-
# filename=None, # 用来追踪处理进度
|
1964
|
-
# reset_id=True, # 是否重置自增列
|
1965
|
-
# set_typ=set_typ
|
1966
|
-
# )
|
1967
|
-
|
1968
1710
|
return True
|
1969
1711
|
|
1970
1712
|
@try_except
|
@@ -2034,19 +1776,6 @@ class MysqlDatasQuery:
|
|
2034
1776
|
reset_id=True, # 是否重置自增列
|
2035
1777
|
set_typ=set_typ
|
2036
1778
|
)
|
2037
|
-
company_engine.df_to_mysql(
|
2038
|
-
df=df,
|
2039
|
-
db_name=db_name,
|
2040
|
-
table_name=table_name,
|
2041
|
-
# icm_update=['日期', '产品线', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
2042
|
-
move_insert=True, # 先删除,再插入
|
2043
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2044
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2045
|
-
count=None,
|
2046
|
-
filename=None, # 用来追踪处理进度
|
2047
|
-
reset_id=True, # 是否重置自增列
|
2048
|
-
set_typ=set_typ
|
2049
|
-
)
|
2050
1779
|
return True
|
2051
1780
|
|
2052
1781
|
@try_except
|
@@ -2148,19 +1877,6 @@ class MysqlDatasQuery:
|
|
2148
1877
|
reset_id=True, # 是否重置自增列
|
2149
1878
|
set_typ=set_typ
|
2150
1879
|
)
|
2151
|
-
company_engine.df_to_mysql(
|
2152
|
-
df=df,
|
2153
|
-
db_name=db_name,
|
2154
|
-
table_name=table_name,
|
2155
|
-
# icm_update=['日期', '产品线', '搜索词', '关键词', '展现数', '花费'], # 增量更新, 在聚合数据中使用,其他不要用
|
2156
|
-
move_insert=True, # 先删除,再插入
|
2157
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2158
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2159
|
-
count=None,
|
2160
|
-
filename=None, # 用来追踪处理进度
|
2161
|
-
reset_id=True, # 是否重置自增列
|
2162
|
-
set_typ=set_typ
|
2163
|
-
)
|
2164
1880
|
return True
|
2165
1881
|
|
2166
1882
|
@try_except
|
@@ -2240,19 +1956,6 @@ class MysqlDatasQuery:
|
|
2240
1956
|
reset_id=True, # 是否重置自增列
|
2241
1957
|
set_typ=set_typ,
|
2242
1958
|
)
|
2243
|
-
company_engine.df_to_mysql(
|
2244
|
-
df=df,
|
2245
|
-
db_name=db_name,
|
2246
|
-
table_name=table_name,
|
2247
|
-
# icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用,其他不要用
|
2248
|
-
move_insert=True, # 先删除,再插入
|
2249
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2250
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2251
|
-
count=None,
|
2252
|
-
filename=None, # 用来追踪处理进度
|
2253
|
-
reset_id=True, # 是否重置自增列
|
2254
|
-
set_typ=set_typ,
|
2255
|
-
)
|
2256
1959
|
return True
|
2257
1960
|
|
2258
1961
|
@try_except
|
@@ -2324,19 +2027,6 @@ class MysqlDatasQuery:
|
|
2324
2027
|
reset_id=True, # 是否重置自增列
|
2325
2028
|
set_typ=set_typ
|
2326
2029
|
)
|
2327
|
-
company_engine.df_to_mysql(
|
2328
|
-
df=df,
|
2329
|
-
db_name=db_name,
|
2330
|
-
table_name=table_name,
|
2331
|
-
# icm_update=['日期', '商品id', '成交单量'], # 增量更新, 在聚合数据中使用,其他不要用
|
2332
|
-
move_insert=True, # 先删除,再插入
|
2333
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2334
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2335
|
-
count=None,
|
2336
|
-
filename=None, # 用来追踪处理进度
|
2337
|
-
reset_id=True, # 是否重置自增列
|
2338
|
-
set_typ=set_typ
|
2339
|
-
)
|
2340
2030
|
return True
|
2341
2031
|
|
2342
2032
|
@staticmethod
|
@@ -2425,19 +2115,6 @@ class MysqlDatasQuery:
|
|
2425
2115
|
reset_id=True, # 是否重置自增列
|
2426
2116
|
set_typ=set_typ,
|
2427
2117
|
)
|
2428
|
-
company_engine.df_to_mysql(
|
2429
|
-
df=df,
|
2430
|
-
db_name=db_name,
|
2431
|
-
table_name=table_name,
|
2432
|
-
# icm_update=['日期', '店铺名称', '词类型', '搜索词'], # 增量更新, 在聚合数据中使用,其他不要用
|
2433
|
-
move_insert=True, # 先删除,再插入
|
2434
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2435
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2436
|
-
count=None,
|
2437
|
-
filename=None, # 用来追踪处理进度
|
2438
|
-
reset_id=True, # 是否重置自增列
|
2439
|
-
set_typ=set_typ,
|
2440
|
-
)
|
2441
2118
|
return True
|
2442
2119
|
|
2443
2120
|
@try_except
|
@@ -2610,15 +2287,6 @@ class MysqlDatasQuery:
|
|
2610
2287
|
main_key=None, # 指定索引列, 通常用日期列,默认会设置日期为索引
|
2611
2288
|
set_typ=set_typ, # 指定数据类型
|
2612
2289
|
)
|
2613
|
-
company_engine.insert_many_dict(
|
2614
|
-
db_name=db_name,
|
2615
|
-
table_name=table_name,
|
2616
|
-
dict_data_list=_results,
|
2617
|
-
unique_main_key=None,
|
2618
|
-
icm_update=['场次id'], # 唯一组合键
|
2619
|
-
main_key=None, # 指定索引列, 通常用日期列,默认会设置日期为索引
|
2620
|
-
set_typ=set_typ, # 指定数据类型
|
2621
|
-
)
|
2622
2290
|
return True
|
2623
2291
|
|
2624
2292
|
# @try_except
|
@@ -2978,19 +2646,6 @@ class MysqlDatasQuery:
|
|
2978
2646
|
reset_id=True, # 是否重置自增列
|
2979
2647
|
set_typ=set_typ
|
2980
2648
|
)
|
2981
|
-
company_engine.df_to_mysql(
|
2982
|
-
df=df,
|
2983
|
-
db_name=db_name,
|
2984
|
-
table_name=table_name,
|
2985
|
-
# icm_update=['日期', '店铺名称', '营销场景', '花费', '展现量', '点击量'], # 增量更新, 在聚合数据中使用,其他不要用
|
2986
|
-
move_insert=True, # 先删除,再插入
|
2987
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
2988
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
2989
|
-
count=None,
|
2990
|
-
filename=None, # 用来追踪处理进度
|
2991
|
-
reset_id=True, # 是否重置自增列
|
2992
|
-
set_typ=set_typ
|
2993
|
-
)
|
2994
2649
|
return True
|
2995
2650
|
|
2996
2651
|
@try_except
|
@@ -3081,19 +2736,6 @@ class MysqlDatasQuery:
|
|
3081
2736
|
reset_id=True, # 是否重置自增列
|
3082
2737
|
set_typ=set_typ
|
3083
2738
|
)
|
3084
|
-
company_engine.df_to_mysql(
|
3085
|
-
df=df,
|
3086
|
-
db_name=db_name,
|
3087
|
-
table_name=table_name,
|
3088
|
-
icm_update=[], # 增量更新, 在聚合数据中使用,其他不要用
|
3089
|
-
move_insert=True, # 先删除,再插入
|
3090
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3091
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3092
|
-
count=None,
|
3093
|
-
filename=None, # 用来追踪处理进度
|
3094
|
-
reset_id=True, # 是否重置自增列
|
3095
|
-
set_typ=set_typ
|
3096
|
-
)
|
3097
2739
|
return True
|
3098
2740
|
|
3099
2741
|
def deeplink(self, db_name='聚合数据', table_name='达摩盘_deeplink人群洞察'):
|
@@ -3146,19 +2788,6 @@ class MysqlDatasQuery:
|
|
3146
2788
|
reset_id=True, # 是否重置自增列
|
3147
2789
|
set_typ=set_typ
|
3148
2790
|
)
|
3149
|
-
company_engine.df_to_mysql(
|
3150
|
-
df=df,
|
3151
|
-
db_name=db_name,
|
3152
|
-
table_name=table_name,
|
3153
|
-
# icm_update=['日期', '人群类型', '店铺名称', '人群规模', '广告投入金额'], # 增量更新, 在聚合数据中使用,其他不要用
|
3154
|
-
move_insert=True, # 先删除,再插入
|
3155
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3156
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3157
|
-
count=None,
|
3158
|
-
filename=None, # 用来追踪处理进度
|
3159
|
-
reset_id=True, # 是否重置自增列
|
3160
|
-
set_typ=set_typ
|
3161
|
-
)
|
3162
2791
|
return True
|
3163
2792
|
|
3164
2793
|
# @try_except
|
@@ -3271,19 +2900,6 @@ class MysqlDatasQuery:
|
|
3271
2900
|
reset_id=True, # 是否重置自增列
|
3272
2901
|
set_typ=set_typ,
|
3273
2902
|
)
|
3274
|
-
company_engine.df_to_mysql(
|
3275
|
-
df=df,
|
3276
|
-
db_name=db_name,
|
3277
|
-
table_name=table_name,
|
3278
|
-
icm_update=[], # 增量更新, 在聚合数据中使用,其他不要用
|
3279
|
-
move_insert=True, # 先删除,再插入
|
3280
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3281
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3282
|
-
count=None,
|
3283
|
-
filename=None, # 用来追踪处理进度
|
3284
|
-
reset_id=True, # 是否重置自增列
|
3285
|
-
set_typ=set_typ,
|
3286
|
-
)
|
3287
2903
|
return True
|
3288
2904
|
|
3289
2905
|
@try_except
|
@@ -3696,19 +3312,6 @@ class MysqlDatasQuery:
|
|
3696
3312
|
reset_id=True, # 是否重置自增列
|
3697
3313
|
set_typ=set_typ,
|
3698
3314
|
)
|
3699
|
-
company_engine.df_to_mysql(
|
3700
|
-
df=df,
|
3701
|
-
db_name=db_name,
|
3702
|
-
table_name=table_name,
|
3703
|
-
icm_update=[], # 增量更新, 在聚合数据中使用,其他不要用
|
3704
|
-
move_insert=True, # 先删除,再插入
|
3705
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3706
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3707
|
-
count=None,
|
3708
|
-
filename=None, # 用来追踪处理进度
|
3709
|
-
reset_id=True, # 是否重置自增列
|
3710
|
-
set_typ=set_typ,
|
3711
|
-
)
|
3712
3315
|
return True
|
3713
3316
|
|
3714
3317
|
# @try_except
|
@@ -3819,19 +3422,6 @@ class MysqlDatasQuery:
|
|
3819
3422
|
reset_id=True, # 是否重置自增列
|
3820
3423
|
set_typ=set_typ,
|
3821
3424
|
)
|
3822
|
-
company_engine.df_to_mysql(
|
3823
|
-
df=df,
|
3824
|
-
db_name=db_name,
|
3825
|
-
table_name=table_name,
|
3826
|
-
icm_update=[], # 增量更新, 在聚合数据中使用,其他不要用
|
3827
|
-
move_insert=True, # 先删除,再插入
|
3828
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3829
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3830
|
-
count=None,
|
3831
|
-
filename=None, # 用来追踪处理进度
|
3832
|
-
reset_id=True, # 是否重置自增列
|
3833
|
-
set_typ=set_typ,
|
3834
|
-
)
|
3835
3425
|
return True
|
3836
3426
|
|
3837
3427
|
# @try_except
|
@@ -3903,19 +3493,6 @@ class MysqlDatasQuery:
|
|
3903
3493
|
reset_id=True, # 是否重置自增列
|
3904
3494
|
set_typ=set_typ,
|
3905
3495
|
)
|
3906
|
-
company_engine.df_to_mysql(
|
3907
|
-
df=df,
|
3908
|
-
db_name=db_name,
|
3909
|
-
table_name=table_name,
|
3910
|
-
icm_update=[], # 增量更新, 在聚合数据中使用,其他不要用
|
3911
|
-
move_insert=True, # 先删除,再插入
|
3912
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
3913
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
3914
|
-
count=None,
|
3915
|
-
filename=None, # 用来追踪处理进度
|
3916
|
-
reset_id=True, # 是否重置自增列
|
3917
|
-
set_typ=set_typ,
|
3918
|
-
)
|
3919
3496
|
return True
|
3920
3497
|
|
3921
3498
|
|
@@ -4016,17 +3593,6 @@ def date_table():
|
|
4016
3593
|
filename=None, # 用来追踪处理进度
|
4017
3594
|
set_typ=set_typ,
|
4018
3595
|
)
|
4019
|
-
company_engine.df_to_mysql(
|
4020
|
-
df=df,
|
4021
|
-
db_name='聚合数据',
|
4022
|
-
table_name='日期表',
|
4023
|
-
move_insert=True, # 先删除,再插入
|
4024
|
-
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
4025
|
-
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
4026
|
-
count=None,
|
4027
|
-
filename=None, # 用来追踪处理进度
|
4028
|
-
set_typ=set_typ,
|
4029
|
-
)
|
4030
3596
|
|
4031
3597
|
|
4032
3598
|
def query1(months=1, less_dict=[]):
|
mdbq/config/default.py
CHANGED
@@ -8,25 +8,30 @@ import logging
|
|
8
8
|
from mdbq.mysql import mysql
|
9
9
|
|
10
10
|
if platform.system() == 'Windows':
|
11
|
-
support_path = r'C
|
11
|
+
support_path = r'C:\数据中心2\support'
|
12
12
|
elif platform.system() == 'Darwin':
|
13
|
-
support_path = f'/Users/{getpass.getuser()}
|
13
|
+
support_path = f'/Users/{getpass.getuser()}/数据中心2/support'
|
14
14
|
else:
|
15
|
-
support_path = '
|
15
|
+
support_path = '数据中心2/support' # 没有用, 可以删
|
16
16
|
logger = logging.getLogger(__name__)
|
17
17
|
|
18
18
|
|
19
|
-
def get_mysql_engine(platform, hostname, sql, local, config_file=None):
|
19
|
+
def get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None):
|
20
20
|
if not config_file:
|
21
21
|
config_file = os.path.join(support_path, 'my_config.txt')
|
22
22
|
if not os.path.isfile(config_file):
|
23
23
|
print(f'缺少配置文件,无法读取配置文件: {config_file}')
|
24
24
|
return None
|
25
|
+
|
26
|
+
if socket.gethostname() == 'xigua_lx':
|
27
|
+
local = 'local'
|
28
|
+
|
25
29
|
with open(config_file, 'r', encoding='utf-8') as f:
|
26
30
|
conf = json.load(f)
|
27
31
|
conf_data = conf[platform][hostname][sql][local]
|
28
32
|
username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
29
|
-
|
33
|
+
_engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
|
34
|
+
return _engine, username, password, host, port
|
30
35
|
|
31
36
|
|
32
37
|
def return_host(conf_data):
|
@@ -57,7 +62,10 @@ def get_hostname(platform, hostname, sql, local):
|
|
57
62
|
return return_host(conf_data)
|
58
63
|
|
59
64
|
|
60
|
-
def
|
65
|
+
def get_engine_bak():
|
66
|
+
"""
|
67
|
+
要删除
|
68
|
+
"""
|
61
69
|
if not os.path.isdir(support_path):
|
62
70
|
print(f'缺少配置文件,无法读取配置文件: {file}')
|
63
71
|
return
|
mdbq/config/myconfig.py
CHANGED
mdbq/config/products.py
CHANGED
@@ -6,7 +6,6 @@ import getpass
|
|
6
6
|
import socket
|
7
7
|
import pandas as pd
|
8
8
|
from mdbq.mysql import mysql
|
9
|
-
# from mdbq.config import myconfig
|
10
9
|
from mdbq.config import default
|
11
10
|
from numpy.ma.core import product
|
12
11
|
|
@@ -14,18 +13,7 @@ from numpy.ma.core import product
|
|
14
13
|
天猫货品年份基准对照
|
15
14
|
用于聚合数据,通过此数据表进一步可确定商品上架年月
|
16
15
|
"""
|
17
|
-
m_engine,
|
18
|
-
# username, password, host, port, service_database = None, None, None, None, None,
|
19
|
-
# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
|
20
|
-
# conf = myconfig.main()
|
21
|
-
# data = conf['Windows']['xigua_lx']['mysql']['local']
|
22
|
-
# username, password, host, port = data['username'], data['password'], data['host'], data['port']
|
23
|
-
# service_database = {'xigua_lx': 'mysql'}
|
24
|
-
# elif socket.gethostname() in ['company', 'Mac2.local']:
|
25
|
-
# conf = myconfig.main()
|
26
|
-
# data = conf['Windows']['company']['mysql']['local']
|
27
|
-
# username, password, host, port = data['username'], data['password'], data['host'], data['port']
|
28
|
-
# service_database = {'company': 'mysql'}
|
16
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
29
17
|
if not username:
|
30
18
|
print(f'找不到主机1:')
|
31
19
|
|
@@ -50,24 +50,7 @@ upload_path = os.path.join(D_PATH, '数据上传中心') # 此目录位于下
|
|
50
50
|
if not os.path.exists(upload_path): # 数据中心根目录
|
51
51
|
os.makedirs(upload_path)
|
52
52
|
|
53
|
-
m_engine,
|
54
|
-
# username, password, host, port, service_database = None, None, None, None, None,
|
55
|
-
# if socket.gethostname() in ['xigua_lx', 'xigua1', 'MacBookPro']:
|
56
|
-
# conf = myconfig.main()
|
57
|
-
# conf_data = conf['Windows']['xigua_lx']['mysql']['local']
|
58
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
59
|
-
# service_database = {'xigua_lx': 'mysql'}
|
60
|
-
# elif socket.gethostname() in ['company', 'Mac2.local']:
|
61
|
-
# conf = myconfig.main()
|
62
|
-
# conf_data = conf['Windows']['company']['mysql']['local']
|
63
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
64
|
-
# service_database = {'company': 'mysql'}
|
65
|
-
# elif socket.gethostname() == 'xigua_ts':
|
66
|
-
# conf = myconfig.main()
|
67
|
-
# conf_data = conf['Windows']['xigua_ts']['mysql']['remote']
|
68
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
69
|
-
# service_database = {'xigua_ts': 'mysql'}
|
70
|
-
|
53
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
71
54
|
if not username:
|
72
55
|
print(f'找不到主机:')
|
73
56
|
|
mdbq/redis/getredis.py
CHANGED
@@ -22,33 +22,7 @@ if platform.system() == 'Windows':
|
|
22
22
|
else:
|
23
23
|
D_PATH = os.path.join(f'/Users/{getpass.getuser()}/Downloads')
|
24
24
|
|
25
|
-
|
26
|
-
m_engine, company_engine, ts_engine, (username, password, host, port) = default.get_engine()
|
27
|
-
|
28
|
-
a, redis_password, c, d = default.get_hostname('Windows', 'xigua_lx', 'redis', 'local')
|
29
|
-
|
30
|
-
# if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
|
31
|
-
# conf = myconfig.main()
|
32
|
-
# conf_data = conf['Windows']['company']['mysql']['local']
|
33
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
34
|
-
# redis_password = conf['Windows']['company']['redis']['local']['password']
|
35
|
-
# elif socket.gethostname() == 'MacBookPro':
|
36
|
-
# conf = myconfig.main()
|
37
|
-
# conf_data = conf['Windows']['xigua_lx']['mysql']['local']
|
38
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
39
|
-
# redis_password = conf['Windows']['company']['redis']['local']['password']
|
40
|
-
# elif socket.gethostname() == 'xigua_ts':
|
41
|
-
# conf = myconfig.main()
|
42
|
-
# conf_data = conf['Windows']['xigua_ts']['mysql']['remote']
|
43
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
44
|
-
# redis_password = conf['Windows']['xigua_ts']['redis']['local']['password']
|
45
|
-
# else:
|
46
|
-
# conf = myconfig.main()
|
47
|
-
# conf_data = conf['Windows']['xigua_lx']['mysql']['local']
|
48
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
49
|
-
# redis_password = conf['Windows']['company']['redis']['local']['password'] # redis 使用本地数据,全部机子相同
|
50
|
-
|
51
|
-
# logging.basicConfig(level=logging.INFO, format='%(asctime)s | %(levelname)s | %(message)s', datefmt='%Y-%m-%d %H:%M:%S')
|
25
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
52
26
|
|
53
27
|
# 获取当前模块的日志记录器
|
54
28
|
logger = logging.getLogger(__name__)
|
@@ -647,7 +621,7 @@ if __name__ == '__main__':
|
|
647
621
|
# r = redis.Redis(**redis_config)
|
648
622
|
# # mysql 实例化
|
649
623
|
# d = s_query.QueryDatas(username=username, password=password, host=host, port=port)
|
650
|
-
# #
|
624
|
+
# # 将两个库的实例化对传给 RedisData 类,并实例化数据处理引擎
|
651
625
|
# m = RedisData(redis_engin=r, download=d)
|
652
626
|
# # ****************************************************
|
653
627
|
#
|
mdbq/spider/aikucun.py
CHANGED
@@ -36,55 +36,7 @@ else:
|
|
36
36
|
D_PATH = str(pathlib.Path(f'/Users/{getpass.getuser()}/Downloads'))
|
37
37
|
upload_path = os.path.join(D_PATH, '数据上传中心', '爱库存') # 此目录位于下载文件夹
|
38
38
|
|
39
|
-
m_engine,
|
40
|
-
# m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
|
41
|
-
# company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
|
42
|
-
#
|
43
|
-
# if socket.gethostname() == 'company' or socket.gethostname() == 'Mac2.local':
|
44
|
-
# conf = myconfig.main()
|
45
|
-
# conf_data = conf['Windows']['xigua_lx']['mysql']['remoto']
|
46
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
47
|
-
# m_engine = mysql.MysqlUpload(
|
48
|
-
# username=username,
|
49
|
-
# password=password,
|
50
|
-
# host=host,
|
51
|
-
# port=port,
|
52
|
-
# charset='utf8mb4'
|
53
|
-
# )
|
54
|
-
# conf_data = conf['Windows']['company']['mysql']['local']
|
55
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
56
|
-
# company_engine = mysql.MysqlUpload(
|
57
|
-
# username=username,
|
58
|
-
# password=password,
|
59
|
-
# host=host,
|
60
|
-
# port=port,
|
61
|
-
# charset='utf8mb4'
|
62
|
-
# )
|
63
|
-
# targe_host = 'company'
|
64
|
-
#
|
65
|
-
# else:
|
66
|
-
# conf = myconfig.main()
|
67
|
-
#
|
68
|
-
# conf_data = conf['Windows']['company']['mysql']['remoto']
|
69
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
70
|
-
# company_engine = mysql.MysqlUpload(
|
71
|
-
# username=username,
|
72
|
-
# password=password,
|
73
|
-
# host=host,
|
74
|
-
# port=port,
|
75
|
-
# charset='utf8mb4'
|
76
|
-
# )
|
77
|
-
#
|
78
|
-
# conf_data = conf['Windows']['xigua_lx']['mysql']['local']
|
79
|
-
# username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
|
80
|
-
# m_engine = mysql.MysqlUpload(
|
81
|
-
# username=username,
|
82
|
-
# password=password,
|
83
|
-
# host=host,
|
84
|
-
# port=port,
|
85
|
-
# charset='utf8mb4'
|
86
|
-
# )
|
87
|
-
# targe_host = 'xigua_lx'
|
39
|
+
m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None)
|
88
40
|
|
89
41
|
|
90
42
|
def get_cookie_aikucun():
|
@@ -406,14 +358,6 @@ class AikuCun:
|
|
406
358
|
unique_main_key=None,
|
407
359
|
set_typ=set_typ,
|
408
360
|
)
|
409
|
-
company_engine.insert_many_dict(
|
410
|
-
db_name='爱库存2',
|
411
|
-
table_name='商品spu榜单',
|
412
|
-
dict_data_list=_results,
|
413
|
-
icm_update=['日期', '店铺名称', 'spu_id', '商品款号'],
|
414
|
-
unique_main_key=None,
|
415
|
-
set_typ=set_typ,
|
416
|
-
)
|
417
361
|
|
418
362
|
new_name = f'爱库存_商品榜单_spu_{date}_{date}.csv'
|
419
363
|
df.to_csv(os.path.join(root, new_name), encoding='utf-8_sig', index=False)
|
@@ -3,14 +3,14 @@ mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
|
|
3
3
|
mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
|
4
4
|
mdbq/aggregation/aggregation_bak.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
|
5
5
|
mdbq/aggregation/datashow_bak.py,sha256=1AYSIDkdUx-4as1Ax2rPj0cExM9d-qFMrFYLAaPHNuk,54962
|
6
|
-
mdbq/aggregation/optimize_data.py,sha256=
|
7
|
-
mdbq/aggregation/query_data.py,sha256=
|
6
|
+
mdbq/aggregation/optimize_data.py,sha256=foZGLDGJRhM2qOr2mTvB3InDFId7r4KBXrJfB3-xq1k,2639
|
7
|
+
mdbq/aggregation/query_data.py,sha256=AiG0W9Rum_hKCTPNB-nuA5ehpnVW12byLA7uwzOmO6Q,168639
|
8
8
|
mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
|
9
9
|
mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
|
10
10
|
mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
|
11
|
-
mdbq/config/default.py,sha256=
|
12
|
-
mdbq/config/myconfig.py,sha256=
|
13
|
-
mdbq/config/products.py,sha256=
|
11
|
+
mdbq/config/default.py,sha256=3IGc4aVuoL6sZh7xkM0GUXwHJD3-HCfYTnb1Q5ZL1UM,4976
|
12
|
+
mdbq/config/myconfig.py,sha256=Akt-7KqSUBdoHQa4_Mw6YC4pA75219d-21iDO30iaD8,894
|
13
|
+
mdbq/config/products.py,sha256=FbBIqmyaiq9h03FIeE9W2bwbLm2_5pr6xyzPV-u7Ges,5689
|
14
14
|
mdbq/config/set_support.py,sha256=6EJC1PUCvP8HnRsljOrlBbK-65lZjh8_8mCCOVoPkFM,691
|
15
15
|
mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
|
16
16
|
mdbq/dataframe/converter.py,sha256=lETYhT7KXlWzWwqguqhk6vI6kj4rnOBEW1lhqKy2Abc,5035
|
@@ -23,7 +23,7 @@ mdbq/mysql/mysql.py,sha256=YgmSLkwjIUpjiGH3S-bTiaJCKe8As0WvHDOS6_ePyYs,98591
|
|
23
23
|
mdbq/mysql/s_query.py,sha256=pj5ioJfUT81Su9S-km9G49gF5F2MmXXfw_oAIUzhN28,8794
|
24
24
|
mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
|
25
25
|
mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
|
26
|
-
mdbq/other/download_sku_picture.py,sha256=
|
26
|
+
mdbq/other/download_sku_picture.py,sha256=QglvUmI6rFYtfwG59uuOqAA4kLwuKtCwgkz7yO_KkPs,44656
|
27
27
|
mdbq/other/porxy.py,sha256=UHfgEyXugogvXgsG68a7QouUCKaohTKKkI4RN-kYSdQ,4961
|
28
28
|
mdbq/other/pov_city.py,sha256=AEOmCOzOwyjHi9LLZWPKi6DUuSC-_M163664I52u9qw,21050
|
29
29
|
mdbq/other/sku_picture.py,sha256=JwSXYlzamVqcKCD2tRH2VqYVZNr8fM6f--kcGlTVRnM,50026
|
@@ -33,10 +33,10 @@ mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,239
|
|
33
33
|
mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
|
34
34
|
mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
|
35
35
|
mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
|
36
|
-
mdbq/redis/getredis.py,sha256=
|
36
|
+
mdbq/redis/getredis.py,sha256=oyFwE-8c6uErSGYNIO0z2ng93mH0zstRLD86MWqF6M8,25636
|
37
37
|
mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
|
38
|
-
mdbq/spider/aikucun.py,sha256=
|
39
|
-
mdbq-3.
|
40
|
-
mdbq-3.
|
41
|
-
mdbq-3.
|
42
|
-
mdbq-3.
|
38
|
+
mdbq/spider/aikucun.py,sha256=1gAEwCUmhCSpOSRPD2EEcbH3bFGn4sUQnQUAsJb5-qM,19391
|
39
|
+
mdbq-3.7.0.dist-info/METADATA,sha256=0uGaC5cgZEGGQq_U5XmvMzgUtGMK0o8_3CyLq4lKgpU,243
|
40
|
+
mdbq-3.7.0.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
|
41
|
+
mdbq-3.7.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
|
42
|
+
mdbq-3.7.0.dist-info/RECORD,,
|
File without changes
|
File without changes
|