mdbq 3.8.6__py3-none-any.whl → 3.8.7__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- mdbq/__version__.py +1 -1
- mdbq/aggregation/query_data.py +118 -2
- {mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/METADATA +1 -1
- {mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/RECORD +6 -6
- {mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/WHEEL +0 -0
- {mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/top_level.txt +0 -0
mdbq/__version__.py
CHANGED
@@ -1 +1 @@
|
|
1
|
-
VERSION = '3.8.
|
1
|
+
VERSION = '3.8.7'
|
mdbq/aggregation/query_data.py
CHANGED
@@ -1302,7 +1302,7 @@ class MysqlDatasQuery:
|
|
1302
1302
|
return True
|
1303
1303
|
|
1304
1304
|
@try_except
|
1305
|
-
def
|
1305
|
+
def idbm_bak(self, db_name='聚合数据', table_name='商品id编码表'):
|
1306
1306
|
""" 用生意经日数据制作商品 id 和编码对照表 """
|
1307
1307
|
year = datetime.datetime.today().year
|
1308
1308
|
data_values = []
|
@@ -1359,7 +1359,64 @@ class MysqlDatasQuery:
|
|
1359
1359
|
return True
|
1360
1360
|
|
1361
1361
|
@try_except
|
1362
|
-
def
|
1362
|
+
def idbm(self, db_name='聚合数据', table_name='商品id编码表'):
|
1363
|
+
""" 用生意经日数据制作商品 id 和编码对照表 """
|
1364
|
+
projection = {
|
1365
|
+
'日期': 1,
|
1366
|
+
'商品id': 1,
|
1367
|
+
'商家编码': 1,
|
1368
|
+
'一级类目': 1,
|
1369
|
+
'二级类目': 1,
|
1370
|
+
'三级类目': 1,
|
1371
|
+
'更新时间': 1
|
1372
|
+
}
|
1373
|
+
df = self.download.data_to_df(
|
1374
|
+
db_name='属性设置3',
|
1375
|
+
table_name='商品sku属性',
|
1376
|
+
start_date='2024-11-17',
|
1377
|
+
end_date='2049-12-31',
|
1378
|
+
projection=projection,
|
1379
|
+
)
|
1380
|
+
# 仅保留最新日期的数据
|
1381
|
+
idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
|
1382
|
+
df = df.loc[idx]
|
1383
|
+
df.rename(columns={'商品id': '宝贝id'}, inplace=True)
|
1384
|
+
set_typ = {
|
1385
|
+
'日期': 'date',
|
1386
|
+
'宝贝id': 'bigint',
|
1387
|
+
'商家编码': 'varchar(255)',
|
1388
|
+
'一级类目': 'varchar(100)',
|
1389
|
+
'二级类目': 'varchar(100)',
|
1390
|
+
'三级类目': 'varchar(100)',
|
1391
|
+
'更新时间': 'timestamp'
|
1392
|
+
}
|
1393
|
+
self.pf_datas.append(
|
1394
|
+
{
|
1395
|
+
'集合名称': table_name,
|
1396
|
+
'数据主体': df[['宝贝id', '商家编码']]
|
1397
|
+
}
|
1398
|
+
) # 制作其他聚合表
|
1399
|
+
if not self.update_service:
|
1400
|
+
return
|
1401
|
+
now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
1402
|
+
logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
|
1403
|
+
m_engine.df_to_mysql(
|
1404
|
+
df=df,
|
1405
|
+
db_name=db_name,
|
1406
|
+
table_name=table_name,
|
1407
|
+
icm_update=['宝贝id'], # 增量更新, 在聚合数据中使用,其他不要用
|
1408
|
+
move_insert=False, # 先删除,再插入
|
1409
|
+
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1410
|
+
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1411
|
+
count=None,
|
1412
|
+
filename=None, # 用来追踪处理进度
|
1413
|
+
reset_id=True, # 是否重置自增列
|
1414
|
+
set_typ=set_typ,
|
1415
|
+
)
|
1416
|
+
return True
|
1417
|
+
|
1418
|
+
@try_except
|
1419
|
+
def sp_picture_bak(self, db_name='聚合数据', table_name='商品id图片对照表'):
|
1363
1420
|
""" 用生意经日数据制作商品 id 和编码对照表 """
|
1364
1421
|
data_values = self.download.columns_to_list(
|
1365
1422
|
db_name='属性设置3',
|
@@ -1415,6 +1472,65 @@ class MysqlDatasQuery:
|
|
1415
1472
|
)
|
1416
1473
|
return True
|
1417
1474
|
|
1475
|
+
@try_except
|
1476
|
+
def sp_picture(self, db_name='聚合数据', table_name='商品id图片对照表'):
|
1477
|
+
""" """
|
1478
|
+
projection = {
|
1479
|
+
'日期': 1,
|
1480
|
+
'商品id': 1,
|
1481
|
+
'白底图': 1,
|
1482
|
+
'商家编码': 1,
|
1483
|
+
'sku_id': 1,
|
1484
|
+
'sku地址': 1,
|
1485
|
+
'更新时间': 1
|
1486
|
+
}
|
1487
|
+
df = self.download.data_to_df(
|
1488
|
+
db_name='属性设置3',
|
1489
|
+
table_name='商品sku属性',
|
1490
|
+
start_date='2024-11-17',
|
1491
|
+
end_date='2049-12-31',
|
1492
|
+
projection=projection,
|
1493
|
+
)
|
1494
|
+
# 仅保留最新日期的数据
|
1495
|
+
idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
|
1496
|
+
df = df.loc[idx]
|
1497
|
+
df.rename(columns={'白底图': '商品图片'}, inplace=True)
|
1498
|
+
set_typ = {
|
1499
|
+
'日期': 'date',
|
1500
|
+
'商品id': 'bigint',
|
1501
|
+
# '白底图': 'varchar(255)',
|
1502
|
+
'商品图片': 'varchar(255)',
|
1503
|
+
'商家编码': 'varchar(255)',
|
1504
|
+
'sku_id': 'bigint',
|
1505
|
+
'sku地址': 'varchar(255)',
|
1506
|
+
'更新时间': 'timestamp'
|
1507
|
+
}
|
1508
|
+
# 制作其他聚合表
|
1509
|
+
self.pf_datas.append(
|
1510
|
+
{
|
1511
|
+
'集合名称': table_name,
|
1512
|
+
'数据主体': df[['商品id', '商品图片']]
|
1513
|
+
}
|
1514
|
+
)
|
1515
|
+
if not self.update_service: # 调试加,是否继续执行下面的入库操作
|
1516
|
+
return
|
1517
|
+
now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
1518
|
+
logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
|
1519
|
+
m_engine.df_to_mysql(
|
1520
|
+
df=df,
|
1521
|
+
db_name=db_name,
|
1522
|
+
table_name=table_name,
|
1523
|
+
icm_update=['sku_id'], # 增量更新, 在聚合数据中使用,其他不要用
|
1524
|
+
move_insert=False, # 先删除,再插入
|
1525
|
+
df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
|
1526
|
+
drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
|
1527
|
+
count=None,
|
1528
|
+
filename=None, # 用来追踪处理进度
|
1529
|
+
reset_id=False, # 是否重置自增列
|
1530
|
+
set_typ=set_typ,
|
1531
|
+
)
|
1532
|
+
return True
|
1533
|
+
|
1418
1534
|
def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
|
1419
1535
|
start_date, end_date = self.months_data(num=self.months)
|
1420
1536
|
projection = {}
|
@@ -1,7 +1,7 @@
|
|
1
1
|
mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
|
2
|
-
mdbq/__version__.py,sha256=
|
2
|
+
mdbq/__version__.py,sha256=xgAQewNcn3lb29mZiGYsscX0Lf0Dp7ABpyCaiKdp67I,17
|
3
3
|
mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
|
4
|
-
mdbq/aggregation/query_data.py,sha256=
|
4
|
+
mdbq/aggregation/query_data.py,sha256=qvFaPKUjUPVX-bNmmoMULWFFS2kCg-PNQpLuOmEKLMk,185381
|
5
5
|
mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
|
6
6
|
mdbq/bdup/bdup.py,sha256=hJs815hGFwm_X5bP2i9XugG2w2ZY_F0n3-Q0hVpIPPw,4892
|
7
7
|
mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
|
@@ -29,7 +29,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
|
|
29
29
|
mdbq/redis/getredis.py,sha256=Uk8-cOWT0JU1qRyIVqdbYokSLvkDIAfcokmYj1ebw8k,24104
|
30
30
|
mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
|
31
31
|
mdbq/spider/aikucun.py,sha256=bUjjPjNoW3EL6H89nnBdFEwnWgGuEB2CENuBxcvx0Kw,20284
|
32
|
-
mdbq-3.8.
|
33
|
-
mdbq-3.8.
|
34
|
-
mdbq-3.8.
|
35
|
-
mdbq-3.8.
|
32
|
+
mdbq-3.8.7.dist-info/METADATA,sha256=9pSdiPkVEyauuRMZcrDjdPHzmTD4RJqMCArXT2sF83I,363
|
33
|
+
mdbq-3.8.7.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
|
34
|
+
mdbq-3.8.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
|
35
|
+
mdbq-3.8.7.dist-info/RECORD,,
|
File without changes
|
File without changes
|