mdbq 3.8.6__py3-none-any.whl → 3.8.7__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
mdbq/__version__.py CHANGED
@@ -1 +1 @@
1
- VERSION = '3.8.6'
1
+ VERSION = '3.8.7'
@@ -1302,7 +1302,7 @@ class MysqlDatasQuery:
1302
1302
  return True
1303
1303
 
1304
1304
  @try_except
1305
- def idbm(self, db_name='聚合数据', table_name='商品id编码表'):
1305
+ def idbm_bak(self, db_name='聚合数据', table_name='商品id编码表'):
1306
1306
  """ 用生意经日数据制作商品 id 和编码对照表 """
1307
1307
  year = datetime.datetime.today().year
1308
1308
  data_values = []
@@ -1359,7 +1359,64 @@ class MysqlDatasQuery:
1359
1359
  return True
1360
1360
 
1361
1361
  @try_except
1362
- def sp_picture(self, db_name='聚合数据', table_name='商品id图片对照表'):
1362
+ def idbm(self, db_name='聚合数据', table_name='商品id编码表'):
1363
+ """ 用生意经日数据制作商品 id 和编码对照表 """
1364
+ projection = {
1365
+ '日期': 1,
1366
+ '商品id': 1,
1367
+ '商家编码': 1,
1368
+ '一级类目': 1,
1369
+ '二级类目': 1,
1370
+ '三级类目': 1,
1371
+ '更新时间': 1
1372
+ }
1373
+ df = self.download.data_to_df(
1374
+ db_name='属性设置3',
1375
+ table_name='商品sku属性',
1376
+ start_date='2024-11-17',
1377
+ end_date='2049-12-31',
1378
+ projection=projection,
1379
+ )
1380
+ # 仅保留最新日期的数据
1381
+ idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
1382
+ df = df.loc[idx]
1383
+ df.rename(columns={'商品id': '宝贝id'}, inplace=True)
1384
+ set_typ = {
1385
+ '日期': 'date',
1386
+ '宝贝id': 'bigint',
1387
+ '商家编码': 'varchar(255)',
1388
+ '一级类目': 'varchar(100)',
1389
+ '二级类目': 'varchar(100)',
1390
+ '三级类目': 'varchar(100)',
1391
+ '更新时间': 'timestamp'
1392
+ }
1393
+ self.pf_datas.append(
1394
+ {
1395
+ '集合名称': table_name,
1396
+ '数据主体': df[['宝贝id', '商家编码']]
1397
+ }
1398
+ ) # 制作其他聚合表
1399
+ if not self.update_service:
1400
+ return
1401
+ now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
1402
+ logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
1403
+ m_engine.df_to_mysql(
1404
+ df=df,
1405
+ db_name=db_name,
1406
+ table_name=table_name,
1407
+ icm_update=['宝贝id'], # 增量更新, 在聚合数据中使用,其他不要用
1408
+ move_insert=False, # 先删除,再插入
1409
+ df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1410
+ drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
1411
+ count=None,
1412
+ filename=None, # 用来追踪处理进度
1413
+ reset_id=True, # 是否重置自增列
1414
+ set_typ=set_typ,
1415
+ )
1416
+ return True
1417
+
1418
+ @try_except
1419
+ def sp_picture_bak(self, db_name='聚合数据', table_name='商品id图片对照表'):
1363
1420
  """ 用生意经日数据制作商品 id 和编码对照表 """
1364
1421
  data_values = self.download.columns_to_list(
1365
1422
  db_name='属性设置3',
@@ -1415,6 +1472,65 @@ class MysqlDatasQuery:
1415
1472
  )
1416
1473
  return True
1417
1474
 
1475
+ @try_except
1476
+ def sp_picture(self, db_name='聚合数据', table_name='商品id图片对照表'):
1477
+ """ """
1478
+ projection = {
1479
+ '日期': 1,
1480
+ '商品id': 1,
1481
+ '白底图': 1,
1482
+ '商家编码': 1,
1483
+ 'sku_id': 1,
1484
+ 'sku地址': 1,
1485
+ '更新时间': 1
1486
+ }
1487
+ df = self.download.data_to_df(
1488
+ db_name='属性设置3',
1489
+ table_name='商品sku属性',
1490
+ start_date='2024-11-17',
1491
+ end_date='2049-12-31',
1492
+ projection=projection,
1493
+ )
1494
+ # 仅保留最新日期的数据
1495
+ idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
1496
+ df = df.loc[idx]
1497
+ df.rename(columns={'白底图': '商品图片'}, inplace=True)
1498
+ set_typ = {
1499
+ '日期': 'date',
1500
+ '商品id': 'bigint',
1501
+ # '白底图': 'varchar(255)',
1502
+ '商品图片': 'varchar(255)',
1503
+ '商家编码': 'varchar(255)',
1504
+ 'sku_id': 'bigint',
1505
+ 'sku地址': 'varchar(255)',
1506
+ '更新时间': 'timestamp'
1507
+ }
1508
+ # 制作其他聚合表
1509
+ self.pf_datas.append(
1510
+ {
1511
+ '集合名称': table_name,
1512
+ '数据主体': df[['商品id', '商品图片']]
1513
+ }
1514
+ )
1515
+ if not self.update_service: # 调试加,是否继续执行下面的入库操作
1516
+ return
1517
+ now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
1518
+ logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
1519
+ m_engine.df_to_mysql(
1520
+ df=df,
1521
+ db_name=db_name,
1522
+ table_name=table_name,
1523
+ icm_update=['sku_id'], # 增量更新, 在聚合数据中使用,其他不要用
1524
+ move_insert=False, # 先删除,再插入
1525
+ df_sql=False, # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
1526
+ drop_duplicates=False, # 值为 True 时检查重复数据再插入,反之直接上传,会比较慢
1527
+ count=None,
1528
+ filename=None, # 用来追踪处理进度
1529
+ reset_id=False, # 是否重置自增列
1530
+ set_typ=set_typ,
1531
+ )
1532
+ return True
1533
+
1418
1534
  def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
1419
1535
  start_date, end_date = self.months_data(num=self.months)
1420
1536
  projection = {}
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.2
2
2
  Name: mdbq
3
- Version: 3.8.6
3
+ Version: 3.8.7
4
4
  Home-page: https://pypi.org/project/mdbq
5
5
  Author: xigua,
6
6
  Author-email: 2587125111@qq.com
@@ -1,7 +1,7 @@
1
1
  mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
2
- mdbq/__version__.py,sha256=Getdc-hdWx0sFteBzPqro7bCHfZKcq5ra0Qya_DV54w,17
2
+ mdbq/__version__.py,sha256=xgAQewNcn3lb29mZiGYsscX0Lf0Dp7ABpyCaiKdp67I,17
3
3
  mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
4
- mdbq/aggregation/query_data.py,sha256=RUyrknC8IEOQnS_yFk_5JNSBdf-n5OcnmCAUgN-bvgw,180742
4
+ mdbq/aggregation/query_data.py,sha256=qvFaPKUjUPVX-bNmmoMULWFFS2kCg-PNQpLuOmEKLMk,185381
5
5
  mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
6
6
  mdbq/bdup/bdup.py,sha256=hJs815hGFwm_X5bP2i9XugG2w2ZY_F0n3-Q0hVpIPPw,4892
7
7
  mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -29,7 +29,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
29
29
  mdbq/redis/getredis.py,sha256=Uk8-cOWT0JU1qRyIVqdbYokSLvkDIAfcokmYj1ebw8k,24104
30
30
  mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
31
31
  mdbq/spider/aikucun.py,sha256=bUjjPjNoW3EL6H89nnBdFEwnWgGuEB2CENuBxcvx0Kw,20284
32
- mdbq-3.8.6.dist-info/METADATA,sha256=fNd7czbtUog5tHTxwy-K2cAtuVWndlREi2HWO4vkp_w,363
33
- mdbq-3.8.6.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
34
- mdbq-3.8.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
35
- mdbq-3.8.6.dist-info/RECORD,,
32
+ mdbq-3.8.7.dist-info/METADATA,sha256=9pSdiPkVEyauuRMZcrDjdPHzmTD4RJqMCArXT2sF83I,363
33
+ mdbq-3.8.7.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
34
+ mdbq-3.8.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
35
+ mdbq-3.8.7.dist-info/RECORD,,
File without changes