mdbq 3.8.6__py3-none-any.whl → 3.8.7__py3-none-any.whl

mdbq/__version__.py

@@ -1 +1 @@
-VERSION = '3.8.6'
+VERSION = '3.8.7'

mdbq/aggregation/query_data.py

@@ -1302,7 +1302,7 @@ class MysqlDatasQuery:
         return True
 
     @try_except
-    def idbm(self, db_name='聚合数据', table_name='商品id编码表'):
+    def idbm_bak(self, db_name='聚合数据', table_name='商品id编码表'):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         year = datetime.datetime.today().year
         data_values = []
@@ -1359,7 +1359,64 @@ class MysqlDatasQuery:
         return True
 
     @try_except
-    def sp_picture(self, db_name='聚合数据', table_name='商品id图片对照表'):
+    def idbm(self, db_name='聚合数据', table_name='商品id编码表'):
+        """ 用生意经日数据制作商品 id 和编码对照表 """
+        projection = {
+            '日期': 1,
+            '商品id': 1,
+            '商家编码': 1,
+            '一级类目': 1,
+            '二级类目': 1,
+            '三级类目': 1,
+            '更新时间': 1
+        }
+        df = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name='商品sku属性',
+            start_date='2024-11-17',
+            end_date='2049-12-31',
+            projection=projection,
+        )
+        # 仅保留最新日期的数据
+        idx = df.groupby(['日期', '商品id'])['更新时间'].idxmax()
+        df = df.loc[idx]
+        df.rename(columns={'商品id': '宝贝id'}, inplace=True)
+        set_typ = {
+            '日期': 'date',
+            '宝贝id': 'bigint',
+            '商家编码': 'varchar(255)',
+            '一级类目': 'varchar(100)',
+            '二级类目': 'varchar(100)',
+            '三级类目': 'varchar(100)',
+            '更新时间': 'timestamp'
+        }
+        self.pf_datas.append(
+            {
+                '集合名称': table_name,
+                '数据主体': df[['宝贝id', '商家编码']]
+            }
+        )  # 制作其他聚合表
+        if not self.update_service:
+            return
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['宝贝id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        return True
+
+    @try_except
+    def sp_picture_bak(self, db_name='聚合数据', table_name='商品id图片对照表'):
         """ 用生意经日数据制作商品 id 和编码对照表 """
         data_values = self.download.columns_to_list(
             db_name='属性设置3',
@@ -1415,6 +1472,65 @@ class MysqlDatasQuery:
         )
         return True
 
+    @try_except
+    def sp_picture(self, db_name='聚合数据', table_name='商品id图片对照表'):
+        """  """
+        projection = {
+            '日期': 1,
+            '商品id': 1,
+            '白底图': 1,
+            '商家编码': 1,
+            'sku_id': 1,
+            'sku地址': 1,
+            '更新时间': 1
+        }
+        df = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name='商品sku属性',
+            start_date='2024-11-17',
+            end_date='2049-12-31',
+            projection=projection,
+        )
+        # 仅保留最新日期的数据
+        idx = df.groupby(['日期', 'sku_id'])['更新时间'].idxmax()
+        df = df.loc[idx]
+        df.rename(columns={'白底图': '商品图片'}, inplace=True)
+        set_typ = {
+            '日期': 'date',
+            '商品id': 'bigint',
+            # '白底图': 'varchar(255)',
+            '商品图片': 'varchar(255)',
+            '商家编码': 'varchar(255)',
+            'sku_id': 'bigint',
+            'sku地址': 'varchar(255)',
+            '更新时间': 'timestamp'
+        }
+        # 制作其他聚合表
+        self.pf_datas.append(
+            {
+                '集合名称': table_name,
+                '数据主体': df[['商品id', '商品图片']]
+            }
+        )
+        if not self.update_service:  # 调试加，是否继续执行下面的入库操作
+            return
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            icm_update=['sku_id'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=False,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=False,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        return True
+
     def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
         start_date, end_date = self.months_data(num=self.months)
         projection = {}

{mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 3.8.6
+Version: 3.8.7
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.8.6.dist-info → mdbq-3.8.7.dist-info}/RECORD

@@ -1,7 +1,7 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
-mdbq/__version__.py,sha256=Getdc-hdWx0sFteBzPqro7bCHfZKcq5ra0Qya_DV54w,17
+mdbq/__version__.py,sha256=xgAQewNcn3lb29mZiGYsscX0Lf0Dp7ABpyCaiKdp67I,17
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/query_data.py,sha256=RUyrknC8IEOQnS_yFk_5JNSBdf-n5OcnmCAUgN-bvgw,180742
+mdbq/aggregation/query_data.py,sha256=qvFaPKUjUPVX-bNmmoMULWFFS2kCg-PNQpLuOmEKLMk,185381
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=hJs815hGFwm_X5bP2i9XugG2w2ZY_F0n3-Q0hVpIPPw,4892
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -29,7 +29,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=Uk8-cOWT0JU1qRyIVqdbYokSLvkDIAfcokmYj1ebw8k,24104
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=bUjjPjNoW3EL6H89nnBdFEwnWgGuEB2CENuBxcvx0Kw,20284
-mdbq-3.8.6.dist-info/METADATA,sha256=fNd7czbtUog5tHTxwy-K2cAtuVWndlREi2HWO4vkp_w,363
-mdbq-3.8.6.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
-mdbq-3.8.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.8.6.dist-info/RECORD,,
+mdbq-3.8.7.dist-info/METADATA,sha256=9pSdiPkVEyauuRMZcrDjdPHzmTD4RJqMCArXT2sF83I,363
+mdbq-3.8.7.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-3.8.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.8.7.dist-info/RECORD,,