mdbq 2.2.5__tar.gz → 2.2.7__tar.gz

{mdbq-2.2.5 → mdbq-2.2.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.2.5
+Version: 2.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.2.5 → mdbq-2.2.7}/mdbq/company/copysh.py

@@ -371,12 +371,8 @@ def main():
             # 更新货品年份基准表， 属性设置 2 - 货品年份基准
             p = products.Products()
             p.to_mysql(service_databases=[
-                # {
-                #     'home_lx': 'mysql'
-                # },
-                {
-                    'company': 'mysql'
-                }
+                # {'home_lx': 'mysql'},
+                {'company': 'mysql'}
             ]
             )
 
@@ -405,3 +401,12 @@ if __name__ == '__main__':
     main()
     # # 聚合数据，并清理聚合数据
     # query_data.data_aggregation(service_databases=[{'company': 'mysql'}], months=1)
+
+    # sku_picture.download_spu(
+    #     service_name='company',
+    #     database='mysql',
+    #     db_name='属性设置2',
+    #     table_name='商品spu素材下载记录',
+    #     col_name='商品图片',
+    #     save_path=os.path.join(f'\\\\192.168.1.198\\时尚事业部\\01.运营部\\天猫报表\\其他文件', '商品id_商家编码_图片'),
+    # )

{mdbq-2.2.5 → mdbq-2.2.7}/mdbq/other/sku_picture.py

@@ -511,6 +511,7 @@ class DownloadPicture():
         self.filename = ''
         self.local_file = ''
         self.finish_download = []
+        self.finish_d2 = []
 
     def get_df_from_service(self):
         start_date, end_date = self.months_data(num=self.months)
@@ -601,7 +602,13 @@ class DownloadPicture():
             # 清除特殊符号，避免无法创建文件
             self.filename = re.sub(r'[\\/\u4e00-\u9fa5‘’“”【】\[\]{}、，,～~!！]', '_', self.filename)
             if os.path.isfile(os.path.join(self.save_path, self.filename)):
-                self.finish_download.append(data['商品id'])
+                # self.finish_download.append(data['商品id'])
+                self.finish_d2.append(
+                    {
+                        '完成时间': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
+                        '完成id': data['商品id'],
+                    }
+                )
                 i += 1
                 continue
             if 'https' not in url:
@@ -615,7 +622,13 @@ class DownloadPicture():
                 # 保存图片到本地文件夹
                 with open(os.path.join(self.save_path, self.filename), 'wb') as f:
                     f.write(res.content)
-                self.finish_download.append(data['商品id'])
+                # self.finish_download.append(data['商品id'])
+                self.finish_d2.append(
+                    [
+                        {'完成时间': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')},
+                        {'完成id': data['商品id']}
+                    ]
+                )
             except Exception as e:
                 print(f'{self.filename}:   {e}')
             i += 1
@@ -926,7 +939,14 @@ def download_sku(service_name='company', database='mysql', db_name='属性设置
 
 def download_spu(service_name='company', database='mysql', db_name='属性设置2', table_name='商品spu素材下载记录', col_name='商品图片', save_path=os.path.join(D_PATH, '商品id_商家编码_图片')):
     """
-
+    1. 从商品素材导出中获取数据
+    2. 从商品id编码表 中获取数据
+        商品id编码表 是合并生意经的数据，主要获取商品编码，
+        对于未上架或者刚上架的货品，生意经未有数据，所以合并两表后，可能缺失商品编码信息
+    3. 更新数据库，不存在则创建
+    4. 从数据库中提取未下载的数据记录
+    5. 实例化一个下载器类，并下载数据
+    6. 回传并更新数据库
     """
 
     # 1. 从商品素材导出中获取数据
@@ -969,6 +989,8 @@ def download_spu(service_name='company', database='mysql', db_name='属性设置
     # df = df.head(2)
 
     # 2. 从商品id编码表 中获取数据
+    # 商品id编码表 是合并生意经的数据，主要获取商品编码，
+    # 对于未上架或者刚上架的货品，生意经未有数据，所以合并两表后，可能缺失商品编码信息
     projection = {
         '宝贝id': 1,
         '商家编码': 1,
@@ -1022,7 +1044,11 @@ def download_spu(service_name='company', database='mysql', db_name='属性设置
         d.filename = f'{db_name}_{table_name}.xlsx'
         d.df = df
         d.download_from_df(col_name=col_name, save_path=save_path)
-        df['获取与下载'] = df.apply(lambda x: '已下载' if x['商品id'] in d.finish_download else x['获取与下载'], axis=1)
+        # finish_id = [item['完成id'] for item in d.finish_d2]
+        # df['获取与下载'] = df.apply(lambda x: '已下载' if x['商品id'] in finish_id else x['获取与下载'], axis=1)
+        for item in d.finish_d2:
+            df['获取与下载'] = df.apply(lambda x: '已下载' if x['商品id'] == item['完成id'] else x['获取与下载'], axis=1)
+            df['时间'] = df.apply(lambda x: item['完成时间'] if x['商品id'] == item['完成id'] else x['时间'], axis=1)
 
         # 6. 回传数据库
         username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)

{mdbq-2.2.5 → mdbq-2.2.7}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.2.5
+Version: 2.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.2.5 → mdbq-2.2.7}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.2.5',
+      version='2.2.7',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',