mdbq 0.1.6__tar.gz → 0.1.8__tar.gz

{mdbq-0.1.6 → mdbq-0.1.8}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.6
+Version: 0.1.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.6 → mdbq-0.1.8}/mdbq/aggregation/query_data.py

@@ -1,5 +1,6 @@
 # -*- coding: UTF-8 –*-
 from mdbq.mongo import mongo
+from mdbq.mysql import mysql
 from mdbq.mysql import s_query
 from mdbq.config import get_myconf
 import datetime
@@ -117,7 +118,7 @@ class MysqlDatasQuery:
             '订单数': 1,
             '退货量': 1,
             '退款额': 1,
-            '退货量_发货后_': 1,
+            '退货量_发货后': 1,
         }
         df = self.download.data_to_df(
             db_name='生意经2',
@@ -128,6 +129,26 @@ class MysqlDatasQuery:
         )
         return df
 
+    def idbm(self):
+        """ 用生意经日数据制作商品 id 和编码对照表 """
+        data_values = self.download.columns_to_list(
+            db_name='生意经2',
+            tabel_name='宝贝指标',
+            columns_name=['宝贝id', '商家编码', '行业类目'],
+        )
+        df = pd.DataFrame(data=data_values)
+        return df
+
+    def sp_picture(self):
+        """ 用生意经日数据制作商品 id 和编码对照表 """
+        data_values = self.download.columns_to_list(
+            db_name='属性设置2',
+            tabel_name='商品素材导出',
+            columns_name=['日期', '商品id', '商品白底图', '方版场景图'],
+        )
+        df = pd.DataFrame(data=data_values)
+        return df
+
     def dplyd(self):
         start_date, end_date = self.months_data(num=self.months)
         projection = {
@@ -150,6 +171,16 @@ class MysqlDatasQuery:
         )
         return df
 
+    def sp_cost(self):
+        """ 电商定价 """
+        data_values = self.download.columns_to_list(
+            db_name='属性设置2',
+            tabel_name='电商定价',
+            columns_name=['日期', '款号', '年份季节', '吊牌价', '商家平台', '成本价', '天猫页面价', '天猫中促价'],
+        )
+        df = pd.DataFrame(data=data_values)
+        return df
+
     @staticmethod
     def months_data(num=0, end_date=None):
         """ 读取近 num 个月的数据, 0 表示读取当月的数据 """
@@ -229,7 +260,7 @@ class GroupBy:
                    '订单数': ('订单数', np.min),
                    '退货量': ('退货量', np.max),
                    '退款额': ('退款额', np.max),
-                   '退货量_发货后_': ('退货量_发货后_', np.max),
+                   '退货量_发货后': ('退货量_发货后', np.max),
                    }
             )
             df['件均价'] = df.apply(lambda x: x['销售额'] / x['销售量'] if x['销售量'] > 0 else 0, axis=1).round(
@@ -244,6 +275,41 @@ class GroupBy:
             return df
         elif '店铺来源_日数据' in tabel_name:
             return df
+        elif '商品id编码表' in tabel_name:
+            df.drop_duplicates(subset='宝贝id', keep='last', inplace=True, ignore_index=True)
+            # df['行业类目'] = df['行业类目'].apply(lambda x: re.sub(' ', '', x))
+            try:
+                df[['一级类目', '二级类目', '三级类目']] = df['行业类目'].str.split(' -> ', expand=True).loc[:, 0:2]
+            except:
+                try:
+                    df[['一级类目', '二级类目']] = df['行业类目'].str.split(' -> ', expand=True).loc[:, 0:1]
+                except:
+                    df['一级类目'] = df['行业类目']
+            df.drop('行业类目', axis=1, inplace=True)
+            df.sort_values('宝贝id', ascending=False, inplace=True)
+            df = df[(df['宝贝id'] != '973') & (df['宝贝id'] != '973')]
+            return df
+        elif '商品id图片对照表' in tabel_name:
+            df['商品id'] = df['商品id'].astype('int64')
+            df['日期'] = df['日期'].astype('datetime64[ns]')
+            df = df[(df['商品白底图'] != '0') | (df['方版场景图'] != '0')]
+            # 白底图优先
+            df['商品图片'] = df[['商品白底图', '方版场景图']].apply(
+                lambda x: x['商品白底图'] if x['商品白底图'] !='0' else x['方版场景图'], axis=1)
+            # # 方版场景图优先
+            # df['商品图片'] = df[['商品白底图', '方版场景图']].apply(
+            #     lambda x: x['方版场景图'] if x['方版场景图'] != '0' else x['商品白底图'], axis=1)
+            df.sort_values(by=['商品id', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
+            df.drop_duplicates(subset=['商品id'], keep='last', inplace=True, ignore_index=True)
+            df = df[['商品id', '商品图片', '日期']]
+            df['商品图片'] = df['商品图片'].apply(lambda x: x if 'http' in x else None)  # 检查是否是 http 链接
+            df.dropna(how='all', subset=['商品图片'], axis=0, inplace=True)  # 删除指定列含有空值的行
+            df.sort_values(by='商品id', ascending=False, ignore_index=True, inplace=True)  # ascending=False 降序排列
+            return df
+        elif '商品成本' in tabel_name:
+            df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
+            df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
+            return df
         else:
             print(f'<{tabel_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
@@ -330,25 +396,57 @@ class GroupBy:
                     index=index, header=header, engine=engine, freeze_panes=freeze_panes)
         
         
-def data_output():
-    sdq = MysqlDatasQuery(target_service='home_lx')
-    sdq.months = 0
-
-    # df = sdq.tg_wxt()  # 从数据库中获取数据并转为 df
-    # g = GroupBy()  # 数据聚合
-    # df = g.groupby(df=df, tabel_name='推广数据_宝贝主体报表', is_maximize=True)
-    # g.as_csv(df=df, filename='推广数据_宝贝主体报表')  # 数据导出
-
-    # df = sdq.syj()
-    # g = GroupBy()
-    # df = g.groupby(df=df, tabel_name='宝贝指标', is_maximize=True)
-    # g.as_csv(df=df, filename='宝贝指标')
+def data_aggregation():
+    """
+    1. 从数据库中读取数据
+    2. 数据聚合清洗
+    3. 统一回传数据库: <聚合数据>  （不再导出为文件）
+    """
+    sdq = MysqlDatasQuery(target_service='company')  # 实例化数据处理类
+    sdq.months = 0  # 设置数据周期
+    g = GroupBy()  # 实例化数据聚合类
+    # 实例化数据库连接
+    username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
+    m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
 
-    df = sdq.dplyd()
-    g = GroupBy()
-    df = g.groupby(df=df, tabel_name='店铺来源_日数据', is_maximize=True)
-    g.as_csv(df=df, filename='店铺来源_日数据')
+    data_dict = [
+        {
+            '数据库名': '聚合数据',
+            '集合名': '推广数据_宝贝主体报表',
+            '数据主体': sdq.tg_wxt(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫生意经_宝贝指标',
+            '数据主体': sdq.syj(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '天猫_店铺来源_日数据',
+            '数据主体': sdq.dplyd(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品id编码表',
+            '数据主体': sdq.idbm(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品id图片对照表',
+            '数据主体': sdq.sp_picture(),
+        },
+        {
+            '数据库名': '聚合数据',
+            '集合名': '商品成本',
+            '数据主体': sdq.sp_cost(),
+        },
+    ]
+    for items in data_dict:
+        db_name, tabel_name, df = items['数据库名'], items['集合名'], items['数据主体']
+        df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
+        # g.as_csv(df=df, filename=tabel_name + '.csv')
+        m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
 
 
 if __name__ == '__main__':
-    main()
+    data_aggregation()

{mdbq-0.1.6 → mdbq-0.1.8}/mdbq/company/copysh.py

@@ -314,4 +314,8 @@ def main():
 
 
 if __name__ == '__main__':
-    main()
+    # main()
+    dp = aggregation.DatabaseUpdate(path='')
+    # dp.new_unzip(is_move=True)
+    # dp.cleaning(is_move=True)  # 公司台式机需要移除
+    dp.upload_df(service_databases=[{'company': 'mysql'}])

{mdbq-0.1.6 → mdbq-0.1.8}/mdbq/mysql/mysql.py

@@ -181,6 +181,8 @@ class MysqlUpload:
         # 最优先处理 ID 类型, 在 mysql 里面, 有些列数字过长不能存储为 int 类型
         if 'id' in col or 'ID' in col or 'Id' in col or '摘要' in col or '商家编码' in col or '单号' in col or '款号' in col:
             return 'mediumtext'
+        if '商品编码' in col:  # 京东sku/spu商品信息
+            return 'mediumtext'
         if '文件大小' in col:  # bw 程序
             return 'mediumtext'
         elif '日期' in col or '时间' in col:
@@ -192,8 +194,12 @@ class MysqlUpload:
         elif dtype == 'datetime64[ns]':  # 日期可能显示为数字, 因为放在判断 int 的前面
             return 'DATE'
         elif dtype == 'int32':
+            if len(str(max(df[col].tolist()))) >= 10:  # 数值长度超限转为 mediumtext
+                return 'mediumtext'
             return 'INT'
         elif dtype == 'int64':
+            if len(str(max(df[col].tolist()))) >= 10:
+                return 'mediumtext'
             return 'INT'
         elif dtype == 'float64':
             return 'FLOAT'
@@ -391,11 +397,19 @@ class OptimizeDatas:
                 self.config.update({'database': self.db_name})  # 添加更新 config 字段
                 self.connection = pymysql.connect(**self.config)
                 with self.connection.cursor() as cursor:
+                    sql = f"SELECT 1 FROM {table_name} LIMIT 1"
+                    cursor.execute(sql)
+                    result = cursor.fetchone()
+                    if not result:
+                        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+                        print(f'{now}数据表: {table_name}, 数据长度为 0')
+                        continue  # 检查数据表是否为空
+
                     cursor.execute(f"SHOW FULL COLUMNS FROM {table_name}")  # 查询数据表的列信息
                     columns = cursor.fetchall()
                     date_exist = False
                     for col in columns:  # 遍历列信息，检查是否存在类型为日期的列
-                        if col['Field'] == '日期' and col['Type'] == 'date' or col['Type'].startswith('datetime'):
+                        if col['Field'] == '日期' and (col['Type'] == 'date' or col['Type'].startswith('datetime')):
                             date_exist = True
                             break
                     if date_exist:  # 存在日期列

{mdbq-0.1.6 → mdbq-0.1.8}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.6
+Version: 0.1.8
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.6 → mdbq-0.1.8}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='0.1.6',
+      version='0.1.8',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',