mdbq 3.3.9__py3-none-any.whl → 3.3.11__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -1164,6 +1164,141 @@ class MysqlDatasQuery:
         )
         return True
 
+    def spph(self, db_name='聚合数据', table_name='天猫_商品排行'):
+        """  """
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {}
+        __res = []
+        for year in range(2024, datetime.datetime.today().year+1):
+            df = self.download.data_to_df(
+                db_name='生意参谋3',
+                table_name=f'商品排行_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df = pd.concat(__res, ignore_index=True)
+
+        projection = {}
+        df_set = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name=f'货品年份基准',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df.drop_duplicates(
+            subset=['日期', '店铺名称', '商品id', '商品访客数'], keep='last',
+            inplace=True, ignore_index=True)
+        df_set['商品id'] = df_set['商品id'].astype('int64')
+        df_set = df_set[['商品id', '上市年份']]
+        df['商品id'] = df['商品id'].astype('int64')
+        df_set.sort_values('商品id', ascending=False, ignore_index=True, inplace=True)
+
+        def check_year(item_id):
+            for item in df_set.to_dict(orient='records'):
+                if item_id > item['商品id']:
+                    return item['上市年份']
+
+        df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
+        p = df.pop('上市年份')
+        df.insert(loc=7, column='上市年月', value=p)
+        df['上市年份_f'] = df['上市年月'].apply(lambda x: '0' if x == '历史悠久' else re.findall(r'(\d+)年', x)[0])
+        p = df.pop('上市年份_f')
+        df.insert(loc=7, column='上市年份_f', value=p)
+
+        def check_jijie(string):
+            pattern = re.findall(r'\d+年(\d+)月', string)
+            if not pattern:
+                return '-'
+            pattern = pattern[0]
+            if 0 < int(pattern) < 4:
+                return '春'
+            elif 4 < int(pattern) < 6:
+                return '夏'
+            elif 6 < int(pattern) < 9:
+                return '秋'
+            else:
+                return '冬'
+
+        df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
+        p = df.pop('上市季节')
+        df.insert(loc=9, column='上市季节', value=p)
+
+        set_typ = {
+            '商品id': 'BIGINT',
+            '店铺名称': 'varchar(100)',
+            '商品名称': 'varchar(255)',
+            '主商品id': 'BIGINT',
+            '商品类型': 'varchar(50)',
+            '货号': 'varchar(50)',
+            '商品状态': 'varchar(50)',
+            '商品标签': 'varchar(50)',
+            '商品访客数': 'int',
+            '商品浏览量': 'int',
+            '平均停留时长': 'decimal(10,2)',
+            '商品详情页跳出率': 'decimal(6,4)',
+            '商品收藏人数': 'smallint',
+            '商品加购件数': 'smallint',
+            '商品加购人数': 'smallint',
+            '下单买家数': 'smallint',
+            '下单件数': 'smallint',
+            '下单金额': 'decimal(10,2)',
+            '下单转化率': 'decimal(10,4)',
+            '支付买家数': 'smallint',
+            '支付件数': 'int',
+            '支付金额': 'decimal(12,2)',
+            '商品支付转化率': 'decimal(10,4)',
+            '支付新买家数': 'smallint',
+            '支付老买家数': 'smallint',
+            '老买家支付金额': 'decimal(10,2)',
+            '聚划算支付金额': 'decimal(10,2)',
+            '访客平均价值': 'decimal(10,2)',
+            '成功退款金额': 'decimal(10,2)',
+            '竞争力评分': 'smallint',
+            '年累计支付金额': 'decimal(12,2)',
+            '月累计支付金额': 'decimal(12,2)',
+            '月累计支付件数': 'mediumint',
+            '搜索引导支付转化率': 'decimal(6,4)',
+            '搜索引导访客数': 'smallint',
+            '搜索引导支付买家数': 'smallint',
+            '结构化详情引导转化率': 'decimal(6,4)',
+            '结构化详情引导成交占比': 'decimal(6,4)',
+            '更新时间': 'timestamp',
+            '上市年份': 'varchar(100)',
+        }
+        min_date = df['日期'].min().strftime("%Y-%m-%d")
+        max_date = df['日期'].max().strftime("%Y-%m-%d")
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+
     # @try_except
     def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
         """ 新旧版取的字段是一样的 """
@@ -3489,12 +3624,6 @@ def date_table():
     df.rename(columns={'index': 'id'}, inplace=True)
     df['id'] = df['id'].apply(lambda x: x + 1)
 
-    m = mysql.MysqlUpload(
-        username=username,
-        password=password,
-        host=host,
-        port=port,
-    )
     set_typ = {
         '日期': 'date',
         '年': 'varchar(50)',
@@ -3509,7 +3638,18 @@ def date_table():
         '索引': 'int',
         '月索引': 'int',
     }
-    m.df_to_mysql(
+    m_engine.df_to_mysql(
+        df=df,
+        db_name='聚合数据',
+        table_name='日期表',
+        move_insert=True,  # 先删除，再插入
+        df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        count=None,
+        filename=None,  # 用来追踪处理进度
+        set_typ=set_typ,
+    )
+    company_engine.df_to_mysql(
         df=df,
         db_name='聚合数据',
         table_name='日期表',
@@ -3566,6 +3706,16 @@ def query2(months=1, less_dict=[]):
     sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
 
 
+def query3(months=1, less_dict=[]):
+    if months == 0:
+        print(f'months 不建议为 0 ')
+        return
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
+    sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
+
+
 def main(days=150, months=3):
     """
     days:    清理聚合数据的日期长度
@@ -3607,7 +3757,7 @@ def main(days=150, months=3):
         #     future.result()
 
     # 2. 数据聚合
-    query_list = [query1, query2]
+    query_list = [query1, query2, query3]
     # 使用 ThreadPoolExecutor 来并行运行
     with concurrent.futures.ThreadPoolExecutor() as executor:
         for func_query in query_list:
@@ -3648,10 +3798,12 @@ if __name__ == '__main__':
     #             ),
     #         }
 
-    # 3. 清理聚合数据
-    optimize_data.op_data(
-        db_name_lists=['聚合数据'],
-        days=100,  # 清理聚合数据的日期长度
-        is_mongo=False,
-        is_mysql=True,
-    )
+    # # 3. 清理聚合数据
+    # optimize_data.op_data(
+    #     db_name_lists=['聚合数据'],
+    #     days=100,  # 清理聚合数据的日期长度
+    #     is_mongo=False,
+    #     is_mysql=True,
+    # )
+
+    query3(months=2, less_dict=[])

mdbq/config/products.py

@@ -134,19 +134,18 @@ class Products:
             host=host,
             port=port,
         )
-        for dict_data in df.to_dict(orient='records'):
-            m_engine.dict_to_mysql(
-                db_name='属性设置3',
-                table_name='货品年份基准',
-                dict_data=dict_data,
-                # icm_update=['日期', '店铺名称', '宝贝id'],  # 唯一组合键
-                unique_main_key=['商品id'],
-                set_typ={
-                    '商品id': 'bigint',
-                    '平台': 'varchar(100)',
-                    '上市年份': 'varchar(100)',
-                },
-            )
+        m_engine.insert_many_dict(
+            db_name='属性设置3',
+            table_name='货品年份基准',
+            dict_data_list=df.to_dict(orient='records'),
+            # icm_update=['日期', '店铺名称', '宝贝id'],  # 唯一组合键
+            unique_main_key=['商品id'],
+            set_typ={
+                '商品id': 'bigint',
+                '平台': 'varchar(100)',
+                '上市年份': 'varchar(100)',
+            },
+        )
 
     def market_date(self, product_id: int):
         try:

mdbq/mysql/mysql.py

@@ -477,6 +477,7 @@ class MysqlUpload:
             """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
             # 处理插入的数据
             for dict_data in dict_data_list:
+                # print(dict_data)
                 dtypes, dict_data = self.cover_dict_dtypes(dict_data=dict_data)  # {'店铺名称': 'varchar(100)',...}
                 if icm_update:
                     """ 使用增量更新: 需确保 icm_update['主键'] 传进来的列组合是数据表中唯一，值不会发生变化且不会重复，否则可能产生覆盖 """
@@ -535,8 +536,7 @@ class MysqlUpload:
                         sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
                         cursor.execute(sql)
                     connection.commit()  # 提交数据库
-                    connection.close()
-                    return
+                    continue
 
                 # 构建 keys
                 keys_data = ', '.join([f'`{str(item)}`' for item in dict_data.keys()])

{mdbq-3.3.9.dist-info → mdbq-3.3.11.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.3.9
+Version: 3.3.11
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.3.9.dist-info → mdbq-3.3.11.dist-info}/RECORD

@@ -3,12 +3,12 @@ mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=o23iwJJSYkBz96iIaQVGq3tVY8ko9xuk3YjVnSNVIxE,166436
+mdbq/aggregation/query_data.py,sha256=_FgC3AG9uLiBhyNW38nSVnhsXXp5CJD-CKjNJP5E6Ro,173507
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/myconfig.py,sha256=EGymTlAimtHIDJ9egCtOehBEPOj6rea504kvsEZu64o,854
-mdbq/config/products.py,sha256=Ab6eaAUMUtjRL8z9NvYukyCjp3nAi4OYISY_IdPhAJ0,6279
+mdbq/config/products.py,sha256=Muj9B0pdFo16aTmE_7mbWgECpxdLZrl6UPsNWMK80eU,6202
 mdbq/config/set_support.py,sha256=xkZCX6y9Bq1ppBpJAofld4B2YtchA7fl0eT3dx3CrSI,777
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
 mdbq/dataframe/converter.py,sha256=lETYhT7KXlWzWwqguqhk6vI6kj4rnOBEW1lhqKy2Abc,5035
@@ -17,7 +17,7 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=M9DUeUCMPDngkwn9-ui0uTiFrvfNU1kLs22s5SmoNm0,31899
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=Ekqg-svOi2kbPIBBoEtL9Eg4-LJqyqoLprSSUy17MWU,99360
+mdbq/mysql/mysql.py,sha256=5c3hY-wHP24krhgbMHYlV-mbJNhnq5F8AeRUczWLjog,99358
 mdbq/mysql/recheck_mysql.py,sha256=ppBTfBLgkRWirMVZ31e_ZPULiGPJU7K3PP9G6QBZ3QI,8605
 mdbq/mysql/s_query.py,sha256=6L5Cp90zq13noZHjzSA5mqms_hD01c8GO1_NfbYDu6w,9252
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
@@ -33,7 +33,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=zOacjrJ3MvToyuugA68xB-oN6RKj8K3GxMKudnln9EA,22207
-mdbq-3.3.9.dist-info/METADATA,sha256=Hxz93TyF4f66Q4saABFf4zFEuQGP97GzJMTB35-caLE,243
-mdbq-3.3.9.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.3.9.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.3.9.dist-info/RECORD,,
+mdbq-3.3.11.dist-info/METADATA,sha256=b5tyR98uaR4rJQqSfISDixvaUGQDPYvFYc6X1X0JEGY,244
+mdbq-3.3.11.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.3.11.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.3.11.dist-info/RECORD,,