mdbq 3.3.10__py3-none-any.whl → 3.3.12__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -1164,6 +1164,141 @@ class MysqlDatasQuery:
         )
         return True
 
+    def spph(self, db_name='聚合数据', table_name='天猫_商品排行'):
+        """  """
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {}
+        __res = []
+        for year in range(2024, datetime.datetime.today().year+1):
+            df = self.download.data_to_df(
+                db_name='生意参谋3',
+                table_name=f'商品排行_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df = pd.concat(__res, ignore_index=True)
+
+        projection = {}
+        df_set = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name=f'货品年份基准',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df.drop_duplicates(
+            subset=['日期', '店铺名称', '商品id', '商品访客数'], keep='last',
+            inplace=True, ignore_index=True)
+        df_set['商品id'] = df_set['商品id'].astype('int64')
+        df_set = df_set[['商品id', '上市年份']]
+        df['商品id'] = df['商品id'].astype('int64')
+        df_set.sort_values('商品id', ascending=False, ignore_index=True, inplace=True)
+
+        def check_year(item_id):
+            for item in df_set.to_dict(orient='records'):
+                if item_id > item['商品id']:
+                    return item['上市年份']
+
+        df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
+        p = df.pop('上市年份')
+        df.insert(loc=7, column='上市年月', value=p)
+        df['上市年份_f'] = df['上市年月'].apply(lambda x: '0' if x == '历史悠久' else re.findall(r'(\d+)年', x)[0])
+        p = df.pop('上市年份_f')
+        df.insert(loc=7, column='上市年份_f', value=p)
+
+        def check_jijie(string):
+            pattern = re.findall(r'\d+年(\d+)月', string)
+            if not pattern:
+                return '-'
+            pattern = pattern[0]
+            if 0 < int(pattern) < 4:
+                return '春'
+            elif 4 < int(pattern) < 6:
+                return '夏'
+            elif 6 < int(pattern) < 9:
+                return '秋'
+            else:
+                return '冬'
+
+        df['上市季节'] = df['上市年月'].apply(lambda x: check_jijie(x))
+        p = df.pop('上市季节')
+        df.insert(loc=9, column='上市季节', value=p)
+
+        set_typ = {
+            '商品id': 'BIGINT',
+            '店铺名称': 'varchar(100)',
+            '商品名称': 'varchar(255)',
+            '主商品id': 'BIGINT',
+            '商品类型': 'varchar(50)',
+            '货号': 'varchar(50)',
+            '商品状态': 'varchar(50)',
+            '商品标签': 'varchar(50)',
+            '商品访客数': 'int',
+            '商品浏览量': 'int',
+            '平均停留时长': 'decimal(10,2)',
+            '商品详情页跳出率': 'decimal(6,4)',
+            '商品收藏人数': 'smallint',
+            '商品加购件数': 'smallint',
+            '商品加购人数': 'smallint',
+            '下单买家数': 'smallint',
+            '下单件数': 'smallint',
+            '下单金额': 'decimal(10,2)',
+            '下单转化率': 'decimal(10,4)',
+            '支付买家数': 'smallint',
+            '支付件数': 'int',
+            '支付金额': 'decimal(12,2)',
+            '商品支付转化率': 'decimal(10,4)',
+            '支付新买家数': 'smallint',
+            '支付老买家数': 'smallint',
+            '老买家支付金额': 'decimal(10,2)',
+            '聚划算支付金额': 'decimal(10,2)',
+            '访客平均价值': 'decimal(10,2)',
+            '成功退款金额': 'decimal(10,2)',
+            '竞争力评分': 'smallint',
+            '年累计支付金额': 'decimal(12,2)',
+            '月累计支付金额': 'decimal(12,2)',
+            '月累计支付件数': 'mediumint',
+            '搜索引导支付转化率': 'decimal(6,4)',
+            '搜索引导访客数': 'smallint',
+            '搜索引导支付买家数': 'smallint',
+            '结构化详情引导转化率': 'decimal(6,4)',
+            '结构化详情引导成交占比': 'decimal(6,4)',
+            '更新时间': 'timestamp',
+            '上市年份': 'varchar(100)',
+        }
+        min_date = df['日期'].min().strftime("%Y-%m-%d")
+        max_date = df['日期'].max().strftime("%Y-%m-%d")
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+
     # @try_except
     def dplyd(self, db_name='聚合数据', table_name='店铺流量来源构成'):
         """ 新旧版取的字段是一样的 """
@@ -3489,12 +3624,6 @@ def date_table():
     df.rename(columns={'index': 'id'}, inplace=True)
     df['id'] = df['id'].apply(lambda x: x + 1)
 
-    m = mysql.MysqlUpload(
-        username=username,
-        password=password,
-        host=host,
-        port=port,
-    )
     set_typ = {
         '日期': 'date',
         '年': 'varchar(50)',
@@ -3509,7 +3638,18 @@ def date_table():
         '索引': 'int',
         '月索引': 'int',
     }
-    m.df_to_mysql(
+    m_engine.df_to_mysql(
+        df=df,
+        db_name='聚合数据',
+        table_name='日期表',
+        move_insert=True,  # 先删除，再插入
+        df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+        drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+        count=None,
+        filename=None,  # 用来追踪处理进度
+        set_typ=set_typ,
+    )
+    company_engine.df_to_mysql(
         df=df,
         db_name='聚合数据',
         table_name='日期表',
@@ -3566,15 +3706,25 @@ def query2(months=1, less_dict=[]):
     sdq.deeplink(db_name='聚合数据', table_name='达摩盘_deeplink人群洞察')
 
 
+def query3(months=1, less_dict=[]):
+    if months == 0:
+        print(f'months 不建议为 0 ')
+        return
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = months  # 设置数据周期， 1 表示近 2 个月
+    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
+    sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
+
+
 def main(days=150, months=3):
     """
-    days:    清理聚合数据的日期长度
+    days:    清理聚合数据的日期长度，days 最好大于 3 * (months +1)
     months:   生成聚合数据的长度
     """
     # 1. 更新日期表  更新货品年份基准表， 属性设置 3 - 货品年份基准
     date_table()
-    p = products.Products()
-    p.to_mysql()
+    # p = products.Products()
+    # p.to_mysql()
 
     # 清理非聚合数据库
     db_list = [
@@ -3607,7 +3757,7 @@ def main(days=150, months=3):
         #     future.result()
 
     # 2. 数据聚合
-    query_list = [query1, query2]
+    query_list = [query1, query2, query3]
     # 使用 ThreadPoolExecutor 来并行运行
     with concurrent.futures.ThreadPoolExecutor() as executor:
         for func_query in query_list:
@@ -3648,10 +3798,12 @@ if __name__ == '__main__':
     #             ),
     #         }
 
-    # 3. 清理聚合数据
-    optimize_data.op_data(
-        db_name_lists=['聚合数据'],
-        days=100,  # 清理聚合数据的日期长度
-        is_mongo=False,
-        is_mysql=True,
-    )
+    # # 3. 清理聚合数据
+    # optimize_data.op_data(
+    #     db_name_lists=['聚合数据'],
+    #     days=100,  # 清理聚合数据的日期长度
+    #     is_mongo=False,
+    #     is_mysql=True,
+    # )
+
+    query3(months=2, less_dict=[])

{mdbq-3.3.10.dist-info → mdbq-3.3.12.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.3.10
+Version: 3.3.12
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.3.10.dist-info → mdbq-3.3.12.dist-info}/RECORD

@@ -3,7 +3,7 @@ mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=o23iwJJSYkBz96iIaQVGq3tVY8ko9xuk3YjVnSNVIxE,166436
+mdbq/aggregation/query_data.py,sha256=tXQzRkexIbVzwYwPO2Kp3HAhqfTPDRc-ZLeBKlGrvYw,173547
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -33,7 +33,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=zOacjrJ3MvToyuugA68xB-oN6RKj8K3GxMKudnln9EA,22207
-mdbq-3.3.10.dist-info/METADATA,sha256=xe39hYEl86qaHleQTrefnW8RpdZMCuROqXGUxutV4Bw,244
-mdbq-3.3.10.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.3.10.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.3.10.dist-info/RECORD,,
+mdbq-3.3.12.dist-info/METADATA,sha256=3wdTVOw51cYbBG2GJ9m_eMaJtgs4-ZpFOxV6ePkajDQ,244
+mdbq-3.3.12.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.3.12.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.3.12.dist-info/RECORD,,