mdbq 3.4.1__py3-none-any.whl → 3.4.3__py3-none-any.whl

mdbq/aggregation/datashow.py

@@ -1,4 +1,5 @@
 # -*- coding: UTF-8 –*-
+import decimal
 import os
 import re
 import socket
@@ -121,14 +122,14 @@ class DataShow:
         df = pd.concat(__res, ignore_index=True)
         return df
 
-    def pov_city(self, db_name='生意经3', filename='销售地域分布', start_date=None, end_date=None, percentage=None):
+    def pov_city(self, db_name='生意经3', filename='销售地域分布', start_date=None, end_date=None, percent=None):
         """
         生意经  省份城市销售分析
         """
         if not start_date:
             start_date = self.start_date
         if not end_date:
-            end_date = self.end_date
+            end_date = self.today.strftime('%Y-%m-%d')
         pov_set = self.getdata(
             db_name='属性设置3',
             table_name=f'城市等级',
@@ -152,21 +153,6 @@ class DataShow:
             **{'销售额': ('销售额', np.sum), '退款额': ('退款额', np.sum)})
         df_city = df_city[df_city['销售额'] > 0]
 
-        # 将城市等级添加到df
-        pov_set = pov_set[['城市等级', '城市']]
-        pov_set.drop_duplicates(subset='城市', keep='last', inplace=True, ignore_index=True)
-        df_city = pd.merge(df_city, pov_set, left_on=['城市'], right_on=['城市'], how='left')
-        df_level = df_city.groupby(['店铺名称', '城市等级'], as_index=False).agg(
-            **{'销售额': ('销售额', np.sum), '退款额': ('退款额', np.sum)})
-        data_list = [('销售  按城市等级', df_level['城市等级'].tolist(), df_level['销售额'].tolist())]
-        if percentage:
-            print(df_city['销售额'].sum())
-            return
-            df_city1 = df_city[df_city['销售额'] > int(percentage)]
-            data_list += ('销售额top城市', df_city1['城市'].tolist(), df_city1['销售额'].tolist())
-            df_city2 = df_city[df_city['退款额'] > int(percentage)]
-            data_list += ('退款额top城市', df_city2['城市'].tolist(), df_city2['退款额'].tolist())
-
         # 省份
         pro_list = ['日期', '店铺名称', '省份', '销售额', '退款额']
         year = datetime.datetime.today().year
@@ -181,46 +167,122 @@ class DataShow:
         # print(df_pov[df_pov['省份'] == '广东'])
         df_pov = df_pov.groupby(['店铺名称', '省份'], as_index=False).agg(
             **{'销售额': ('销售额', np.sum), '退款额': ('退款额', np.sum)})
-        if percentage:
-            df_pov1 = df_pov[df_pov['销售额'] > int(percentage)]
-            data_list += [('销售  按省份', df_pov1['省份'].tolist(), df_pov1['销售额'].tolist())]  # 添加列表数据
-            df_pov2 = df_pov[df_pov['退款额'] > int(percentage)]
-            data_list += [('退款  按省份', df_pov2['省份'].tolist(), df_pov2['退款额'].tolist())]  # 添加列表数据
+        df_pov.drop_duplicates(subset='省份', keep='last', inplace=True, ignore_index=True)
+
+        # df_pov2： gmv 的饼图
+        df_pov['gmv销售'] = df_pov.apply(lambda x: x['销售额'] + x['退款额'], axis=1)
+        df_pov.sort_values(['gmv销售'], ascending=[False], ignore_index=True, inplace=True)
+        df_pov2 = df_pov.copy()
+        sales_sum = df_pov2['gmv销售'].sum()
+        df_pov2['省份'] = df_pov2.apply(lambda x: '其他' if (x['gmv销售'] / sales_sum) < percent else x['省份'], axis=1)
+
+        # df_pov3： 销售额的饼图
+        df_pov.sort_values(['销售额'], ascending=[False], ignore_index=True, inplace=True)
+        df_pov3 = df_pov.copy()
+        sales_sum = df_pov3['销售额'].sum()
+        df_pov3['省份'] = df_pov3.apply(lambda x: '其他' if (x['销售额'] / sales_sum) < 0.016 else x['省份'], axis=1)
+
+        # df_pov1： 省份 销售额 堆叠柱形图
+        df_pov1 = df_pov.copy()
+        df_pov1 = df_pov1.head(15)
+        pov_sales_sum = df_pov1['销售额'].tolist()
+        pov_refunds = df_pov1['退款额'].tolist()
+        percentages = df_pov1['gmv销售'] / df_pov1['gmv销售'].sum() * 100
+        bar_list = [('省份销售/退款', df_pov1['省份'].tolist(), pov_sales_sum, percentages, pov_refunds)]
+
+        # 将城市等级添加到df
+        pov_set = pov_set[['城市等级', '城市']]
+        pov_set.drop_duplicates(subset='城市', keep='last', inplace=True, ignore_index=True)
+        df_city = pd.merge(df_city, pov_set, left_on=['城市'], right_on=['城市'], how='left')
+        df_level = df_city.groupby(['店铺名称', '城市等级'], as_index=False).agg(
+            **{'销售额': ('销售额', np.sum), '退款额': ('退款额', np.sum)})
+        pie_list = [
+            ('按城市等级', df_level['城市等级'].tolist(), df_level['销售额'].tolist()),
+            ('净销售 top省份', df_pov3['省份'].tolist(), df_pov3['销售额'].tolist()),
+            ('GMV top省份', df_pov2['省份'].tolist(), df_pov2['gmv销售'].tolist())
+        ]
+
+        # df_city1： 城市 销售额 堆叠柱形图
+        df_city.drop_duplicates(subset='城市', keep='last', inplace=True, ignore_index=True)
+        df_city['gmv销售'] = df_city.apply(lambda x: x['销售额'] + x['退款额'], axis=1)
+        df_city.sort_values(['销售额'], ascending=[False], ignore_index=True, inplace=True)
+        df_city = df_city[df_city['城市'] != '其他']
+        percentages = df_city['gmv销售'] / df_city['gmv销售'].sum() * 100
+        df_city1 = df_city.head(15)
+        city_sales_sum = df_city1['销售额'].tolist()
+        city_refunds = df_city1['退款额'].tolist()
+        bar_list += [('城市销售/退款', df_city1['城市'].tolist(), city_sales_sum, percentages, city_refunds)]
 
         t_p1 = []
         for i in range(3):
-            t_p1.extend([{"type": "pie"}])  # 折线图类型
+            t_p1.extend([{"type": "pie"}])
         t_p2 = []
         for i in range(3):
-            t_p2.extend([{"type": "pie"}])  # 饼图类型
+            t_p2.extend([{"type": "bar"}])
         specs = [t_p1, t_p2]
         fig = make_subplots(rows=2, cols=3, specs=specs)
+
         row = 0
         col = 0
-        for item in data_list:
-            title, labels, values = item
-            # 计算每个扇区的百分比，并找出哪些扇区应该被保留
-            total = sum(values)
-            # 计算每个扇区的百分比，并找出哪些扇区应该被保留
-            percentage = 1.2  # 阈值百分比
-            filtered_indices = [i for i, value in enumerate(values) if
-                                (value / total) * 100 >= percentage]
-            # 提取被保留的扇区的标签和值
-            filtered_labels = [labels[i] for i in filtered_indices]
-            filtered_values = [values[i] for i in filtered_indices]
-            # 添加饼图
-            fig.add_trace(
-                go.Pie(
-                    labels=filtered_labels,
-                    values=filtered_values,
-                    name=title,
-                    textinfo='label+percent'
-                ),
-                row=row // 3 + 1,
-                col=col % 3 + 1,
-            )
+        for i in range(6):
+            if row // 3 == 0:
+                try:
+                    title, labels, values = pie_list[col % 3]
+                except:
+                    row += 1
+                    col += 1
+                    continue
+                # 添加饼图
+                fig.add_trace(
+                    go.Pie(
+                        labels=labels,
+                        values=values,
+                        name=title,
+                        textinfo='label+percent'
+                    ),
+                    row=row//3 + 1,
+                    col=col % 3 + 1,
+                )
+            else:
+                try:
+                    title, labels, values, percentages, refunds = bar_list[col % 3]
+                except:
+                    row += 1
+                    col += 1
+                    continue
+                bar = go.Bar(
+                    x=labels,
+                    y=values,
+                    name='销售额',
+                    orientation='v',  # 垂直柱形图
+                    # text=percentages.map('{:.1f}%'.format),  # 设置要显示的文本（百分比）
+                    # textposition = 'outside',  # 设置文本位置在柱形图外部
+                    width=0.55,  # 调整柱子最大宽度
+                    # marker_color='blue',
+                )
+                fig.add_trace(
+                    bar,
+                    row=row // 3 + 1,
+                    col=col % 3 + 1,
+                )
+                bar = go.Bar(
+                    x=labels,
+                    y=refunds,
+                    name='退款额',
+                    orientation='v',  # 垂直柱形图
+                    text=percentages.map('{:.1f}%'.format),  # 设置要显示的文本（百分比）
+                    textposition='outside',  # 设置文本位置在柱形图外部
+                    width=0.55,  # 调整柱子最大宽度
+                    # marker_color = 'red',
+                )
+                fig.add_trace(
+                    bar,
+                    row=row // 3 + 1,
+                    col=col % 3 + 1,
+                )
+
             x = 0.14 + 0.355 * (row % 3)
-            y = 1.04 - 0.59 * (row // 3)
+            y = 0.99 - 0.58 * (row // 3)
             fig.add_annotation(
                 text=title,
                 x=x,
@@ -229,31 +291,36 @@ class DataShow:
                 yref='paper',
                 showarrow=True,  # 显示箭头
                 align="left",  # 文本对齐方式
-                font=dict(size=14),
+                font=dict(size=14)
             )
             row += 1
             col += 1
+
         fig.update_layout(
             title_text=f'销售地域分布',
-            # xaxis_title='X Axis',
-            # yaxis_title='Y Axis',
-            # width=self.screen_width // 1.4,
-            # height=self.screen_width // 2,
             margin=dict(
                 l=100,  # 左边距
                 r=100,
-                t=100,  # 上边距
-                b=100,
+                t=80,  # 上边距
+                b=80,
             ),
             legend=dict(
-                # title='Legend Title',  # 图例标题
                 orientation='v',  # 图例方向（'h' 表示水平，'v' 表示垂直）
-                # x=0.5,  # 图例在图表中的 x 位置（0 到 1 的比例）
-                # y=1.02,  # 图例在图表中的 y 位置（稍微超出顶部以避免遮挡数据）
                 font=dict(
                     size=12  # 图例字体大小
                 )
-            )
+            ),
+            barmode='stack',  # stack(堆叠)、group(并列)、overlay(覆盖)、relative(相对)
+        )
+        fig.add_annotation(
+            text=f'统计时间周期: {start_date}~{end_date}     tips: 饼图剔除了销售<{f"{percent * 100}%"}的数据',
+            x=0.5,
+            y=-0.09,
+            xref='paper',  # # 相对于整个图表区域
+            yref='paper',
+            showarrow=False,  # 显示箭头
+            align="left",  # 文本对齐方式
+            font=dict(size=12),
         )
         fig.write_html(os.path.join(self.path, f'{filename}.html'))
 
@@ -369,7 +436,7 @@ class DataShow:
                 )
                 count2 += 1
         fig.update_layout(
-            title_text=f'店铺流量来源   最近数据: {max_date}',
+            title_text=f'店铺流量来源',
             # xaxis_title='X Axis',
             # yaxis_title='Y Axis',
             # width=self.screen_width // 1.4,
@@ -390,6 +457,16 @@ class DataShow:
                 )
             )
         )
+        fig.add_annotation(
+            text=f'最近数据日期: {max_date}',
+            x=0.5,
+            y=-0.25,
+            xref='paper',  # # 相对于整个图表区域
+            yref='paper',
+            showarrow=False,  # 显示箭头
+            align="left",  # 文本对齐方式
+            font=dict(size=12),
+        )
         fig.write_html(os.path.join(self.path, f'{filename}.html'))
 
     def tg(self, db_name='聚合数据', table_name='多店推广场景_按日聚合', pro_list=None, filename='多店推广场景', days=None, start_date=None, end_date=None):
@@ -582,8 +659,8 @@ class DataShow:
                 y=values,
                 name=table_name,
                 orientation='v',  # 垂直柱形图
-                text=percentages.map('{:.2f}%'.format),  # 设置要显示的文本（百分比）
-                # textposition = 'outside',  # 设置文本位置在柱形图外部
+                text=percentages.map('{:.1f}%'.format),  # 设置要显示的文本（百分比）
+                textposition = 'outside',  # 设置文本位置在柱形图外部
                 width=0.55  # 调整柱子最大宽度
             )
             row = count // 3 + 1
@@ -714,8 +791,8 @@ class DataShow:
                 y=values,
                 name=table_name,
                 orientation='v',  # 垂直柱形图
-                text=percentages.map('{:.2f}%'.format),  # 设置要显示的文本（百分比）
-                # textposition = 'outside',  # 设置文本位置在柱形图外部
+                text=percentages.map('{:.1f}%'.format),  # 设置要显示的文本（百分比）
+                textposition = 'outside',  # 设置文本位置在柱形图外部
                 width=0.55  # 调整柱子最大宽度
             )
             row = count // 3 + 1
@@ -811,7 +888,7 @@ def main():
     #         last_date=None,
     #         d_str='近30天',
     #     )
-    #
+
     # # 达摩盘人群画像
     # crowid_list = [
     #     40457166,
@@ -825,9 +902,9 @@ def main():
     ds.pov_city(
         db_name='生意经3',
         filename='销售地域分布',
-        start_date='2024-06-01',
-        end_date='2024-12-11',
-        percentage=1,
+        start_date='2024-12-01',
+        end_date=None,
+        percent=0.015,
     )
 
 if __name__ == '__main__':

mdbq/aggregation/query_data.py

@@ -1193,6 +1193,83 @@ class MysqlDatasQuery:
         )
         return True
 
+    def item_up(self, db_name='聚合数据', table_name='淘宝店铺货品'):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {}
+        df_set = self.download.data_to_df(
+            db_name='属性设置3',
+            table_name=f'货品年份基准',
+            start_date=start_date,
+            end_date=end_date,
+            projection={'商品id':1, '上市年份':1},
+        )
+        df = self.download.data_to_df(
+            db_name='市场数据3',
+            table_name=f'淘宝店铺数据',
+            start_date=start_date,
+            end_date=end_date,
+            projection=projection,
+        )
+        df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
+        df = df[df['日期'] == pd.to_datetime('2024-12-12')]
+
+        df_set['商品id'] = df_set['商品id'].astype('int64')
+        df['商品id'] = df['商品id'].astype('int64')
+        df_set.sort_values('商品id', ascending=False, ignore_index=True, inplace=True)
+
+        def check_year(item_id):
+            for item in df_set.to_dict(orient='records'):
+                if item_id > item['商品id']:
+                    return item['上市年份']
+
+        df['上市年份'] = df['商品id'].apply(lambda x: check_year(x))
+        p = df.pop('上市年份')
+        df.insert(loc=5, column='上市年份', value=p)
+        now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name}')
+        set_typ = {
+            '日期': 'date',
+            '店铺id': 'bigint',
+            '店铺名称': 'varchar(255)',
+            '商家id': 'bigint',
+            '商品id': 'bigint',
+            '商品标题': 'varchar(255)',
+            '商品链接': 'varchar(255)',
+            '商品图片': 'varchar(255)',
+            '销量': 'varchar(50)',
+            '页面价': 'int',
+            'data_sku': 'varchar(1000)',
+            '更新时间': 'timestamp',
+            '上市年份': 'varchar(50)',
+        }
+        m_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+        company_engine.df_to_mysql(
+            df=df,
+            db_name=db_name,
+            table_name=table_name,
+            # icm_update=['日期', '一级来源', '二级来源', '三级来源', '访客数'],  # 增量更新, 在聚合数据中使用，其他不要用
+            move_insert=True,  # 先删除，再插入
+            df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
+            drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+            count=None,
+            filename=None,  # 用来追踪处理进度
+            reset_id=True,  # 是否重置自增列
+            set_typ=set_typ,
+        )
+
+
     def spph(self, db_name='聚合数据', table_name='天猫_商品排行'):
         """  """
         start_date, end_date = self.months_data(num=self.months)
@@ -3840,7 +3917,7 @@ if __name__ == '__main__':
     sdq = MysqlDatasQuery()  # 实例化数据处理类
     sdq.months = 1  # 设置数据周期， 1 表示近 2 个月
     sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
-    sdq.tg_rqbb(db_name='聚合数据', table_name='天猫_人群报表')
+    sdq.item_up()
 
     # string = '30-34岁,35-39岁,40-49岁'
     # d = "~".join(re.findall(r'(\d+)\D.*\D(\d+)岁', string)[0])

{mdbq-3.4.1.dist-info → mdbq-3.4.3.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.4.1
+Version: 3.4.3
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.4.1.dist-info → mdbq-3.4.3.dist-info}/RECORD

@@ -2,9 +2,9 @@ mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
-mdbq/aggregation/datashow.py,sha256=Hwpt9REb7Iep_ptdVw0TqebYaJNNyvNs6dyOB_LqozM,34893
+mdbq/aggregation/datashow.py,sha256=_pyv7ZmKpBp04bdE_N_RTtNbyBXHcOA-TAQ1vFxl8p8,37881
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
-mdbq/aggregation/query_data.py,sha256=FiNZhL5_El2B5ADfCPGUZXsE2iZd3UmGml9Te9qJIpU,175364
+mdbq/aggregation/query_data.py,sha256=9NALeHTP9tblOEPyntLBRtdroLG_qN9qWi34Hg4rXFM,178891
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -34,7 +34,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=v7VO5gtEXR6_4Q6ujbTyu1FHu7TXHcwSQ6hIO249YH0,22208
-mdbq-3.4.1.dist-info/METADATA,sha256=n1MFzq9VZzCy63dJOU-fcJSZ0lZTXawBaIW5vXngzCE,243
-mdbq-3.4.1.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.4.1.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.4.1.dist-info/RECORD,,
+mdbq-3.4.3.dist-info/METADATA,sha256=O8d3FiyMrxJoF1-_OcK-YsIQ01m3hQaGxvn8Pk2UoYY,243
+mdbq-3.4.3.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.4.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.4.3.dist-info/RECORD,,