mdbq 3.4.3__py3-none-any.whl → 3.4.4__py3-none-any.whl

mdbq/aggregation/datashow.py

@@ -4,20 +4,36 @@ import os
 import re
 import socket
 import platform
+import getpass
 import datetime
 import time
 from mdbq.config import myconfig
 from mdbq.mysql import mysql
 from mdbq.mysql import s_query
+from mdbq.other import ua_sj
 import pandas as pd
 import numpy as np
 import plotly.express as px
 import plotly.graph_objects as go
 from plotly.subplots import make_subplots
 import tkinter as tk
+import requests
+from io import BytesIO
+from PIL import Image
+import base64
+import matplotlib.pyplot as plt
 
 from sqlalchemy.sql.functions import count
 
+if platform.system() == 'Windows':
+    D_PATH = os.path.join(f'C:\\Users\\{getpass.getuser()}\\Downloads')
+elif platform.system() == 'Linux':
+    D_PATH = 'Downloads'
+    if not os.path.exists(D_PATH):
+        os.makedirs(D_PATH)
+else:
+    D_PATH = os.path.join(f'/Users/{getpass.getuser()}/Downloads')
+
 m_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
 company_engine = mysql.MysqlUpload(username='', password='', host='', port=0, charset='utf8mb4')
 
@@ -92,7 +108,7 @@ else:
 
 class DataShow:
     def __init__(self):
-        self.path = '/Users/xigua/Downloads/html文件'
+        self.path = os.path.join(D_PATH, 'http_server')
         if not os.path.isdir(self.path):
             os.makedirs(self.path)
         root = tk.Tk()
@@ -105,8 +121,10 @@ class DataShow:
 
     def getdata(self, db_name, table_name, pro_list, start_date=None, end_date=None):
         download = s_query.QueryDatas(username=username, password=password, host=host, port=port)
-        if not start_date or not end_date:
-            start_date, end_date = '2000-01-01', '2099-12-31'  # 从数据库提取数据，不能是 self.start_date
+        if not start_date:
+            start_date = '2000-01-01'  # 从数据库提取数据，不能是 self.start_date
+        if not end_date:
+            end_date = self.today.strftime('%Y-%m-%d')
         projection = {}
         [projection.update({k: 1}) for k in pro_list]
         __res = []
@@ -722,7 +740,7 @@ class DataShow:
             align="left",  # 文本对齐方式
             font=dict(size=12),
         )
-        fig.write_html(os.path.join(self.path, f'{filename}_{item_id}.html'))
+        fig.write_html(os.path.join(self.path, f'{filename}.html'))
 
     def crowd(self, db_name='人群画像2', table_list=None, pro_list=None, filename='达摩盘人群画像', crowd_id=None, last_date=None):
         # item_ids = [696017020186, 714066010148, 830890472575]
@@ -861,43 +879,368 @@ class DataShow:
             align="left",  # 文本对齐方式
             font=dict(size=12),
         )
-        fig.write_html(os.path.join(self.path, f'{filename}_{crowd_name[:15]}.html'))
+        fig.write_html(os.path.join(self.path, f'{filename}.html'))
+
+    def item_show(self, db_name='聚合数据', table_list=None, pro_list=None, filename='商品数据', start_date=None, end_date=None):
+        if not pro_list:
+            pro_list = ['日期', '店铺名称', '营销场景', '商品id', '花费', '点击量', '加购量', '成交笔数', '成交金额']
+        table_name = '天猫_主体报表'
+        df = self.getdata(
+            db_name=db_name,
+            table_name=table_name,
+            pro_list=pro_list,
+            start_date=start_date,
+            end_date=end_date
+        )
+        df_set = self.getdata(
+            db_name='属性设置3',
+            table_name='商品sku属性',
+            pro_list=['商品id', '白底图'],
+            start_date='2020-01-01',
+            end_date=end_date
+        )
+        df_set = df_set[df_set['白底图'] != '0']
+        df_set.drop_duplicates(subset='商品id', keep='last', inplace=True, ignore_index=True)
+
+        if len(df) == 0:
+            print(f'数据不能为空: {table_name}')
+            return
+        df['日期'] = pd.to_datetime(df['日期'])
+        min_date = df['日期'].min().strftime('%Y-%m-%d')
+        max_date = df['日期'].max().strftime('%Y-%m-%d')
+
+        df = df.groupby(['店铺名称', '商品id'], as_index=False).agg(
+            **{
+                '花费': ('花费', np.sum),
+                '点击量': ('点击量', np.sum),
+                '加购量': ('加购量', np.sum),
+                '成交笔数': ('成交笔数', np.sum),
+                '成交金额': ('成交金额', np.sum),
+            })
+        cost_sum = df['花费'].sum()
+        df['花费占比'] = df.apply(lambda x: f'{round(x['花费']/cost_sum * 100, 1)}%', axis=1)
+        df['roi投产'] = df.apply(lambda x: f'{round(x['成交金额'] / x['花费'], 2)}' if x['花费'] > 0 else 0, axis=1)
+        df = pd.merge(df, df_set, left_on='商品id', right_on='商品id', how='left')
+        df.sort_values(['花费'], ascending=[False], ignore_index=True, inplace=True)
+        df = df.head(100)
+        df.reset_index(inplace=True)
+        df['index'] = df['index'] + 1
+        df.rename(columns={'index': '序号'}, inplace=True)
+
+        # 创建临时目录来存储图片
+        temp_dir = os.path.join(self.path, 'temp_images')
+        os.makedirs(temp_dir, exist_ok=True)
+
+        df_new = df.copy()
+        df_new = df_new.head(10)
+        pic_title1 = '商品花费占比'
+        img_file1 = os.path.join(temp_dir, f'{pic_title1}.png')
+        if not os.path.isfile(img_file1):
+            font_properties = {
+                'family': 'PingFang HK',  # 字体类型  PingFang HK, Hiragino Sans GB, Arial Unicode MS
+                'size': 12,  # 字体大小
+                'weight': 'light',  # 字体粗细（'light', 'normal', 'medium', 'semibold', 'bold', 'heavy', 'black'）
+                'style': 'italic'  # 字体样式（'normal', 'italic', 'oblique'）
+            }
+            fig, ax = plt.subplots()
+            ax.pie(df_new['花费'], labels=df_new['商品id'], autopct='%1.1f%%', startangle=140)
+            ax.set_title(pic_title1, fontdict=font_properties)  # 设置饼图的标题
+            ax.axis('equal')  # 确保饼图是圆形的
+            plt.savefig(img_file1)  # 保存饼图为PNG文件
+            plt.close()
+
+        # # 下载图片并保存到临时目录
+        # for i, url in enumerate(df['白底图']):
+        #     item_id = df['商品id'].tolist()[i]
+        #     img_path = os.path.join(temp_dir, f'image_{item_id}.jpg')
+        #     if os.path.isfile(img_path):
+        #         df.at[i, '白底图'] = img_path
+        #         continue
+        #     response = requests.get(url, headers={'User-Agent': ua_sj.get_ua()})
+        #     if response.status_code == 200:
+        #         with open(img_path, 'wb') as f:
+        #             f.write(response.content)
+        #         # 更新 DataFrame 中的图片地址列为本地路径
+        #         df.at[i, '白底图'] = img_path
+        #     else:
+        #         print(f"Failed to download image at URL: {url}")
+
+        # 转换图片列
+        def convert_image_to_html(image_url_or_base64):
+            if os.path.isfile(image_url_or_base64):
+                # image_url_or_base64 是本地图片, 将图片路径转换为 Base64 编码的 <img> 标签
+                with open(image_url_or_base64, "rb") as image_file:
+                    encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
+                img_tag = (f'<img class="img" src="data:image/jpeg;base64,{encoded_string}" alt="Image">')
+                return img_tag
+            else:
+                # image_url_or_base64 是在线 url 或者 Base64编码的图片
+                return f'<img class="img" src="{image_url_or_base64}" alt="Image">'
+
+        # 应用这个函数到图片列
+        df['Image_HTML'] = df['白底图'].apply(convert_image_to_html)
+
+        local_file1 = os.path.join(self.path, '多店推广场景.html')
+        local_file2 = os.path.join(self.path, '多店推广场景.html')
+        local_file3 = os.path.join(self.path, '多店推广场景.html')
+        local_file4 = os.path.join(self.path, '多店推广场景.html')
+        local_file5 = os.path.join(self.path, '多店推广场景.html')
+
+        # 创建 HTML
+        html_template = """
+        <head>
+        <meta charset="UTF-8">
+        <meta name="viewport" content="width=device-width, initial-scale=1.0">
+        <title>商品推广数据</title>
+        <style>
+          .centered-table {
+              margin-top: 20px;
+              margin-down: 100px;
+              margin-left: auto;
+              margin-right: auto;
+              border-collapse: collapse; /* 可选，用于合并表格边框 */
+              width: 60%; /* 设置表格宽度为父容器宽度的50%，或者你可以使用固定宽度 */
+          }
+          thead th {
+            background-color: #f2f2f2; /* 设置表头背景颜色 */
+            font-size: 16px; /* 增大表头字体 */
+            font-weight: bold; /* 加粗表头字体 */
+            text-align: center; /* 设置表头文本居中 */
+          }
+          caption {
+            caption-side: top; /* 标题显示在表格上方 */
+            font-size: 24px; /* 设置标题字体大小 */
+            font-weight: bold; /* 设置标题字体加粗 */
+            text-align: center; /* 设置标题文本居中 */
+            margin-bottom: 20px; /* 为标题和表格之间添加间距 */
+          }
+          td, th {
+            border: 1px solid #ddd; /* 单元格边框 */
+            line-height: 1em; /* 设置行高为2倍的当前字体大小 */
+            padding: 5 5px; /* 设置左右边距，内边距增加单元格的整体高度 */
+            text-align: center; /* 设置文本对齐方式 */
+          }
+          img {
+            width: 80px; /* 设置图片宽度 */
+            height: auto; /* 高度自动调整以保持宽高比 */
+            /* 如果需要垂直居中且图片是块级元素，则可以使用以下样式（但通常不是必需的，因为图片默认是内联元素）
+            text-align: center; /* 水平居中（适用于内联或块级子元素） */
+            display: block;
+            margin: 0 auto; */
+          }
+          button {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+          }
+          .centered-text {
+            position: fixed; /* 固定定位 */
+            bottom: 15px; /* 距离页面顶部10px（可根据需要调整） */
+            right: calc(25vw - 420px); /* 距离页面右侧1/4宽度减去文本自身的宽度和可能的边距（这里假设文本宽度和边距共10px，实际情况需根据文本样式调整） */
+            /* 如果文本宽度未知或可变，可以只使用25vw并接受可能的溢出 */
+            /* right: 25vw; */ /* 直接使用25vw定位，不考虑文本宽度 */
+            padding: 3px 10px; /* 可选的文本内边距 */
+            background-color: rgba(255, 255, 255, 0.8); /* 可选的背景色和透明度 */
+            box-shadow: 0 0 10px rgba(0, 0, 0, 0.1); /* 可选的阴影效果 */
+          }
+        
+          .image-container {
+            position: absolute; /* 使用绝对定位 */
+            width: 15%; /* 设置图片宽度 */
+            left: 10px; /* 距离页面左侧20px */
+            top: 50%; /* 距离页面顶部50% */
+            transform: translateY(-50%); /* 向上移动自身高度的一半，以实现垂直居中 */
+          }
+          .image-container img {
+            width: 20%; /* 设置图片宽度 */
+            height: auto; /* 高度自动调整以保持宽高比 */
+            /* 如果需要垂直居中且图片是块级元素，则可以使用以下样式（但通常不是必需的，因为图片默认是内联元素）*/
+            display: flex;
+            flex-direction: column;
+            align-items: flex-start;
+          }
+          .button1 {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+            position: absolute; /* 使用绝对定位 */
+            left: 5%; /* 距离页面左侧20px */
+            top: 10%; /* 距离页面顶部50% */
+          }
+          .button2 {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+            position: absolute; /* 使用绝对定位 */
+            left: 5%; /* 距离页面左侧20px */
+            top: 17%; /* 距离页面顶部50% */
+          }
+          .button3 {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+            position: absolute; /* 使用绝对定位 */
+            left: 5%; /* 距离页面左侧20px */
+            top: 24%; /* 距离页面顶部50% */
+          }
+          .button4 {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+            position: absolute; /* 使用绝对定位 */
+            left: 5%; /* 距离页面左侧20px */
+            top: 31%; /* 距离页面顶部50% */
+          }
+          .button5 {
+            border: none;
+            padding: 8px 12px;
+            font-size: 14px;
+            cursor: pointer;
+            position: absolute; /* 使用绝对定位 */
+            left: 5%; /* 距离页面左侧20px */
+            top: 38%; /* 距离页面顶部50% */
+          }
+          
+        </style>
+        </head>
+        
+        <div class="div-button">
+            <!-- 创建一个按钮 -->
+            <button id="button1" class="button1">多店推广场景</button>
+            <button id="button2" class="button2">店铺流量来源</button>
+            <button id="button3" class="button3">达摩盘人群画像</button>
+            <button id="button4" class="button4">商品人群画像</button>
+            <button id="button5" class="button5">销售地域分布</button>
+        </div>
+        <script>
+            // 获取按钮元素
+            var tg = document.getElementById('button1');
+            var dpll = document.getElementById('button2');
+            var dmp1 = document.getElementById('button3');
+            var dmp2 = document.getElementById('button4');
+            var syj = document.getElementById('button5');
+            tg.addEventListener('click', function() {
+                window.open('{local_file1}', '_blank');
+            });
+            dpll.addEventListener('click', function() {
+                window.open('{local_file2}', '_blank');
+            });
+            dmp1.addEventListener('click', function() {
+                window.open('{local_file3}', '_blank');
+            });
+            dmp2.addEventListener('click', function() {
+                window.open('{local_file4}', '_blank');
+            });
+            syj.addEventListener('click', function() {
+                window.open('{local_file5}', '_blank');
+            });
+        </script>
+        
+        <p class="centered-text">统计周期</p>
+        <!--
+        <img class="image-container" src="{img_file1}" alt="图片">
+        -->
+        <table class="centered-table">
+          <thead>
+            <caption>天猫商品推广数据</caption>
+            <div>
+                <tr>
+                  <th>序号</th>
+                  <th>商品</th>
+                  <th>店铺名称</th>
+                  <th>商品id</th>
+                  <th>花费</th>
+                  <th>花费占比</th>
+                  <th>点击量</th>
+                  <th>加购量</th>
+                  <th>成交笔数</th>
+                  <th>成交金额</th>
+                  <th>roi投产</th>
+                </tr>
+            </div>
+          </thead>
+          <tbody>
+            {rows}
+          </tbody>
+        </table>
+        """
+        rows = []
+        for _, row in df.iterrows():
+            row_html = (f'<tr>'
+                        f'<td>{row["序号"]}</td>'
+                        f'<td>{row["Image_HTML"]}</td>'
+                        f'<td>{row["店铺名称"]}</td>'
+                        f'<td>{row["商品id"]}</td>'
+                        f'<td>{row["花费"]}</td>'
+                        f'<td>{row["花费占比"]}</td>'
+                        f'<td>{row["点击量"]}</td>'
+                        f'<td>{row["加购量"]}</td>'
+                        f'<td>{row["成交笔数"]}</td>'
+                        f'<td>{row["成交金额"]}</td>'
+                        f'<td>{row["roi投产"]}</td>'
+                        f'</tr>'
+                        )
+            rows.append(row_html)
+
+        final_html = html_template.replace('{rows}', ''.join(rows))
+        final_html = final_html.replace('统计周期', f'统计周期: {min_date} ~ {max_date}')
+        final_html = final_html.replace('{local_file1}', local_file1)
+        final_html = final_html.replace('{local_file2}', local_file2)
+        final_html = final_html.replace('{local_file3}', local_file3)
+        final_html = final_html.replace('{local_file4}', local_file4)
+        final_html = final_html.replace('{local_file5}', local_file5)
+        file = os.path.join(self.path, f'{filename}.html')
+        with open(file, 'w') as f:
+            f.write(final_html)
 
 
 def main():
     ds = DataShow()
 
-    # # 店铺流量来源
-    # ds.dpll()
-    # # 多店聚合推广数据
-    # ds.tg(
-    #     days=15,
-    #     # start_date='2024-11-01',
-    #     # end_date='2024-11-30',
-    # )
-    #
-    # # 商品人群画像
-    # item_id_list = [
-    #     839148235697,
-    # ]
-    # for item_id in item_id_list:
-    #     ds.item_crowd(
-    #         item_id=item_id,
-    #         lab='全部渠道',
-    #         option='商详浏览',
-    #         last_date=None,
-    #         d_str='近30天',
-    #     )
-
-    # # 达摩盘人群画像
-    # crowid_list = [
-    #     40457166,
-    # ]
-    # for crowid in crowid_list:
-    #     ds.crowd(
-    #         crowd_id=crowid,
-    #         last_date=None,
-    #     )
+    ds.item_show(
+        db_name='聚合数据',
+        table_list=None,
+        pro_list=None,
+        filename='天猫商品推广数据',
+        start_date='2024-12-01',
+        end_date=None,
+    )
+    # 店铺流量来源
+    ds.dpll()
+    # 多店聚合推广数据
+    ds.tg(
+        days=15,
+        # start_date='2024-11-01',
+        # end_date='2024-11-30',
+    )
+
+    # 商品人群画像
+    item_id_list = [
+        839148235697,
+    ]
+    for item_id in item_id_list:
+        ds.item_crowd(
+            item_id=item_id,
+            lab='全部渠道',
+            option='商详浏览',
+            last_date=None,
+            d_str='近30天',
+        )
+
+    # 达摩盘人群画像
+    crowid_list = [
+        40457166,
+    ]
+    for crowid in crowid_list:
+        ds.crowd(
+            crowd_id=crowid,
+            last_date=None,
+        )
 
     ds.pov_city(
         db_name='生意经3',
@@ -907,5 +1250,6 @@ def main():
         percent=0.015,
     )
 
+
 if __name__ == '__main__':
     main()

{mdbq-3.4.3.dist-info → mdbq-3.4.4.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.4.3
+Version: 3.4.4
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.4.3.dist-info → mdbq-3.4.4.dist-info}/RECORD

@@ -2,7 +2,7 @@ mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation.py,sha256=-yzApnlqSN2L0E1YMu5ml-W827qpKQvWPCOI7jj2kzY,80264
-mdbq/aggregation/datashow.py,sha256=_pyv7ZmKpBp04bdE_N_RTtNbyBXHcOA-TAQ1vFxl8p8,37881
+mdbq/aggregation/datashow.py,sha256=XTIhjlbC8MUDAq1XnWXco-IfL31FJO0Kgw9z3QoM2Jc,53219
 mdbq/aggregation/optimize_data.py,sha256=RXIv7cACCgYyehAxMjUYi_S7rVyjIwXKWMaM3nduGtA,3068
 mdbq/aggregation/query_data.py,sha256=9NALeHTP9tblOEPyntLBRtdroLG_qN9qWi34Hg4rXFM,178891
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
@@ -34,7 +34,7 @@ mdbq/pbix/refresh_all.py,sha256=OBT9EewSZ0aRS9vL_FflVn74d4l2G00wzHiikCC4TC0,5926
 mdbq/pbix/refresh_all_old.py,sha256=_pq3WSQ728GPtEG5pfsZI2uTJhU8D6ra-htIk1JXYzw,7192
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=v7VO5gtEXR6_4Q6ujbTyu1FHu7TXHcwSQ6hIO249YH0,22208
-mdbq-3.4.3.dist-info/METADATA,sha256=O8d3FiyMrxJoF1-_OcK-YsIQ01m3hQaGxvn8Pk2UoYY,243
-mdbq-3.4.3.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-3.4.3.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.4.3.dist-info/RECORD,,
+mdbq-3.4.4.dist-info/METADATA,sha256=owU691dFqOy3Rv_GlFjck7sWdx5R8ZeFZkfkWtpJBcE,243
+mdbq-3.4.4.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
+mdbq-3.4.4.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.4.4.dist-info/RECORD,,