mdbq 3.7.21__py3-none-any.whl → 3.7.23__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -22,7 +22,7 @@ import sys
 
 """
 
-content = config.read_config(file_path=os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'spd.ini'))
+content = config.read_config(file_path=os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'spd.txt'))
 username, password, host, port = content['username'], content['password'], content['host'], content['port']
 m_engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
 
@@ -1011,6 +1011,43 @@ class MysqlDatasQuery:
         )
         return True
 
+    def tg_cjzb_qzt(self, is_maximize=True):
+        start_date, end_date = self.months_data(num=self.months)
+        projection = {
+            '日期': 1,
+            '场景名字': 1,
+            '计划id': 1,
+            '全站花费': 1,
+            '全站观看次数': 1,
+            '全站宝贝点击量': 1,
+            '全站成交金额': 1,
+            '全站成交笔数': 1,
+            '店铺名称': 1,
+        }
+        __res = []
+        for year in range(2025, datetime.datetime.today().year + 1):
+            df = self.download.data_to_df(
+                db_name='推广数据2',
+                table_name=f'超级直播_全站推广报表_{year}',
+                start_date=start_date,
+                end_date=end_date,
+                projection=projection,
+            )
+            __res.append(df)
+        df = pd.concat(__res, ignore_index=True)
+        if len(df) == 0:
+            return pd.DataFrame()
+        # 这里的重命名要注意，因为 tg_cjzb 函数还要重命名一次，注意改为 tg_cjzb 命名前的列名
+        df.rename(columns={
+            '全站花费': '花费',
+            '全站观看次数': '观看次数',
+            '全站宝贝点击量': '点击量',
+            '全站成交金额': '总成交金额',
+            '全站成交笔数': '总成交笔数'
+        }, inplace=True)
+        return df
+
+
     @try_except
     def tg_cjzb(self, db_name='聚合数据', table_name='天猫_超级直播', is_maximize=True):
         start_date, end_date = self.months_data(num=self.months)
@@ -1042,6 +1079,13 @@ class MysqlDatasQuery:
             )
             __res.append(df)
         df = pd.concat(__res, ignore_index=True)
+        cjzb_qzt = self.tg_cjzb_qzt(is_maximize=True)
+        if len(cjzb_qzt) > 0:
+            for col in df.columns.tolist():
+                if col not in cjzb_qzt.columns.tolist():
+                    cjzb_qzt[col] = 0
+            df = pd.concat([df, cjzb_qzt], ignore_index=True)
+
         df.rename(columns={
             '观看次数': '观看次数',
             '总购物车数': '加购量',
@@ -1062,6 +1106,7 @@ class MysqlDatasQuery:
             '观看次数': 'int64',
         }, errors='raise')
         df = df[df['花费'] > 0]
+        df['日期'] = pd.to_datetime(df['日期'], format='%Y-%m-%d', errors='ignore')  # 转换日期列
         if is_maximize:
             df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数'],
                             as_index=False).agg(
@@ -1121,6 +1166,7 @@ class MysqlDatasQuery:
         max_date = df['日期'].max()
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         logger.info(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
+
         m_engine.df_to_mysql(
             df=df,
             db_name=db_name,
@@ -3859,10 +3905,14 @@ def test():
     sdq.spph(db_name='聚合数据', table_name='天猫_商品排行')
 
 if __name__ == '__main__':
-    main(
-        days=150,  # 清理聚合数据的日期长度
-        months=3  # 生成聚合数据的长度
-    )
+    # main(
+    #     days=150,  # 清理聚合数据的日期长度
+    #     months=3  # 生成聚合数据的长度
+    # )
+
+    sdq = MysqlDatasQuery()  # 实例化数据处理类
+    sdq.months = 2
+    sdq.tg_cjzb(db_name='聚合数据', table_name='天猫_超级直播')
 
 
 

mdbq/config/config.py

@@ -31,7 +31,7 @@ def write_config(file_path, rewrite):
     """
     更新配置文件中的键值对，保留注释和其他内容，修复等号空格问题
     示例：
-    write_config('spd.ini', {'is_spider': True})
+    write_config('spd.txt', {'is_spider': True})
     """
     # 读取所有行到内存
     try:
@@ -89,7 +89,7 @@ def write_config(file_path, rewrite):
 
 
 if __name__ == '__main__':
-    res = read_config('/Users/xigua/数据中心2/spider/spd.ini')
+    res = read_config('/Users/xigua/数据中心2/spider/spd.txt')
     print(res)
-    # write_config('spd.ini', {'is_spider': False})
+    # write_config('spd.txt', {'is_spider': False})
 

mdbq/other/download_sku_picture.py

@@ -46,7 +46,7 @@ upload_path = os.path.join(D_PATH, '数据上传中心')  # 此目录位于下
 if not os.path.exists(upload_path):  # 数据中心根目录
     os.makedirs(upload_path)
 
-content = config.read_config(file_path=os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'spd.cnf'))
+content = config.read_config(file_path=os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'spd.txt'))
 username, password, host, port = content['username'], content['password'], content['host'], content['port']
 m_engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
 

{mdbq-3.7.21.dist-info → mdbq-3.7.23.dist-info}/METADATA

@@ -1,11 +1,17 @@
-Metadata-Version: 2.1
+Metadata-Version: 2.2
 Name: mdbq
-Version: 3.7.21
+Version: 3.7.23
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com
 License: MIT
 Requires-Python: >=3.6
+Dynamic: author
+Dynamic: author-email
+Dynamic: description
+Dynamic: home-page
+Dynamic: license
+Dynamic: requires-python
 
 
       世界上最庄严的问题：我能做什么好事？

{mdbq-3.7.21.dist-info → mdbq-3.7.23.dist-info}/RECORD

@@ -2,14 +2,11 @@ mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/optimize_data_bak.py,sha256=wB7prQdZAHyjzXH9V8g8X_JBMdvCCUITN1hVwK72Tdg,952
-mdbq/aggregation/query_data.py,sha256=D05M1-l4b41AzGLT32svOhCjcPGlIm3n2NTh0nTzHGU,174306
+mdbq/aggregation/query_data.py,sha256=wOngHgsU7nFiz6PkrXz0eb5g4m4nc5m4_yJslR5XOWk,176294
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=hJs815hGFwm_X5bP2i9XugG2w2ZY_F0n3-Q0hVpIPPw,4892
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
-mdbq/config/config.py,sha256=bBlol__JA6VK-dEGEwOBTX1F3XqHgOff96W4hfbzVUE,3170
-mdbq/config/default_bak.py,sha256=pOBmlxmGzmK8XYstv_qwE4vDwJmytEmVIYE0bDnCXOs,2143
-mdbq/config/myconfig_bak.py,sha256=5gg3B8fnDx2_a5I3kfPLXx7xePqZwfb3ohj6iMVhplc,1022
-mdbq/config/products_bak.py,sha256=kWN3NWp9uT6D0M4Vw33yqOo9Tb98hEO8-X-llRjoY8M,5731
+mdbq/config/config.py,sha256=eaTfrfXQ65xLqjr5I8-HkZd_jEY1JkGinEgv3TSLeoQ,3170
 mdbq/config/set_support.py,sha256=7C7NFy7Em_uC7lig54qQlIlKG_AJeMCskxzK87anGkM,462
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
 mdbq/dataframe/converter.py,sha256=lETYhT7KXlWzWwqguqhk6vI6kj4rnOBEW1lhqKy2Abc,5035
@@ -22,7 +19,7 @@ mdbq/mysql/mysql.py,sha256=UoZPVyrgDp5L8-i0jVptkal9G64oNrdhNwa-xpp8txo,95127
 mdbq/mysql/s_query.py,sha256=09Dp7DrVXui6dAI6zFDfrsUOdjPblF_oYUpgqbZMhXg,8757
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
-mdbq/other/download_sku_picture.py,sha256=Ttge8kX0nz63yX8351Pz49fEXTKPhScFKjOyv1SSRfY,44798
+mdbq/other/download_sku_picture.py,sha256=-rfWRmmsNjj0AyPZHT_xAaIaoMqcCyeppU6j81XFQYw,44798
 mdbq/other/porxy.py,sha256=UHfgEyXugogvXgsG68a7QouUCKaohTKKkI4RN-kYSdQ,4961
 mdbq/other/pov_city.py,sha256=AEOmCOzOwyjHi9LLZWPKi6DUuSC-_M163664I52u9qw,21050
 mdbq/other/ua_sj.py,sha256=JuVYzc_5QZ9s_oQSrTHVKkQv4S_7-CWx4oIKOARn_9U,22178
@@ -34,7 +31,7 @@ mdbq/redis/__init__.py,sha256=YtgBlVSMDphtpwYX248wGge1x-Ex_mMufz4-8W0XRmA,12
 mdbq/redis/getredis.py,sha256=1pTga2iINx0NV2ffl0D-aspZhrZMDQR8SpohAv1acoo,24076
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
 mdbq/spider/aikucun.py,sha256=o_QwFWbD6O2F56k6bwnpVV55EcdFCyes05ON7iu9TrA,21882
-mdbq-3.7.21.dist-info/METADATA,sha256=djMBfPKhIng7q9z0YfYiUwAtXxsblvuMfY4eThgreV4,244
-mdbq-3.7.21.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-3.7.21.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-3.7.21.dist-info/RECORD,,
+mdbq-3.7.23.dist-info/METADATA,sha256=fdkmDNycOfqYZ-1Yex9emViiRWSFz_fxEg4EF8aLS_I,364
+mdbq-3.7.23.dist-info/WHEEL,sha256=jB7zZ3N9hIM9adW7qlTAyycLYW9npaWKLRzaoVcLKcM,91
+mdbq-3.7.23.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-3.7.23.dist-info/RECORD,,

{mdbq-3.7.21.dist-info → mdbq-3.7.23.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: setuptools (70.1.0)
+Generator: setuptools (75.8.2)
 Root-Is-Purelib: true
 Tag: py3-none-any
 

mdbq/config/default_bak.py

@@ -1,58 +0,0 @@
-# -*- coding: UTF-8 –*-
-import os
-import sys
-import json
-import socket
-import logging
-from mdbq.mysql import mysql
-
-support_path = os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'support')
-logger = logging.getLogger(__name__)
-
-
-def return_default_host():
-    targe_host = socket.gethostname()
-    hostname = 'xigua_lx'  # 正常情况下 spider_tg 只会在 xigua_lx 或者 xigua1 运行，且都指向主库
-    local = 'remoto'
-
-    if targe_host == 'xigua_lx':
-        local = 'local'  # 直接指向局域网地址
-    elif targe_host in ['localhost.localdomain', 'xigua1']:
-        targe_host = 'xigua1'  # 修正 Linux 系统用户名
-        local = 'local'  # 直接指向局域网地址
-    elif targe_host == 'MacBookPro':
-        local = 'local'  # 直接指向局域网地址
-    return targe_host, hostname, local
-
-
-def get_mysql_engine(platform='Windows', hostname='xigua_lx', sql='mysql', local='remoto', config_file=None):
-    if not config_file:
-        config_file = os.path.join(support_path, 'my_config.txt')
-    if not os.path.isfile(config_file):
-        print(f'缺少配置文件，无法读取配置文件： {config_file}')
-        return None
-
-    if socket.gethostname() == 'xigua_lx':
-        local = 'local'
-
-    with open(config_file, 'r', encoding='utf-8') as f:
-        conf = json.load(f)
-    conf_data = conf[platform][hostname][sql][local]
-    username, password, host, port = conf_data['username'], conf_data['password'], conf_data['host'], conf_data['port']
-    _engine = mysql.MysqlUpload(username=username, password=password, host=host, port=port, charset='utf8mb4')
-    return _engine, username, password, host, port
-
-
-def write_back_bak(datas):
-    """ 将数据写回本地 """
-    if not os.path.isdir(support_path):
-        print(f'缺少配置文件，无法读取配置文件： {file}')
-        return
-    file = os.path.join(support_path, 'my_config.txt')
-    with open(file, 'w+', encoding='utf-8') as f:
-        json.dump(datas, f, ensure_ascii=False, sort_keys=False, indent=4)
-
-
-
-if __name__ == '__main__':
-    pass

mdbq/config/myconfig_bak.py

@@ -1,34 +0,0 @@
-# -*- coding: UTF-8 –*-
-import os
-import sys
-import json
-# from mdbq.config import set_support
-"""
-用来读取本地配置文件
-"""
-support_path = os.path.join(os.path.realpath(os.path.dirname(sys.argv[0])), 'support')
-
-
-def main():
-    # support_path = set_support.SetSupport(dirname='support').dirname
-    file = os.path.join(support_path, 'my_config.txt')
-    if not os.path.isfile(file):
-        print(f'缺少配置文件，无法读取配置文件： {file}')
-        return
-    with open(file, 'r', encoding='utf-8') as f:
-        config_datas = json.load(f)
-        return config_datas
-
-
-def write_back(datas):
-    """ 将数据写回本地   all-datas.py 调用 """
-    # support_path = set_support.SetSupport(dirname='support').dirname
-    file = os.path.join(support_path, 'my_config.txt')
-    with open(file, 'w+', encoding='utf-8') as f:
-        json.dump(datas, f, ensure_ascii=False, sort_keys=False, indent=4)
-
-
-
-if __name__ == '__main__':
-    d = main()
-    print(d)

mdbq/config/products_bak.py

@@ -1,159 +0,0 @@
-# -*- coding: UTF-8 –*-
-import json
-import os
-import platform
-import getpass
-import pandas as pd
-from mdbq.mysql import mysql
-from mdbq.config import default
-from numpy.ma.core import product
-
-""" 
-天猫货品年份基准对照
-用于聚合数据，通过此数据表进一步可确定商品上架年月
-"""
-targe_host, hostname, local =  default.return_default_host()
-m_engine, username, password, host, port = default.get_mysql_engine(platform='Windows', hostname=hostname, sql='mysql', local=local, config_file=None)
-if not username:
-    print(f'找不到主机1：')
-
-
-class Products:
-    def __init__(self):
-        self.datas = []
-
-    def update_my_datas(self):
-        my_datas = [
-            {
-                '平台': '天猫', '商品id': '848929365000', '上市年份': '2024年11月'
-            },
-            {
-                '平台': '天猫', '商品id': '840499705000', '上市年份': '2024年10月'
-            },
-            {
-                '平台': '天猫', '商品id': '830789680000', '上市年份': '2024年9月'
-            },
-            {
-                '平台': '天猫', '商品id': '822020840000', '上市年份': '2024年8月'
-            },
-            {
-                '平台': '天猫', '商品id': '811000000000', '上市年份': '2024年7月'
-            },
-            {
-                '平台': '天猫', '商品id': '800000000000', '上市年份': '2024年6月'
-            },
-            {
-                '平台': '天猫', '商品id': '791359643000', '上市年份': '2024年5月'
-            },
-            {
-                '平台': '天猫', '商品id': '778971448000', '上市年份': '2024年4月'
-            },
-            {
-                '平台': '天猫', '商品id': '770576016800', '上市年份': '2024年3月'
-            },
-            {
-                '平台': '天猫', '商品id': '766115058400', '上市年份': '2024年2月'
-            },
-            {
-                '平台': '天猫', '商品id': '759478591100', '上市年份': '2024年1月'
-            },
-            {
-                '平台': '天猫', '商品id': '752770183000', '上市年份': '2023年12月'
-            },
-            {
-                '平台': '天猫', '商品id': '745123890000', '上市年份': '2023年11月'
-            },
-            {
-                '平台': '天猫', '商品id': '741000000000', '上市年份': '2023年10月'
-            },
-            {
-                '平台': '天猫', '商品id': '736841920000', '上市年份': '2023年9月'
-            },
-            {
-                '平台': '天猫', '商品id': '730800000000', '上市年份': '2023年8月'
-            },
-            {
-                '平台': '天猫', '商品id': '726939636000', '上市年份': '2023年7月'
-            },
-            {
-                '平台': '天猫', '商品id': '721366048000', '上市年份': '2023年6月'
-            },
-            {
-                '平台': '天猫', '商品id': '716130443000', '上市年份': '2023年5月'
-            },
-            {
-                '平台': '天猫', '商品id': '709824308000', '上市年份': '2023年4月'
-            },
-            {
-                '平台': '天猫', '商品id': '705440027000', '上市年份': '2023年3月'
-            },
-            {
-                '平台': '天猫', '商品id': '701096067900', '上市年份': '2023年2月'
-            },
-            {
-                '平台': '天猫', '商品id': '696017000000', '上市年份': '2023年1月'
-            },
-            {
-                '平台': '天猫', '商品id': '666510000000', '上市年份': '2022年货品'
-            },
-            {
-                '平台': '天猫', '商品id': '636010000000', '上市年份': '2021年货品'
-            },
-            {
-                '平台': '天猫', '商品id': '610485872286', '上市年份': '2020年货品'
-            },
-            {
-                '平台': '天猫', '商品id': '585066000000', '上市年份': '2019年货品'
-            },
-            {
-                '平台': '天猫', '商品id': '563237000000', '上市年份': '2018年货品'
-            },
-            {
-                '平台': '天猫', '商品id': '100', '上市年份': '历史悠久'
-            },
-        ]
-        self.datas += my_datas
-
-
-    def to_mysql(self):
-        self.update_my_datas()
-        df = pd.DataFrame(self.datas)
-        m_engine = mysql.MysqlUpload(
-            username=username,
-            password=password,
-            host=host,
-            port=port,
-        )
-        m_engine.insert_many_dict(
-            db_name='属性设置3',
-            table_name='货品年份基准',
-            dict_data_list=df.to_dict(orient='records'),
-            # icm_update=['日期', '店铺名称', '宝贝id'],  # 唯一组合键
-            unique_main_key=['商品id'],
-            set_typ={
-                '商品id': 'bigint',
-                '平台': 'varchar(100)',
-                '上市年份': 'varchar(100)',
-            },
-        )
-
-    def market_date(self, product_id: int):
-        try:
-            product_id = int(product_id)
-        except:
-            return
-        self.update_my_datas()
-        market_date = [item['上市年份'] for item in self.datas if product_id > int(item['商品id'])]
-        if market_date:
-            return market_date[0]  # 返回上市年份
-
-
-def main():
-    pass
-
-
-if __name__ == '__main__':
-    product_id = '696017020186'
-    p = Products()
-    year = p.market_date(product_id=product_id)
-    print(f'{product_id}:  {year}')