mdbq 2.9.9__tar.gz → 3.0.0__tar.gz

{mdbq-2.9.9 → mdbq-3.0.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.9.9
+Version: 3.0.0
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.9.9 → mdbq-3.0.0}/mdbq/aggregation/query_data.py

@@ -1027,8 +1027,8 @@ class MysqlDatasQuery:
         )  # 制作其他聚合表
         if not self.update_service:
             return
-        min_date = df['日期'].min()
-        max_date = df['日期'].max()
+        min_date = pd.to_datetime(df['日期'].min()).strftime('%Y-%m-%d')
+        max_date = pd.to_datetime(df['日期'].max()).strftime('%Y-%m-%d')
         now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         print(f'{now} 正在更新: mysql ({host}:{port}) {db_name}/{table_name} -> {min_date}~{max_date}')
         m_engine.df_to_mysql(
@@ -2393,17 +2393,6 @@ class MysqlDatasQuery:
         pic = [item['数据主体'] for item in self.pf_datas if item['集合名称'] == '商品id图片对照表'][0]
         cost = [item['数据主体'] for item in self.pf_datas if item['集合名称'] == '商品成本'][0]
 
-        # pic['商品id'] = pic['商品id'].astype(str)
-        # # 1.  id 编码表合并图片表
-        # df = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')
-        # df = df[['宝贝id', '商家编码', '商品图片']]
-        # # 2.  df 合并商品成本表
-        # df = pd.merge(df, cost, how='left', left_on='商家编码', right_on='款号')
-        # df = df[['宝贝id', '商家编码', '商品图片', '成本价']]
-        # # 3.  推广表合并 df
-        # df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')
-        # df.drop(labels='宝贝id', axis=1, inplace=True)
-
         # 由于推广表之前根据场景、营销渠道等聚合的，这里不含这些字段所以要进一步聚合
         tg = tg.groupby(
             ['日期', '店铺名称', '商品id'],
@@ -2414,7 +2403,6 @@ class MysqlDatasQuery:
                 '直接成交金额': ('直接成交金额', np.sum),
             }
         )
-        syj.to_csv('/Users/xigua/Downloads/ddd.csv', index=False, header=True, encoding='utf-8_sig')
         # 4.  生意经，推广表聚合
         if bb_tg is True:
             # 生意经合并推广表，完整的数据表，包含全店所有推广、销售数据
@@ -2463,6 +2451,7 @@ class MysqlDatasQuery:
         df['商品毛利'] = df.apply(lambda x: x['销售额'] - x['商品成本'], axis=1)
         df['毛利率'] = df.apply(lambda x: round((x['销售额'] - x['商品成本']) / x['销售额'], 4) if x['销售额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2575,6 +2564,7 @@ class MysqlDatasQuery:
                 '自然流量曝光量': int,
         }
         )
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '店铺名称': 'varchar(100)',
@@ -2648,7 +2638,7 @@ class MysqlDatasQuery:
         df['毛利率'] = df.apply(
             lambda x: round((x['成交金额'] - x['商品成本']) / x['成交金额'], 4) if x['成交金额'] > 0 else 0, axis=1)
         df['盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
-        # print(df.info())
+        [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
         set_typ = {
             '日期': 'date',
             '跟单sku_id': 'bigint',
@@ -2717,6 +2707,17 @@ def date_table():
         host=host,
         port=port,
     )
+    set_typ = {
+        '日期': 'date',
+        '年': 'varchar(50)',
+        '月': 'varchar(50)',
+        '日': 'int',
+        '年月': 'varchar(50)',
+        '月日': 'varchar(50)',
+        '第n周': 'varchar(50)',
+        '索引': 'int',
+        '月索引': 'int',
+    }
     m.df_to_mysql(
         df=df,
         db_name='聚合数据',
@@ -2726,7 +2727,7 @@ def date_table():
         drop_duplicates=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
         count=None,
         filename=None,  # 用来追踪处理进度
-        set_typ={},
+        set_typ=set_typ,
     )
 
 
@@ -2750,7 +2751,7 @@ def main(days=100, months=3):
     )
 
     # 3. 数据聚合
-    query_(months=3)
+    query_(months=months)
     time.sleep(60)
 
     # 4. 清理聚合数据
@@ -2797,6 +2798,5 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    main(days=100, months=3)
-
-    # query_(months=1)
+    # main(days=100, months=3)
+    query_(months=1)

{mdbq-2.9.9 → mdbq-3.0.0}/mdbq/mysql/mysql.py

@@ -6,19 +6,13 @@ import re
 import time
 from functools import wraps
 import warnings
-from unittest.mock import inplace
-
 import pymysql
 import numpy as np
 import pandas as pd
-from markdown_it.rules_inline.backticks import regex
 from sqlalchemy import create_engine
 import os
 import calendar
 from mdbq.config import myconfig
-from mdbq.config import set_support
-from mdbq.dataframe import converter
-from mdbq.aggregation import mysql_types
 
 warnings.filterwarnings('ignore')
 """

{mdbq-2.9.9 → mdbq-3.0.0}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 2.9.9
+Version: 3.0.0
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-2.9.9 → mdbq-3.0.0}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='2.9.9',
+      version='3.0.0',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',