mdbq 3.0.5__tar.gz → 3.0.7__tar.gz

{mdbq-3.0.5 → mdbq-3.0.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.5
+Version: 3.0.7
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.5 → mdbq-3.0.7}/mdbq/aggregation/query_data.py

@@ -100,15 +100,15 @@ class MysqlDatasQuery:
         }, inplace=True)
         df = df.astype({
             '商品id': str,
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '自然流量曝光量': int,
-            '直接成交笔数': int,
-            '直接成交金额': float,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '自然流量曝光量': 'int64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
         }, errors='raise')
         if is_maximize:
             df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
@@ -356,14 +356,14 @@ class MysqlDatasQuery:
         df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '直接成交笔数': int,
-            '直接成交金额': float,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'int64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
         }, errors='raise')
         if is_maximize:
             df = df.groupby(['日期', '店铺名称', '营销场景', '商品id', '花费', '展现量', '点击量', '人群名字'],
@@ -541,14 +541,14 @@ class MysqlDatasQuery:
         df.fillna(0, inplace=True)
         df = df.astype({
             '商品id': str,
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '直接成交笔数': int,
-            '直接成交金额': float,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
         }, errors='raise')
         if is_maximize:
             df = df.groupby(
@@ -672,14 +672,14 @@ class MysqlDatasQuery:
         df['营销场景'] = '超级直播'
         df.fillna(0, inplace=True)
         df = df.astype({
-            '花费': float,
-            # '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '进店量': int,
-            '粉丝关注量': int,
-            '观看次数': int,
+            '花费': 'float64',
+            # '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '进店量': 'int64',
+            '粉丝关注量': 'int64',
+            '观看次数': 'int64',
         }, errors='raise')
         if is_maximize:
             df = df.groupby(['日期', '店铺名称', '营销场景', '人群名字', '计划名字', '花费', '观看次数', '展现量'],
@@ -788,14 +788,14 @@ class MysqlDatasQuery:
             '搜索访客数': '品牌搜索人数'
         }, inplace=True)
         df = df.astype({
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '品牌搜索量': int,
-            '品牌搜索人数': int,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'int64',
+            '品牌搜索量': 'int64',
+            '品牌搜索人数': 'int64',
         }, errors='raise')
         if is_maximize:
             df = df.groupby(['日期', '店铺名称', '报表类型', '花费', '展现量', '点击量'], as_index=False).agg(
@@ -2590,7 +2590,7 @@ class MysqlDatasQuery:
             df = pd.merge(tg, syj, how='left', left_on=['日期', '店铺名称', '商品id'], right_on=['日期', '店铺名称', '宝贝id'])
             df.drop(labels='宝贝id', axis=1, inplace=True)
 
-        df['商品id'] = df['商品id'].astype(int)
+        df['商品id'] = df['商品id'].astype('int64')
         df = df.groupby(
             ['日期', '店铺名称', '商品id'],
             as_index=False).agg(
@@ -2606,7 +2606,7 @@ class MysqlDatasQuery:
         )
         # print(df.info())
 
-        idbm['宝贝id'] = idbm['宝贝id'].astype(int)
+        idbm['宝贝id'] = idbm['宝贝id'].astype('int64')
         # 1.  id 编码表合并图片表
         df_cb = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')
         df_cb = df_cb[['宝贝id', '商家编码', '商品图片']]
@@ -2703,26 +2703,26 @@ class MysqlDatasQuery:
         zb.fillna(0, inplace=True)  # astype 之前要填充空值
         tg.fillna(0, inplace=True)
         zb = zb.astype({
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '直接成交笔数': int,
-            '直接成交金额': float,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
         }, errors='raise')
         tg = tg.astype({
             '商品id': str,
-            '花费': float,
-            '展现量': int,
-            '点击量': int,
-            '加购量': int,
-            '成交笔数': int,
-            '成交金额': float,
-            '直接成交笔数': int,
-            '直接成交金额': float,
-            '自然流量曝光量': int,
+            '花费': 'float64',
+            '展现量': 'int64',
+            '点击量': 'int64',
+            '加购量': 'int64',
+            '成交笔数': 'int64',
+            '成交金额': 'float64',
+            '直接成交笔数': 'int64',
+            '直接成交金额': 'float64',
+            '自然流量曝光量': 'int64',
         }, errors='raise')
         # tg = tg.groupby(['日期', '推广渠道', '营销场景', '商品id', '花费', '展现量', '点击量'], as_index=False).agg(
         #     **{'加购量': ('加购量', np.max),
@@ -2738,7 +2738,7 @@ class MysqlDatasQuery:
         df = df.astype(
             {
                 '商品id': str,
-                '自然流量曝光量': int,
+                '自然流量曝光量': 'int64',
         }
         )
         [df[col].apply(lambda x: '0' if str(x) == '' else x) for col in df.columns.tolist()]
@@ -2917,26 +2917,17 @@ def main(days=100, months=3):
     p = products.Products()
     p.to_mysql()
 
-    # 2. 清理非聚合数据库
+    # 2. 数据聚合
     system = platform.system()  # 本机系统
     host_name = socket.gethostname()  # 本机名
     conf = myconfig.main()
     db_list = conf[system][host_name]['mysql']['数据库集']
-    not_juhe_db_list = [item for item in db_list if item != '聚合数据']
-    optimize_data.op_data(
-        db_name_lists=not_juhe_db_list,
-        days=31,  # 原始数据不需要设置清理太长
-        is_mongo=False,
-        is_mysql=True,
-    )
-
-    # 3. 数据聚合
     query_(months=months)
     time.sleep(60)
 
-    # 4. 清理聚合数据
+    # 3. 清理聚合数据
     optimize_data.op_data(
-        db_name_lists=['聚合数据'],
+        db_name_lists=db_list,
         days=days,
         is_mongo=False,
         is_mysql=True,
@@ -2979,7 +2970,7 @@ def query_(months=1, less_dict=[]):
 
 
 if __name__ == '__main__':
-    # main(days=130, months=3)
+    main(days=150, months=3)
     # query_(months=1)
 
     # # 4. 清理聚合数据
@@ -2989,8 +2980,3 @@ if __name__ == '__main__':
     #     is_mongo=False,
     #     is_mysql=True,
     # )
-
-    sdq = MysqlDatasQuery()  # 实例化数据处理类
-    sdq.months = 6  # 设置数据周期， 1 表示近 2 个月
-    sdq.update_service = True  # 调试时加，true: 将数据写入 mysql 服务器
-    sdq.tg_by_day(db_name='聚合数据', table_name='多店推广场景_按日聚合')

{mdbq-3.0.5 → mdbq-3.0.7}/mdbq/dataframe/converter.py

@@ -55,7 +55,7 @@ class DataFrameConverter(object):
             if (col.endswith('占比') or col.endswith('率') or col.endswith('同比')
                     or col.endswith('环比') or col.lower().endswith('roi')
                     or col.endswith('产出比')):
-                df = df.astype({col: float}, errors='raise')
+                df = df.astype({col: 'float64'}, errors='raise')
 
             # 尝试转换合适的数据类型
             if df[col].dtype == 'object':

{mdbq-3.0.5 → mdbq-3.0.7}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 3.0.5
+Version: 3.0.7
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-3.0.5 → mdbq-3.0.7}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='3.0.5',
+      version='3.0.7',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbq',