mdbq 0.0.8__py3-none-any.whl → 0.1.0__py3-none-any.whl

mdbq/aggregation/aggregation.py

@@ -12,6 +12,7 @@ import json
 from mdbq.mongo import mongo
 from mdbq.mysql import mysql
 from mdbq.config import get_myconf
+from mdbq.dataframe import converter
 import datetime
 import time
 import re
@@ -69,7 +70,8 @@ class DataTypes:
         """
         if len(df) == 0:
             return
-        df = self.convert_df_cols(df=df)  # 清理 dataframe 列名的不合规字符
+        cv = converter.DataFrameConverter()
+        df = cv.convert_df_cols(df=df)  # 清理 dataframe 列名的不合规字符
         dtypes = df.dtypes.apply(str).to_dict()
         dtypes = {db_name: {collection_name: dtypes}}
 
@@ -111,42 +113,6 @@ class DataTypes:
             self.datas.update(tips)
             return self.datas[db_name][collection_name]  # 返回 df 的 dtypes
 
-    def convert_df_cols(self, df):
-        """
-        清理 dataframe 列名的不合规字符(mysql)
-        对数据类型进行转换(尝试将 object 类型转为 int 或 float)
-        """
-        # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
-        df.replace(to_replace=[','], value='', regex=True, inplace=True)
-        df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
-        df.replace(to_replace=['"'], value='', regex=True, inplace=True)
-        cols = df.columns.tolist()
-        for col in cols:
-            # df[col] = df[col].apply(lambda x: re.sub('[="]', '', str(x)) if '="' in str(x) else x)
-            # 百分比在某些数据库中不兼容, 转换百分比为小数
-            df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
-            # 尝试转换合适的数据类型
-            if df[col].dtype == 'object':
-                try:
-                    df[col] = df[col].astype(int)  # 尝试转换 int
-                except:
-                    df[col] = df[col].astype('float64', errors='ignore')    # 尝试转换 float, 报错则忽略
-            if df[col].dtype == 'float':  # 对于小数类型, 保留 6 位小数
-                df[col] = df[col].apply(lambda x: round(float(x), 6) if x != 0 else x)
-            # 清理列名, 在 mysql 里面列名不能含有某些特殊字符
-            if '日期' in col or '时间' in col:
-                try:
-                    df[col] = df[col].apply(lambda x: pd.to_datetime(x))
-                except:
-                    pass
-            new_col = col.lower()
-            new_col = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .;]', '_', new_col)
-            df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
-        return df
-
     def dtypes_to_file(self):
         """ 保存为本地 json 文件 """
         # print(self.datas)
@@ -801,40 +767,6 @@ class DatabaseUpdate:
                         df, db_name, collection_name = data['数据主体'], data['数据库名'], data['集合名称']
                         m.df_to_mysql(df=df, db_name=db_name, tabel_name=collection_name)
 
-    def convert_df_cols(self, df):
-        """"
-        清理 dataframe 列名的不合规字符(mysql)
-        对数据类型进行转换(尝试将 object 类型转为 int 或 float)
-        """
-        # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-
-        cols = df.columns.tolist()
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
-        df.replace(to_replace=[','], value='', regex=True, inplace=True)
-        for col in cols:
-            # 百分比在某些数据库中不兼容, 转换百分比为小数
-            df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
-            # 尝试转换合适的数据类型
-            if df[col].dtype == 'object':
-                try:
-                    df[col] = df[col].astype(int)  # 尝试转换 int
-                except:
-                    df[col] = df[col].astype('float64', errors='ignore')    # 尝试转换 float, 报错则忽略
-            if df[col].dtype == 'float':  # 对于小数类型, 保留 6 位小数
-                df[col] = df[col].apply(lambda x: round(float(x), 6) if x != 0 else x)
-            # 清理列名, 在 mysql 里面列名不能含有某些特殊字符
-            if '日期' in col or '时间' in col:
-                try:
-                    df[col] = df[col].apply(lambda x: pd.to_datetime(x))
-                except:
-                    pass
-            new_col = col.lower()
-            new_col = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .;]', '_', new_col)
-            df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
-        return df
-
     def new_unzip(self, path=None, is_move=None):
         """
         {解压并移除zip文件}
@@ -1020,7 +952,8 @@ def upload():
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
                     if len(df) == 0:
                         continue
-                    df = dt.convert_df_cols(df=df)  # 清理列名和 df 中的非法字符
+                    cv = converter.DataFrameConverter()
+                    df = cv.convert_df_cols(df=df)  # 清理列名和 df 中的非法字符
                     try:
                         df = df.astype(dtypes)
                     except Exception as e:

mdbq/dataframe/__init__.py

@@ -0,0 +1,4 @@
+
+
+
+# dataframe 优化

mdbq/dataframe/converter.py

@@ -0,0 +1,57 @@
+# -*- coding:utf-8 -*-
+import pandas as pd
+import numpy as np
+import re
+
+
+class DataFrameConverter(object):
+    def __init__(self, df=pd.DataFrame({})):
+        self.df = df
+
+    def convert_df_cols(self, df=pd.DataFrame({})):
+        """
+        清理 dataframe 列名的不合规字符(mysql)
+        对数据类型进行转换(尝试将 object 类型转为 int 或 float)
+        """
+        if len(df) == 0:
+            df = self.df
+            if len(df) == 0:
+                return
+        # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
+        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
+        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
+        df.replace(to_replace=[','], value='', regex=True, inplace=True)
+        df.replace(to_replace=['="'], value='', regex=True, inplace=True)  # ="和"不可以放在一起清洗, 因为有: id=86785565
+        df.replace(to_replace=['"'], value='', regex=True, inplace=True)
+        cols = df.columns.tolist()
+        for col in cols:
+            # df[col] = df[col].apply(lambda x: re.sub('[="]', '', str(x)) if '="' in str(x) else x)
+            # 百分比在某些数据库中不兼容, 转换百分比为小数
+            df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
+            # 尝试转换合适的数据类型
+            if df[col].dtype == 'object':
+                try:
+                    df[col] = df[col].astype(int)  # 尝试转换 int
+                except:
+                    df[col] = df[col].astype('float64', errors='ignore')    # 尝试转换 float, 报错则忽略
+            if df[col].dtype == 'float':  # 对于小数类型, 保留 6 位小数
+                df[col] = df[col].apply(lambda x: round(float(x), 6) if x != 0 else x)
+            # 清理列名, 在 mysql 里面列名不能含有某些特殊字符
+            if '日期' in col or '时间' in col:
+                try:
+                    df[col] = df[col].apply(lambda x: pd.to_datetime(x))
+                except:
+                    pass
+            new_col = col.lower()
+            new_col = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .;]', '_', new_col)
+            df.rename(columns={col: new_col}, inplace=True)
+        df.fillna(0, inplace=True)
+        return df
+
+
+if __name__ == '__main__':
+    df = pd.DataFrame(np.random.randn(5, 3), columns=['a', 'b', 'c'])
+    converter = DataFrameConverter()
+    df = converter.convert_df_cols(df)
+    print(df['a'].dtype)
+    print(df)

mdbq/mongo/mongo.py

@@ -10,6 +10,7 @@ import pymongo
 from functools import wraps
 from concurrent.futures import ThreadPoolExecutor
 from mdbq.config import get_myconf
+from mdbq.dataframe import converter
 
 warnings.filterwarnings('ignore')
 
@@ -209,15 +210,6 @@ class DownMongo:
         else:
             print(f'{now}正在下载数据 ({self.host}) {self.db_name}: {self.collection_name}, 数据区间: {self.start_date} ~ {self.end_date}')
 
-        # self.start_date = datetime.datetime.now() - datetime.timedelta(days=self.days)
-        # query = {  # 读取数据库中指定时间区间的数据
-        #     '日期':
-        #         {
-        #             '$gte': self.start_date,
-        #             '$lte': self.end_date
-        #         },
-        # }
-        # _df = pd.DataFrame((list(_collection.find(query))))  # 将数据转换为 dataframe
         if not self.start_date:
             self.start_date = datetime.datetime.now() - datetime.timedelta(days=self.days)
             self.end_date = datetime.datetime.now()
@@ -236,17 +228,16 @@ class DownMongo:
             # print(doc)
             datas.append(doc)
         _df = pd.DataFrame(datas)
+        if len(_df) == 0:
+            print(f'查询的数据量: {len(_df)}, 森么都米有花生')
+            self.client.close()
+            return
+        if '_id' in _df.columns.tolist():
+            _df.drop('_id', axis=1, inplace=True)
 
-        for col in _df.columns.tolist():  # 保存之前尝试转换数据类型
-            if '日期' in col:
-                _df[col] = _df[col].astype(str).apply(lambda x: ''.join(re.findall(r'(\d{4}-\d{2}-\d{2})', x)))
-                _df[col] = pd.to_datetime(_df[col], format='%Y-%m-%d', errors='ignore')  # 转换日期列
-            elif '_id' in col:
-                # _df['_id'] = _df['_id'].astype(str)  # 将 '_id' 字段转换为字符串，因为它是一个 ObjectId 对象
-                _df.drop('_id', axis=1, inplace=True)
-            else:
-                _df[col] = pd.to_numeric(_df[col], errors='ignore')
         print(f'查询的数据量: {len(_df)}')
+        cv = converter.DataFrameConverter()
+        _df = cv.convert_df_cols(_df)
         s_date = re.findall(r'(\d{4}-\d{2}-\d{2})', str(_df['日期'].values.min()))[0]
         e_date = re.findall(r'(\d{4}-\d{2}-\d{2})', str(_df['日期'].values.max()))[0]
         if not file_type.startswith('.'):
@@ -420,7 +411,8 @@ class UploadMongo:
         start_date = None
         end_date = None
 
-        df = self.convert_df_cols(df=df)  # 清理列名中的不合规字符
+        cv = converter.DataFrameConverter()
+        df = cv.convert_df_cols(df=df)  # 清理列名中的不合规字符
         if '日期' in df.columns.tolist():
             # df['日期'] = df['日期'].apply(lambda x: pd.to_datetime(x))
             collections.create_index([('日期', -1)], background=True)  # 必须, 创建索引, background 不阻塞
@@ -469,40 +461,6 @@ class UploadMongo:
 
         self.client.close()  #
 
-    def convert_df_cols(self, df):
-        """
-        清理 dataframe 列名的不合规字符(mysql)
-        对数据类型进行转换(尝试将 object 类型转为 int 或 float)
-        """
-        # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-
-        cols = df.columns.tolist()
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
-        df.replace(to_replace=[','], value='', regex=True, inplace=True)
-        for col in cols:
-            # 百分比在某些数据库中不兼容, 转换百分比为小数
-            df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
-            # 尝试转换合适的数据类型
-            if df[col].dtype == 'object':
-                try:
-                    df[col] = df[col].astype(int)  # 尝试转换 int
-                except:
-                    df[col] = df[col].astype('float64', errors='ignore')    # 尝试转换 float, 报错则忽略
-            if df[col].dtype == 'float':  # 对于小数类型, 保留 6 位小数
-                df[col] = df[col].apply(lambda x: round(float(x), 6) if x != 0 else x)
-            # 清理列名, 在 mysql 里面列名不能含有某些特殊字符
-            if '日期' in col or '时间' in col:
-                try:
-                    df[col] = df[col].apply(lambda x: pd.to_datetime(x))
-                except:
-                    pass
-            new_col = col.lower()
-            new_col = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .;]', '_', new_col)
-            df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
-        return df
-
 
 class OptimizeDatas:
     """

mdbq/mysql/mysql.py

@@ -12,6 +12,7 @@ from sqlalchemy import create_engine
 import os
 import calendar
 from mdbq.config import get_myconf
+from mdbq.dataframe import converter
 
 warnings.filterwarnings('ignore')
 
@@ -67,7 +68,8 @@ class MysqlUpload:
         """
         db_name = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .]', '_', db_name)
         tabel_name = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .]', '_', tabel_name)
-        df = self.convert_df_cols(df=df)  # 清理列名中的不合规字符
+        cv = converter.DataFrameConverter()
+        df = cv.convert_df_cols(df=df)  # 清理列名中的不合规字符
 
         connection = pymysql.connect(**self.config)  # 连接数据库
         try:
@@ -182,42 +184,6 @@ class MysqlUpload:
         else:
             return 'mediumtext'
 
-
-    def convert_df_cols(self, df):
-        """
-        清理 dataframe 列名的不合规字符(mysql)
-        对数据类型进行转换(尝试将 object 类型转为 int 或 float)
-        """
-        # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-        df.replace([np.inf, -np.inf], 0, inplace=True)  # 清理一些非法值
-
-        cols = df.columns.tolist()
-        df.replace(to_replace=['\\N', '-', '--', '', 'nan'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
-        df.replace(to_replace=[','], value='', regex=True, inplace=True)
-        for col in cols:
-            # 百分比在某些数据库中不兼容, 转换百分比为小数
-            df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
-            # 尝试转换合适的数据类型
-            if df[col].dtype == 'object':
-                try:
-                    df[col] = df[col].astype(int)  # 尝试转换 int
-                except:
-                    df[col] = df[col].astype('float64', errors='ignore')    # 尝试转换 float, 报错则忽略
-            if df[col].dtype == 'float':  # 对于小数类型, 保留 6 位小数
-                df[col] = df[col].apply(lambda x: round(float(x), 6) if x != 0 else x)
-            # 清理列名, 在 mysql 里面列名不能含有某些特殊字符
-            if '日期' in col or '时间' in col:
-                try:
-                    df[col] = df[col].apply(lambda x: pd.to_datetime(x))
-                except:
-                    pass
-            new_col = col.lower()
-            new_col = re.sub(r'[\',，（）()/=<>+\-*^"’\[\]~#|&% .;]', '_', new_col)
-            df.rename(columns={col: new_col}, inplace=True)
-        df.fillna(0, inplace=True)
-        return df
-
-
     def upload_pandas(self, update_path, db_name, days=None):
         """
         专门用来上传 pandas数据源的全部文件,  跳过 '其他数据'  or '京东数据集'

{mdbq-0.0.8.dist-info → mdbq-0.1.0.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.0.8
+Version: 0.1.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.0.8.dist-info → mdbq-0.1.0.dist-info}/RECORD

@@ -1,7 +1,7 @@
 mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
-mdbq/aggregation/aggregation.py,sha256=7Id0cZ5QR7rPR9srbNRv78lGBwQ7pQre65qYIhu89Ms,59498
+mdbq/aggregation/aggregation.py,sha256=EbV1f3ExlBcbtAWE1R5qcNx5AE9NCZL3ENMqVCy5zHg,55618
 mdbq/aggregation/query_data.py,sha256=9E4dbeQAq7r1srlszP27X3jFiKtMmFc6lP965GHjQms,13368
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
@@ -12,12 +12,14 @@ mdbq/company/copysh.py,sha256=0exynzeqf85gCBQXAgKycVxddMhr0TjkFcBP_NK0QTA,15609
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/get_myconf.py,sha256=q6Pylsnh4-MsHP9JcX8IdlnGVWikz9hio1HI_qh6Wvs,6171
 mdbq/config/update_conf.py,sha256=YjGjjRchu5BcrmLJkoLjHEF2TbGOmsgCWX4LroXOYWQ,3455
+mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
+mdbq/dataframe/converter.py,sha256=VLG6Y0Ca_OkgpVkHDQU6AHSxGqISx6GsGiyDGHkXq0g,2668
 mdbq/log/__init__.py,sha256=Mpbrav0s0ifLL7lVDAuePEi1hJKiSHhxcv1byBKDl5E,15
 mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
-mdbq/mongo/mongo.py,sha256=hF93-kP2lxK4WY1KCdBBszLQ_I7W0mQQxZ7t4qU2w3A,32930
+mdbq/mongo/mongo.py,sha256=AK028yQWPajf_A-PYY-NJTfWiGQJDpBwPY3aS6cOcHk,30431
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/mysql.py,sha256=H9onFYKSYRjdXghK_29Aj7vgvUgDHexJjIECrdxLbE0,29925
+mdbq/mysql/mysql.py,sha256=HX3keNO-Hbpra3XNJtWbBwsD7pLHiKfM4ZQaSBksAkk,28149
 mdbq/mysql/s_query.py,sha256=bRnW8Cpy4fSsbMhzGCvjiK2kin9uamVumJC3nLAyjMg,5213
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -28,7 +30,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=wulHs4rivf4Mi0Pii2QR5Nk9-TBcvSwnCB_WH9QULKE,5939
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-0.0.8.dist-info/METADATA,sha256=dVu6kA6RtVWnfsNTWXnOv_d1TmKhM4Gw6PrypX9MF0E,245
-mdbq-0.0.8.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
-mdbq-0.0.8.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-0.0.8.dist-info/RECORD,,
+mdbq-0.1.0.dist-info/METADATA,sha256=627YqHp57NZ-o4gylzObjtKU3DldI5Dl4rNpldzb8JU,245
+mdbq-0.1.0.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-0.1.0.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-0.1.0.dist-info/RECORD,,