mdbq 0.2.6__py3-none-any.whl → 0.2.7__py3-none-any.whl

mdbq/mysql/data_types.py

@@ -252,4 +252,10 @@ def main():
 
 if __name__ == '__main__':
     # main()
-    mysql_all_dtypes()
+    # mysql_all_dtypes()
+
+    path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+    d = DataTypes()
+    # 从本地文件中读取 dtype 信息
+    dtypes = d.load_dtypes(cl='mysql', db_name='生意经2', collection_name='店铺指标', path=path)
+    print(dtypes)

mdbq/mysql/mysql.py

@@ -13,6 +13,7 @@ import os
 import calendar
 from mdbq.config import get_myconf
 from mdbq.dataframe import converter
+from mdbq.mysql import data_types
 
 warnings.filterwarnings('ignore')
 
@@ -107,12 +108,15 @@ class MysqlUpload:
                     cursor.execute(sql)
                     print(f'创建 mysql 表: {tabel_name}')
 
-                cols = df.columns.tolist()
-                dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-                # 转换为 mysql 的数据类型
-                dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=dtypes[col]) for col in cols})
+                # # 2. 列数据类型转换
+                # cols = df.columns.tolist()
+                # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
+                # # 转换为 mysql 的数据类型
+                # dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=dtypes[col]) for col in cols})
+                dtypes = self.convert_dtypes(df=df, db_name=db_name, tabel_name=tabel_name)
 
-                # 2. 检查列, 不存在则添加新列
+                # 3. 检查列, 不存在则添加新列
+                cols = df.columns.tolist()
                 for col in cols:
                     sql = ('SELECT 1 FROM information_schema.columns WHERE table_schema = %s AND table_name = %s AND '
                            'column_name = %s')
@@ -134,7 +138,7 @@ class MysqlUpload:
                             cursor.execute(f"CREATE INDEX index_name ON {tabel_name}({col})")
                 connection.commit()  # 提交事务
 
-                # # 3. 移除指定日期范围内的数据, 避免重复插入
+                # # 4. 移除指定日期范围内的数据, 避免重复插入
                 # dates = df['日期'].values.tolist()
                 # start_date = pd.to_datetime(min(dates)).strftime('%Y-%m-%d')
                 # end_date = (pd.to_datetime(max(dates)) + datetime.timedelta(days=1)).strftime('%Y-%m-%d')
@@ -142,7 +146,7 @@ class MysqlUpload:
                 # cursor.execute(sql)
                 # connection.commit()
 
-                # 4. 更新插入数据
+                # 5. 更新插入数据
                 now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
                 print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{tabel_name}')
                 if str(self.host) == '192.168.1.100':  # 群晖服务器
@@ -176,8 +180,40 @@ class MysqlUpload:
         finally:
             connection.close()
 
+    def convert_dtypes(self, df, db_name, tabel_name):
+        """
+        根据本地已经存在的记录着 mysql dtypes 的 json 文件转换 df 的类型为 mysql 专有的数据类型
+        允许通过 json 文件指定列的数据类型
+        以下两种情况已经兼容:
+        1. 可能不存在本地 json 文件 (利用 convert_dtype_to_sql 函数按指定规则转换全部列)
+        2. json 文件中没有或者缺失部分列信息(利用 convert_dtype_to_sql 函数按指定规则转换缺失列)
+        """
+        cols = df.columns.tolist()
+        path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+        # json_file = os.path.join(path, 'df_dtypes.json')
+        # if os.path.isfile(json_file):
+        d = data_types.DataTypes()
+        # 从本地文件中读取 dtype 信息
+        dtypes = d.load_dtypes(cl='mysql', db_name=db_name, collection_name=tabel_name, path=path)
+        # 可能会因为没有 json 文件, 返回 None
+        if dtypes:
+            # 按照文件记录更新 dtypes
+            dtypes.update({col: dtypes[col] for col in cols if col in dtypes.keys()})
+            # 可能存在部分列不在文件记录中
+            col_not_exist = [col for col in cols if col not in dtypes.keys()]
+            # 这些列不存在于 df 中, 必须移除
+            [dtypes.pop(col) for col in list(dtypes.keys()) if col not in cols]
+        else:
+            dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
+            col_not_exist = cols
+        # 对文件不存在的列信息进行数据类型转换(按指定规则)
+        dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=df[col].dtype) for col in col_not_exist})
+        # 至此 df 中全部列类型已经转换完成
+        # 返回结果, 示例: {'上市年份': 'mediumtext', '商品id': 'mediumtext', '平台': 'mediumtext'}
+        return dtypes
+
     def convert_dtype_to_sql(self, df, col, dtype):
-        """ 转换DataFrame列的数据类型为SQL数据类型 """
+        """ 按照以下规则转换DataFrame列的数据类型为 MYSQL 专有的数据类型 """
         # 最优先处理 ID 类型, 在 mysql 里面, 有些列数字过长不能存储为 int 类型
         if 'id' in col or 'ID' in col or 'Id' in col or '摘要' in col or '商家编码' in col or '单号' in col or '款号' in col:
             return 'mediumtext'

{mdbq-0.2.6.dist-info → mdbq-0.2.7.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.2.6
+Version: 0.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.2.6.dist-info → mdbq-0.2.7.dist-info}/RECORD

@@ -20,8 +20,8 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=q0B4wXDSTtXg_vMN7MPh6zdxl6tT68tM74LmdVNQQek,31892
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/data_types.py,sha256=OERyHwG61s-agBM1aERESYY4GWwJwaZ7NtQfbe6GTgo,10732
-mdbq/mysql/mysql.py,sha256=nVrnkHWlcttr3Mx0Bdneb04oTlKtbDL9WrAUY4IEnow,31363
+mdbq/mysql/data_types.py,sha256=-miEqNaXgDKUp3z6SkBD6D4kj6_dVeWM0rCeeK0jEi4,10998
+mdbq/mysql/mysql.py,sha256=BNKICpMCFskg8Zk8iR1tmDmOTvtNbOf8_lORPgHBdWs,33570
 mdbq/mysql/s_query.py,sha256=6-8O9MHhi3-7n3isJ7t2kTCYL2mSBC_HrxSQmXM5UtI,7901
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -32,7 +32,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=wulHs4rivf4Mi0Pii2QR5Nk9-TBcvSwnCB_WH9QULKE,5939
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-0.2.6.dist-info/METADATA,sha256=8LcMCf68lhTCbfYzyPiNS1aDNHCYcoyACREnmrtWZsc,245
-mdbq-0.2.6.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-0.2.6.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-0.2.6.dist-info/RECORD,,
+mdbq-0.2.7.dist-info/METADATA,sha256=CC4QeA4zCHTt9DFEDHBv55Ki22hsywd4BMndbzWLyYY,245
+mdbq-0.2.7.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-0.2.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-0.2.7.dist-info/RECORD,,

{mdbq-0.2.6.dist-info → mdbq-0.2.7.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: bdist_wheel (0.44.0)
+Generator: setuptools (70.1.0)
 Root-Is-Purelib: true
 Tag: py3-none-any