mdbq 1.4.5__tar.gz → 1.4.6__tar.gz

{mdbq-1.4.5 → mdbq-1.4.6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.5
+Version: 1.4.6
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.5 → mdbq-1.4.6}/mdbq/aggregation/aggregation.py

@@ -660,7 +660,7 @@ class DatabaseUpdate:
                             db_name=db_name,
                             table_name=collection_name,
                             df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                            drop_dup=False,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                            drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                             filename=rt_filename,  # 用来追踪处理进度
                             system_name=system_name,  # 用来追踪处理进度
                         )
@@ -824,10 +824,10 @@ class DatabaseUpdate:
                 )
                 m.df_to_mysql(
                     df=df,
-                    db_name=db_name,
-                    table_name=collection_name,
+                    db_name='聚合数据',
+                    table_name='日期表',
                     df_sql=False,  # 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-                    drop_dup=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
+                    drop_duplicates=True,  # 值为 True 时检查重复数据再插入，反之直接上传，会比较慢
                     filename=None,  # 用来追踪处理进度
                     system_name=service_name,  # 用来追踪处理进度
                 )
@@ -912,10 +912,10 @@ def upload_dir(path, db_name, collection_name, dbs={'mysql': True, 'mongodb': Tr
 
                     if dbs['mongodb']:
                         d.df_to_mongo(df=df, db_name=db_name, collection_name=collection_name)
-                    if dbs['mysql']:  # drop_dup: 值为 True 时检查重复数据再插入
+                    if dbs['mysql']:  # drop_duplicates: 值为 True 时检查重复数据再插入
                         m.df_to_mysql(df=df, db_name=db_name, table_name=collection_name,
-                                      drop_dup=False, filename=name, count=f'{i}/{count}')
-                        # nas.df_to_mysql(df=df, db_name=db_name, table_name=collection_name)
+                                      drop_duplicates=True, filename=name, count=f'{i}/{count}')
+                        # nas.df_to_mysql(df=df, db_name=db_name, table_name=collection_name, drop_duplicates=True,)
                 except Exception as e:
                     print(name, e)
             i += 1
@@ -933,7 +933,7 @@ def one_file_to_mysql(file, db_name, table_name, target_service, database):
     filename = os.path.basename(file)
     df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, df_sql=True)
+    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, df_sql=True, drop_duplicates=False,)
 
 
 def file_dir(one_file=True):
@@ -1037,7 +1037,7 @@ if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='company', database='mysql')
     # m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
     # m.df_to_mysql(df=df, db_name='test', table_name='增量更新测试',
-    #               drop_dup=False,
+    #               drop_duplicates=True,
     #               # icm_update=['日期', '推广费余额'],
     #               system_name='company',
     #               )

{mdbq-1.4.5 → mdbq-1.4.6}/mdbq/aggregation/query_data.py

@@ -526,7 +526,7 @@ def data_aggregation_one(service_databases=[{}], months=1, system_name=None,):
                     df=df,
                     db_name=db_name,
                     table_name=table_name,
-                    drop_dup=False,
+                    drop_duplicates=False,
                     icm_update=unique_key_list,
                     system_name=system_name,
                     service_databases=service_databases,
@@ -596,7 +596,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                     df=df,
                     db_name=db_name,
                     table_name=table_name,
-                    drop_dup=False,
+                    drop_duplicates=False,
                     icm_update=unique_key_list,
                     system_name=system_name,
                     service_databases=service_databases,
@@ -606,7 +606,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 df=res,
                 db_name='聚合数据',
                 table_name='_全店商品销售',
-                drop_dup=False,
+                drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 system_name = system_name,
                 service_databases=service_databases,
@@ -616,7 +616,7 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
                 df=res,
                 db_name='聚合数据',
                 table_name='_推广商品销售',
-                drop_dup=False,
+                drop_duplicates=False,
                 icm_update=['日期', '商品id'],  # 设置唯一主键
                 system_name=system_name,
                 service_databases=service_databases,
@@ -627,6 +627,6 @@ def data_aggregation(service_databases=[{}], months=1, system_name=None,):
 
 
 if __name__ == '__main__':
-    # data_aggregation(service_databases=[{'company': 'mysql'}], months=1, system_name='company')
-    data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
+    data_aggregation(service_databases=[{'home_lx': 'mysql'}], months=1, system_name='home_lx')
+    # data_aggregation_one(service_databases=[{'company': 'mysql'}], months=10, system_name='company')
     # optimize_data.op_data(service_databases=[{'company': 'mysql'}], days=3650)  # 立即启动对聚合数据的清理工作

{mdbq-1.4.5 → mdbq-1.4.6}/mdbq/mysql/mysql.py

@@ -57,17 +57,19 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], icm_up=[], service_databases=[{'home_lx': 'mysql'}], df_sql=False, drop_dup=False, drop_duplicates=False, filename=None, count=None, json_path=None, system_name=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', icm_update=[], service_databases=[{'home_lx': 'mysql'}], df_sql=False, drop_duplicates=False, filename=None, count=None, json_path=None, system_name=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
         table_name: 集合/表名称
-        df_sql: 这是一个临时参数, 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重
-        drop_duplicates：值为 True 时（仅限于聚合数据使用），其他情况不要设置此参数
-        drop_dup: 值为 True 时检查重复数据再插入，反之直接上传，数据量大时会比较慢
-        filename: 传这个参数是方便定位产生错误的文件
-        icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_dup 改为 False
+        df_sql: 这是一个临时参数, 值为 True 时使用 df.to_sql 函数上传整个表, 不会排重，初创表大量上传数据的时候使用
+        drop_duplicates: 值为 True 时检查重复数据再插入，反之直接上传，数据量大时会比较慢
+        icm_update: 增量更新, 在聚合数据中使用，原始文件不要使用，设置此参数时需将 drop_duplicates 改为 False
                 使用增量更新: 必须确保 icm_update 传进来的列必须是数据表中唯一主键，值不会发生变化，不会重复，否则可能产生错乱覆盖情况
+        filename: 用来追踪处理进度，传这个参数是方便定位产生错误的文件
+        system_name: 同样是用来追踪处理进度
+        service_databases: 这个参数是用来设置更新哪台服务器的 types 信息到本地 json 文件
+        json_path: 这个参数同样也是是用来设置更新 json 文件
         """
         self.filename = filename
         if isinstance(df, pd.DataFrame):
@@ -81,19 +83,6 @@ class MysqlUpload:
         cv = converter.DataFrameConverter()
         df = cv.convert_df_cols(df=df)  # 清理 dataframe 非法值
 
-        # if df_sql:
-        #     now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
-        #     print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
-        #     engine = create_engine(f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
-        #     df.to_sql(
-        #         name=table_name,
-        #         con=engine,
-        #         if_exists='append',
-        #         index=False,
-        #         chunksize=1000,
-        #         dtype={'京东价': 'INT'},
-        #     )
-        #     return
         connection = pymysql.connect(**self.config)  # 连接数据库
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -173,14 +162,14 @@ class MysqlUpload:
             elif cl:
                 mysql_types.mysql_all_dtypes(service_databases=service_databases, system_name=system_name)  # 更新所有数据库所有数据表的 dtypes 信息到本地 json
 
-            # 4. 移除指定日期范围内的数据，仅限于聚合数据使用，其他情况不要设置
-            if drop_duplicates and '日期' in df.columns.tolist():
-                dates = df['日期'].values.tolist()
-                start_date = pd.to_datetime(min(dates)).strftime('%Y-%m-%d')
-                end_date = (pd.to_datetime(max(dates)) + datetime.timedelta(days=1)).strftime('%Y-%m-%d')
-                sql = f"DELETE FROM `{table_name}` WHERE {'日期'} BETWEEN '%s' AND '%s'" % (start_date, end_date)
-                cursor.execute(sql)
-                connection.commit()
+            # # 4. 移除指定日期范围内的数据，仅限于聚合数据使用，其他情况不要设置
+            # if drop_duplicates and '日期' in df.columns.tolist():
+            #     dates = df['日期'].values.tolist()
+            #     start_date = pd.to_datetime(min(dates)).strftime('%Y-%m-%d')
+            #     end_date = (pd.to_datetime(max(dates)) + datetime.timedelta(days=1)).strftime('%Y-%m-%d')
+            #     sql = f"DELETE FROM `{table_name}` WHERE {'日期'} BETWEEN '%s' AND '%s'" % (start_date, end_date)
+            #     cursor.execute(sql)
+            #     connection.commit()
 
             # 5. 更新插入数据
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
@@ -200,7 +189,7 @@ class MysqlUpload:
                     condition = ' AND '.join(condition)  # 构建查询条件
                     # print(condition)
 
-                    if drop_dup:  # 查重插入
+                    if drop_duplicates:  # 查重插入
                         sql = "SELECT %s FROM %s WHERE %s" % (cols, table_name, condition)
                         # sql = f"SELECT {cols} FROM `{table_name}` WHERE `创建时间` = '2014-09-19 14:32:33'"
                         # print(sql)
@@ -211,7 +200,7 @@ class MysqlUpload:
                             cursor.execute(sql)
                         # else:
                         #     print(f'重复数据不插入: {condition[:50]}...')
-                    elif icm_update:  # 增量更新
+                    elif icm_update:  # 增量更新, 专门用于聚合数据，其他库不要调用
                         """ 使用增量更新: 需确保 icm_update['主键'] 传进来的列必须是数据表中唯一主键，值不会发生变化且不会重复，否则可能产生覆盖情况 """
                         sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
                         cursor.execute(sql, (db_name, {table_name}))
@@ -261,26 +250,6 @@ class MysqlUpload:
                         else:  # 没有数据返回，则直接插入数据
                             sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({values});"
                             cursor.execute(sql)
-                    # elif icm_up:
-                    #     sql = 'SELECT COLUMN_NAME FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
-                    #     cursor.execute(sql, (db_name, {table_name}))
-                    #     columns = cursor.fetchall()
-                    #     cols_exist = [col['COLUMN_NAME'] for col in columns]  # 数据表的所有列, 返回 list
-                    #     cols_exist = [item for item in cols_exist if item != 'id']
-                    #     update_col = [item for item in cols_exist if item not in icm_up]  # 除了主键外的其他列
-                    #
-                    #     unique_keys = ', '.join([f"`{item}`" for item in cols_exist])
-                    #     unique_keys_values = ', '.join([f"'{data[item]}'" for item in cols_exist])
-                    #
-                    #     change_values = []
-                    #     for col in update_col:
-                    #         change_values += [f"`{col}` = '{str(data[col])}'"]
-                    #     change_values = ', '.join(f"{item}" for item in change_values)  # 注意这里 item 外面没有反引号
-                    #     # print(change_values)
-                    #     sql = f"INSERT INTO `{table_name}` ({unique_keys}) VALUES ({unique_keys_values}) ON DUPLICATE KEY UPDATE {change_values};"
-                    #     print(sql)
-                    #     # cursor.execute(sql)
-
                     else:
                         sql = f"INSERT INTO `{table_name}` ({cols}) VALUES (%s);" % (values)
                         cursor.execute(sql)
@@ -834,4 +803,17 @@ def download_datas_bak(table_name, save_path, start_date):
 
 if __name__ == '__main__':
     username, password, host, port = get_myconf.select_config_values(target_service='home_lx', database='mysql')
-    print(username, password, host, port)
+    # print(username, password, host, port)
+    path = '/Users/xigua/Downloads/人群洞察.csv'
+    df = pd.read_csv(path, encoding='utf-8_sig', header=0, na_filter=False)
+    # print(df)
+    m = MysqlUpload(username=username, password=password, host=host, port=port)
+    m.df_to_mysql(
+        df=df,
+        db_name='test',
+        table_name='测试数据',
+        drop_duplicates=True,
+        # system_name=system_name,
+        # service_databases=service_databases,
+    )
+

{mdbq-1.4.5 → mdbq-1.4.6}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.4.5
+Version: 1.4.6
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.4.5 → mdbq-1.4.6}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.4.5',
+      version='1.4.6',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',