mdbq 1.2.3__tar.gz → 1.2.5__tar.gz

{mdbq-1.2.3 → mdbq-1.2.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.3
+Version: 1.2.5
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq/aggregation/aggregation.py

@@ -47,10 +47,29 @@ class DatabaseUpdate:
             print(f'1.1.0 初始化时传入了不存在的目录: {self.path}')
             return
 
+        filename = '标题对照表.csv'
+        support_file = set_support.SetSupport(dirname='support').dirname
+        if not os.path.isfile(os.path.join(support_file, filename)):
+            print(f'缺少关键文件支持: {os.path.join(support_file, filename)}')
+            return
+        df = pd.read_csv(os.path.join(support_file, filename), encoding='utf-8_sig', header=0, na_filter=False)
+        datas = df.to_dict('records')  # 转字典
+        # print(datas)
+
         for root, dirs, files in os.walk(self.path, topdown=False):
             for name in files:
                 if '~$' in name or '.DS' in name or '.localized' in name or '.ini' in name or '$RECYCLE.BIN' in name or 'Icon' in name:
                     continue
+
+                db_name = None  # 初始化/重置变量，避免进入下一个循环
+                collection_name = None
+                for data in datas:  # 根据标题对照表适配 db_name 和 collection_name
+                    if data['关键词1'] in name and data['关键词2'] in name:
+                        db_name = data['数据库名']
+                        collection_name = data['数据表']
+                # print(name, db_name, collection_name)
+                # return
+
                 # 只针对 csv, xlsx 文件进行处理
                 if not name.endswith('.csv') and not name.endswith('.xls') and not name.endswith('.xlsx'):
                     continue
@@ -107,8 +126,6 @@ class DatabaseUpdate:
                         shop_name = ''
                     # df.replace(to_replace=['\\N'], value=0, regex=False, inplace=True)  # 替换掉特殊字符
                     # df.replace(to_replace=[''], value=0, regex=False, inplace=True)
-                    db_name = '推广数据2'
-                    collection_name = '超级直播'
                 elif name.endswith('.xls') and '短直联投' in name:
                     # 短直联投
                     df = pd.read_excel(os.path.join(root, name), sheet_name=None, header=0)
@@ -117,8 +134,6 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     # df.replace(to_replace=[''], value=0, regex=False, inplace=True)
-                    db_name = '推广数据2'
-                    collection_name = '短直联投'
                 elif name.endswith('.xls') and '视频加速推广' in name:
                     # 超级短视频
                     df = pd.read_excel(os.path.join(root, name), sheet_name=None, header=0)
@@ -127,15 +142,11 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     # df.replace(to_replace=[''], value=0, regex=False, inplace=True)
-                    db_name = '推广数据2'
-                    collection_name = '超级短视频'
                 if '人群报表汇总' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=1, na_filter=False)
                     if len(df) == 0:
                         print(f'{name} 报表数据为空')
                         continue
-                    db_name = '推广数据2'
-                    collection_name = '达摩盘_dmp报表'
                 # ----------------- 推广报表 分割线 -----------------
                 # ----------------- 推广报表 分割线 -----------------
                 date01 = re.findall(r'(\d{4}-\d{2}-\d{2})_\d{4}-\d{2}-\d{2}', str(name))
@@ -183,8 +194,6 @@ class DatabaseUpdate:
                     if date01[0] != date02[0]:
                         data_lis = date01[0] + '_' + date02[0]
                         df.insert(loc=1, column='数据周期', value=data_lis)
-                    db_name = '生意参谋2'
-                    collection_name = '商品排行'
                 elif name.endswith('.xls') and '参谋店铺整体日报' in name:
                     # 自助取数，店铺日报
                     df = pd.read_excel(os.path.join(root, name), header=7)
@@ -192,8 +201,6 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     df.rename(columns={'统计日期': '日期'}, inplace=True)
-                    db_name = '生意参谋2'
-                    collection_name = '自助取数_整体日报'
                 elif name.endswith('.xls') and '参谋每日流量_自助取数_新版' in name:
                     # 自助取数，每日流量
                     df = pd.read_excel(os.path.join(root, name), header=7)
@@ -211,8 +218,6 @@ class DatabaseUpdate:
                         else '智能场景' if x == '智能场景(原万相台)'
                         else x
                     )
-                    db_name = '生意参谋2'
-                    collection_name = '自助取数_每日流量'
                 elif name.endswith('.xls') and '商品sku' in name:
                     # 自助取数，商品sku
                     df = pd.read_excel(os.path.join(root, name), header=7)
@@ -225,8 +230,6 @@ class DatabaseUpdate:
                         'SKU ID': 'sku id',
                         '商品SKU': '商品sku',
                     }, inplace=True)
-                    db_name = '生意参谋2'
-                    collection_name = '自助取数_商品sku'
                 elif name.endswith('.xls') and '参谋店铺流量来源（月）' in name:
                     # 自助取数，月店铺流量来源
                     df = pd.read_excel(os.path.join(root, name), header=7)
@@ -245,8 +248,6 @@ class DatabaseUpdate:
                         else x
                     )
                     df['日期'] = df['数据周期'].apply(lambda x: re.findall('(.*) ~', x)[0])
-                    db_name = '生意参谋2'
-                    collection_name = '自助取数_店铺流量_月数据'
                 elif name.endswith('.csv') and 'baobei' in name:
                     # 生意经宝贝指标日数据
                     date = re.findall(r's-(\d{4})(\d{2})(\d{2})\.', str(name))
@@ -264,8 +265,6 @@ class DatabaseUpdate:
                     new_date = '-'.join(date[0])
                     df.insert(loc=0, column='日期', value=new_date)
                     df.replace(to_replace=['--'], value='', regex=False, inplace=True)
-                    db_name = '生意经2'
-                    collection_name = '宝贝指标'
                 elif name.endswith('.csv') and '店铺销售指标' in name:
                     # 生意经, 店铺指标，仅限月数据，实际日指标也可以
                     name_st = re.findall(r'(.*)\(分日', name)
@@ -279,9 +278,7 @@ class DatabaseUpdate:
                     df['日期'] = df['日期'].astype(str).apply(
                         lambda x: '-'.join(re.findall(r'(\d{4})(\d{2})(\d{2})', x)[0]) if x else x)
                     df.replace(to_replace=['--'], value='', regex=False, inplace=True)
-                    db_name = '生意经2'
-                    collection_name = '店铺指标'
-                elif name.endswith('csv') and '省份' in name:
+                elif name.endswith('csv') and '省份城市分析' in name:
                     # 生意经，地域分布, 仅限日数据
                     pattern = re.findall(r'(.*[\u4e00-\u9fa5])(\d{4})(\d{2})(\d{2})\.', name)
                     if not pattern or '省份城市分析2' not in name:
@@ -303,8 +300,6 @@ class DatabaseUpdate:
                     df.insert(loc=0, column='日期', value=date)
                     df['省份'] = pov
                     df['省+市'] = df[['省份', '城市']].apply(lambda x: f'{x["省份"]}-{x["城市"]}', axis=1)
-                    db_name = '生意经2'
-                    collection_name = '地域分布_省份城市分析'
                 elif name.endswith('csv') and 'order' in name:
                     # 生意经，订单数据，仅限月数据
                     pattern = re.findall(r'(.*)(\d{4})(\d{2})(\d{2})-(\d{4})(\d{2})(\d{2})', name)
@@ -328,8 +323,6 @@ class DatabaseUpdate:
                     df.rename(columns={'宝贝标题': '商品标题', '宝贝链接': '商品链接'}, inplace=True)
                     df['颜色编码'] = df['商家编码'].apply(
                         lambda x: ''.join(re.findall(r' .*(\d{4})$', str(x))) if x else x)
-                    db_name = '生意经2'
-                    collection_name = '订单数据'
                 elif name.endswith('.xlsx') and '直播间成交订单明细' in name:
                     # 直播间成交订单明细
                     df = pd.read_excel(os.path.join(root, name), header=0)
@@ -338,8 +331,6 @@ class DatabaseUpdate:
                         continue
                     df.rename(columns={'场次ID': '场次id', '商品ID': '商品id'}, inplace=True)
                     df['日期'] = df['支付时间'].apply(lambda x: x.strftime('%Y-%m-%d'))
-                    db_name = '生意参谋2'
-                    collection_name = '直播间成交订单明细'
                 elif name.endswith('.xlsx') and '直播间大盘数据' in name:
                     # 直播间大盘数据
                     df = pd.read_excel(os.path.join(root, name), header=0)
@@ -347,8 +338,6 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     df.rename(columns={'统计日期': '日期'}, inplace=True)
-                    db_name = '生意参谋2'
-                    collection_name = '直播间大盘数据'
                 elif name.endswith('.xls') and '直播业绩-成交拆解' in name:
                     # 直播业绩-成交拆解
                     df = pd.read_excel(os.path.join(root, name), header=5)
@@ -356,44 +345,26 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     df.rename(columns={'统计日期': '日期'}, inplace=True)
-                    db_name = '生意参谋2'
-                    collection_name = '直播业绩'
                 elif name.endswith('.csv') and '淘宝店铺数据' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '淘宝店铺数据'
                 elif name.endswith('.csv') and '人群洞察' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
                     df.replace(to_replace=['--'], value='', regex=False, inplace=True)
                     df = df[df['人群规模'] != '']
                     if len(df) == 0:
                         continue
-                    db_name = '推广数据2'
-                    collection_name = '万相台_人群洞察'
                 elif name.endswith('.csv') and '客户_客户概况_画像' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '生意参谋2'
-                    collection_name = '客户_客户概况_画像'
                 elif name.endswith('.csv') and '市场排行_店铺' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '市场排行_店铺'
                 elif name.endswith('.csv') and '类目洞察_属性分析' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '类目洞察_属性分析'
                 elif name.endswith('.csv') and '类目洞察_价格分析' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '类目洞察_价格分析'
                 elif name.endswith('.csv') and '竞店分析-销售分析' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '竞店分析_销售分析'
                 elif name.endswith('.csv') and '竞店分析-来源分析' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
-                    db_name = '市场数据2'
-                    collection_name = '竞店分析_来源分析'
                 # ----------------------- 京东数据处理分界线 -----------------------
                 # ----------------------- 京东数据处理分界线 -----------------------
                 elif name.endswith('.xlsx') and '店铺来源_流量来源' in name:
@@ -416,8 +387,6 @@ class DatabaseUpdate:
                     for col_2024 in cols:  # 京东这个表有字段加了去年日期，删除这些同比数据字段，不然列数量爆炸
                         if '20' in col_2024 and '流量来源' in name:
                             df.drop(col_2024, axis=1, inplace=True)
-                    db_name = '京东数据2'
-                    collection_name = '流量来源_日数据'
                 elif name.endswith('.xlsx') and '全部渠道_商品明细' in name:
                     # 京东商品明细 文件转换
                     date1 = re.findall(r'_(\d{4})(\d{2})(\d{2})_全部', str(name))
@@ -439,7 +408,7 @@ class DatabaseUpdate:
                     df.rename(columns={'商品ID': '商品id'}, inplace=True)
                     df.insert(loc=0, column='日期', value=date1)
                     df['最近上架时间'].loc[0] = df['最近上架时间'].loc[1]  # 填充这一列, 避免上传 mysql 日期类型报错
-                    if 'sku' in new_name:
+                    if 'sku' in new_name:  # 即使有文件对照表，也不能删除这个条件，spu ，sku 是后来加的
                         db_name = '京东数据2'
                         collection_name = 'sku_商品明细'
                     elif 'spu' in new_name:
@@ -455,8 +424,6 @@ class DatabaseUpdate:
                     for col in ['词人气', '搜索点击率']:
                         if col in df.columns.tolist():
                             df[col] = df[col].apply(lambda x: round(x, 6) if x else x)
-                    db_name = '京东数据2'
-                    collection_name = '商品词下排名'
                 elif name.endswith('.xlsx') and '搜索分析-排名定位-商品排名' in name:
                     # 京东商品排名
                     date_in = re.findall(r'(\d{4}-\d{2}-\d{2})-搜索', str(name))[0]
@@ -468,8 +435,6 @@ class DatabaseUpdate:
                     df.rename(columns={'SKU': 'skuid'}, inplace=True)
                     if '点击率' in df.columns.tolist():
                         df['点击率'] = df['点击率'].apply(lambda x: round(x, 6) if x else x)
-                    db_name = '京东数据2'
-                    collection_name = '商品排名'
                 elif name.endswith('.xls') and '竞店概况_竞店详情' in name:
                     # 京东，竞争-竞店概况-竞店详情-全部渠道
                     date01 = re.findall(r'全部渠道_(\d{4})(\d{2})(\d{2})_(\d{4})(\d{2})(\d{2})', str(name))
@@ -480,9 +445,7 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     df.insert(loc=0, column='日期', value=start_date)
-                    db_name = '京东数据2'
-                    collection_name = '竞店监控_日数据'
-                elif name.endswith('.xls') and '店铺' in name:
+                elif name.endswith('.xls') and 'JD店铺日报_店铺' in name:
                     # 京东 自助报表  店铺日报
                     df = pd.read_excel(os.path.join(root, name), header=0)
                     if len(df) == 0:
@@ -491,8 +454,6 @@ class DatabaseUpdate:
                     df['日期'] = df['日期'].apply(
                         lambda x: '-'.join(re.findall(r'(\d{4})(\d{2})(\d{2})', str(x))[0])
                     )
-                    db_name = '京东数据2'
-                    collection_name = '京东_自助取数_店铺日报'
                 elif name.endswith('.xls') and '商家榜单_女包_整体' in name:
                     # 京东 行业 商家榜单
                     date2 = re.findall(r'_\d{8}-\d+', name)
@@ -506,8 +467,6 @@ class DatabaseUpdate:
                         continue
                     df['日期'] = df['日期'].astype(str).apply(lambda x: f'{x[:4]}-{x[4:6]}-{x[6:8]}')
                     df.insert(loc=0, column='类型', value='商家榜单')
-                    db_name = '京东数据2'
-                    collection_name = '商家榜单'
                 elif name.endswith('.xlsx') and '批量SKU导出-批量任务' in name:
                     # 京东 sku 导出
                     df = pd.read_excel(os.path.join(root, name), header=0)
@@ -517,8 +476,6 @@ class DatabaseUpdate:
                     d_time = datetime.datetime.today().strftime('%Y-%m-%d')
                     df.insert(loc=0, column='日期', value=d_time)
                     df['商品链接'] = df['商品链接'].apply(lambda x: f'https://{x}' if x else x)
-                    db_name = '属性设置2'
-                    collection_name = '京东sku商品信息'
                 elif name.endswith('.xlsx') and '批量SPU导出-批量任务' in name:
                     # 京东 spu 导出
                     df = pd.read_excel(os.path.join(root, name), header=0)
@@ -527,8 +484,6 @@ class DatabaseUpdate:
                         continue
                     d_time = datetime.datetime.today().strftime('%Y-%m-%d')
                     df.insert(loc=0, column='日期', value=d_time)
-                    db_name = '属性设置2'
-                    collection_name = '京东spu商品信息'
                 elif name.endswith('.csv') and '万里马箱包推广1_完整点击成交' in name:
                     # 京东推广数据
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
@@ -536,8 +491,6 @@ class DatabaseUpdate:
                         print(f'{name} 报表数据为空')
                         continue
                     df['日期'] = df['日期'].apply(lambda x: f'{str(x)[:4]}-{str(x)[4:6]}-{str(x)[6:8]}')
-                    db_name = '京东数据2'
-                    collection_name = '推广数据_京准通'
                 elif name.endswith('.csv') and '万里马箱包推广1_京东推广搜索词_pbix同步不要' in name:
                     df = pd.read_csv(os.path.join(root, name), encoding='utf-8_sig', header=0, na_filter=False)
                     if len(df) == 0:
@@ -546,16 +499,12 @@ class DatabaseUpdate:
                     df['日期'] = df['日期'].apply(lambda x: f'{str(x)[:4]}-{str(x)[4:6]}-{str(x)[6:8]}')
                     df['是否品牌词'] = df['搜索词'].str.contains('万里马|wanlima', regex=True)
                     df['是否品牌词'] = df['是否品牌词'].apply(lambda x: '品牌词' if x else '')
-                    db_name = '京东数据2'
-                    collection_name = '推广数据_搜索词报表'
                 elif name.endswith('.xlsx') and '零售明细统计' in name:
                     df = pd.read_excel(os.path.join(root, name), header=0)
                     if len(df) == 0:
                         print(f'{name} 报表数据为空')
                         continue
                     df = df[df['缩略图'] != '合计']
-                    db_name = '生意经2'
-                    collection_name = 'e3_零售明细统计'
 
                 # 商品素材，必须保持放在最后处理
                 elif name.endswith('xlsx'):
@@ -599,6 +548,14 @@ class DatabaseUpdate:
             for name in files:
                 if '~$' in name or '.DS' in name or '.localized' in name or '.jpg' in name or '.png' in name:
                     continue
+
+                db_name = None  # 初始化/重置变量，避免进入下一个循环
+                collection_name = None
+                for data in datas:  # 根据标题对照表适配 db_name 和 collection_name
+                    if data['关键词1'] in name and data['关键词2'] in name:
+                        db_name = data['数据库名']
+                        collection_name = data['数据表']
+
                 # df = pd.DataFrame()
                 if name.endswith('.xlsx') and '明星店铺' in name:
                     # 品销宝
@@ -614,8 +571,6 @@ class DatabaseUpdate:
                             # print(f'{name}/{sheet4} 跳过')
                             continue
                         df.insert(loc=1, column='报表类型', value=sheet4)
-                        db_name = '推广数据2'
-                        collection_name = f'品销宝_{sheet4}'
                         self.datas.append(
                             {
                                 '数据库名': db_name,
@@ -930,7 +885,7 @@ def one_file_to_mysql(file, db_name, table_name, target_service, database):
     filename = os.path.basename(file)
     df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False, float_precision='high')
     m = mysql.MysqlUpload(username=username, password=password, host=host, port=port)
-    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename)
+    m.df_to_mysql(df=df, db_name=db_name, table_name=table_name, filename=filename, df_sql=True)
 
 
 def file_dir(one_file=True):
@@ -975,6 +930,7 @@ def file_dir(one_file=True):
                     path=os.path.join(path, sub_path),
                     db_name = db_name,
                     collection_name = table_name,
+                    dbs={'mysql': True, 'mongodb': True},
                 )
             data.update({'入库进度': 1})  # 更新进度为已上传
     # 将进度信息写回文件
@@ -995,14 +951,27 @@ def test():
         # break
 
 
+def test2():
+    dp = DatabaseUpdate(path='/Users/xigua/Downloads')
+    dp.new_unzip(is_move=True)
+    dp.cleaning(is_move=False, )  # 清洗数据, 存入 self.datas
+    dp.upload_df(service_databases=[
+        # {'home_lx': 'mongodb'},
+        {'home_lx': 'mysql'},
+        # {'nas': 'mysql'}
+    ])
+
+
 if __name__ == '__main__':
     # username, password, host, port = get_myconf.select_config_values(target_service='nas', database='mysql')
     # print(username, password, host, port)
-    file_dir(one_file=False)
+    # file_dir(one_file=False)
     # one_file_to_mysql(
-    #     file='',
-    #     db_name='京东数据2',
-    #     table_name='商品词下排名',
+    #     file='/Users/xigua/数据中心/原始文件2/推广报表/品销宝/账户/账户_明星店铺报表_2023-11-13_2023-12-12.csv',
+    #     db_name='推广数据2',
+    #     table_name='品销宝',
     #     target_service='home_lx',
     #     database='mysql'
     # )
+
+    test2()

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq/aggregation/mysql_types.py

@@ -206,6 +206,7 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
         time.sleep(0.5)
 
     d = DataTypes()
+    d.json_file = os.path.join(path, 'mysql_types.json')  # # json 保存位置
     for result in results:
         for db_n, table_n in result.items():
             # print(db_n, table_n, db_name, table_name)
@@ -230,7 +231,7 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
                     cl='mysql', 
                     db_name=db_n,
                     table_name=table_n,
-                    is_file_dtype=True
+                    is_file_dtype=True  # True表示旧文件有限
                 )
             else:
                 print(f'数据库回传数据(name_type)为空')
@@ -239,4 +240,7 @@ def mysql_all_dtypes(db_name=None, table_name=None, path=None):
 
 
 if __name__ == '__main__':
-    mysql_all_dtypes()  # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
+    # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
+    mysql_all_dtypes(
+        path='/Users/xigua/Downloads',
+    )

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq/aggregation/query_data.py

@@ -166,7 +166,7 @@ class MysqlDatasQuery:
             '加购人数': 1,
         }
         df = self.download.data_to_df(
-            db_name='生意参谋数据2',
+            db_name='生意参谋2',
             table_name='店铺来源_日数据',
             start_date=start_date,
             end_date=end_date,

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq/dataframe/converter.py

@@ -43,11 +43,14 @@ class DataFrameConverter(object):
             df[col] = df[col].apply(lambda x: float(float((str(x).rstrip("%"))) / 100) if str(x).endswith('%') and '~' not in str(x) else x)
             # 尝试转换合适的数据类型
             if df[col].dtype == 'object':
+                #  "_"符号会被错误识别
                 try:
-                    df[col] = df[col].apply(lambda x: int(x) if '_' not in str(x) else x)
+                    df[col] = df[col].apply(lambda x: int(x) if '_' not in str(x) and '.' not in str(x) else x)  # 不含小数点尝试转整数
                 except:
+                    pass
+                if df[col].dtype == 'object':
                     try:
-                        df[col] = df[col].apply(lambda x: float(x) if '_' not in str(x) else x)
+                        df[col] = df[col].apply(lambda x: float(x) if '.' in str(x) and '_' not in str(x) else x)
                     except:
                         pass
             if df[col].dtype == 'float' or df[col].dtype == 'float64':  # 对于小数类型, 保留 6 位小数

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq/mysql/mysql.py

@@ -9,7 +9,9 @@ import warnings
 import pymysql
 import numpy as np
 import pandas as pd
+import sqlalchemy.types
 from more_itertools.more import iequals
+from pandas.core.dtypes.common import INT64_DTYPE
 from sqlalchemy import create_engine
 import os
 import calendar
@@ -20,19 +22,20 @@ from mdbq.aggregation import mysql_types
 
 warnings.filterwarnings('ignore')
 """
-建表规范:
+建表流程:
 尽可能手动建表，再上传数据
-1. 先建 json 表，再批量上传数据;（非常重要）
-    在初创数据表时, 如果有不同类报表，新版和旧版都要取一个文件，先创建数据表，再导其他数据;
-    例如有的报表转化率是0%，数据类型会被识别为2位小数: decimal(10, 2)，正常值应类似 0.43%，应保留4个小数, 创建类型为 decimal(10, 4)
-    为了避免以上可能数据类型错误的情况，初创时要先检查一遍数据类型，确认没问题再导其他数据！
-    即导一个表，然后删除数据库，但保留 mysql_types.json，并检查表的数据类型（有问题就手动改 json 文件），之后会按 json 的 types 上传数据;
+1. 每个表手动上传一个文件建表
+2. 全部建表完成，建议所有表的数据类型，有问题的在数据库修改
+3. 清空所有数据表，仅保留列信息
+4. 下载所有数据表的 dtypes 信息到 json 文件
+5. 之后可以正常上传数据
 
-2. 数据库和数据表名如果有字母，必须使用小写，大写在建库后会自动变小写，再次上传数据会找不到数据库(macos和linux都有这种情况)
-3. 无论是数据库/表/列名还是值，尽量避免特殊字符或者表情符号，数据库/表/列名尽量都使用 `列名` 转义，避免错误
-4. 小数必须使用 decimal, 禁止 float 和 double, 因为计算精度差异，后续需要聚合数据时会引发很多问题
-5. 日期类型暂时全部用 DATETIME，使用 DATE 在后续可能会重复插入不能排重，因为 df 进来的数据, 日期是带时间的，而数据库中日期不含时间
-6. 目前小数自动适配类型转换，对于文本或者大数全部用 mediumtext, 因为部分表涉及爬虫数据，进来的字符长度未知，暂时统一 mediumtext 避免入库失败
+建表规范:
+1. 数据库和数据表名如果有字母，必须使用小写，大写在建库后会自动变小写，再次上传数据会找不到数据库(macos和linux都有这种情况)
+2. 无论是数据库/表/列名还是值，尽量避免特殊字符或者表情符号，数据库/表/列名尽量都使用 `列名` 转义，避免错误
+3. 小数必须使用 decimal, 禁止 float 和 double, 因为计算精度差异，后续需要聚合数据时会引发很多问题
+4. 日期类型暂时全部用 DATETIME，使用 DATE 在后续可能会重复插入不能排重，因为 df 进来的数据, 日期是带时间的，而数据库中日期不含时间
+5. 目前小数自动适配类型转换，对于文本或者大数全部用 mediumtext, 因为部分表涉及爬虫数据，进来的字符长度未知，暂时统一 mediumtext 避免入库失败
 
 
 
@@ -57,12 +60,13 @@ class MysqlUpload:
         }
         self.filename = None
 
-    def df_to_mysql(self, df, table_name, db_name='远程数据源', drop_dup=True, drop_duplicates=False, filename=None, count=None):
+    def df_to_mysql(self, df, table_name, db_name='远程数据源', df_sql=False, drop_dup=True, drop_duplicates=False, filename=None, count=None):
         """
         将 df 写入数据库
         db_name: 数据库名称
         table_name: 集合/表名称
-        drop_duplicates：仅限于聚合数据使用，其他情况不要设置
+        df_sql: 使用 df.to_sql 函数上传整个表
+        drop_duplicates：仅限于聚合数据使用，其他情况不要设置此参数
         drop_dup: 值为 True 时检查重复数据再插入，反之直接上传
         filename: 传这个参数是方便定位产生错误的文件
         """
@@ -74,9 +78,23 @@ class MysqlUpload:
         else:
             print(f'{db_name}: {table_name} 传入的 df 不是有效的 dataframe 结构, {self.filename}')
             return
+
         cv = converter.DataFrameConverter()
         df = cv.convert_df_cols(df=df)  # 清理 dataframe 非法值
 
+        # if df_sql:
+        #     now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+        #     print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+        #     engine = create_engine(f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
+        #     df.to_sql(
+        #         name=table_name,
+        #         con=engine,
+        #         if_exists='append',
+        #         index=False,
+        #         chunksize=1000,
+        #         dtype={'京东价': 'INT'},
+        #     )
+        #     return
         connection = pymysql.connect(**self.config)  # 连接数据库
         with connection.cursor() as cursor:
             cursor.execute(f"SHOW DATABASES LIKE '{db_name}'")  # 检查数据库是否存在
@@ -133,6 +151,21 @@ class MysqlUpload:
                         print(f'{self.filename}: {e}')
             connection.commit()  # 提交事务
 
+            if df_sql:
+                now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
+                print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+                engine = create_engine(
+                    f"mysql+pymysql://{self.username}:{self.password}@{self.host}:{self.port}/{db_name}")  # 创建数据库引擎
+                df.to_sql(
+                    name=table_name,
+                    con=engine,
+                    if_exists='append',
+                    index=False,
+                    chunksize=1000
+                )
+                connection.close()
+                return
+
             # print(cl, db_n, tb_n)
             # 返回这些结果的目的是等添加完列再写 json 文件才能读到 types 信息
             if cl and db_n and tb_n:
@@ -154,6 +187,7 @@ class MysqlUpload:
             # 5. 更新插入数据
             now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
             print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{table_name}, {count},{self.filename}')
+
             datas = df.to_dict(orient='records')
             for data in datas:
                 try:
@@ -185,6 +219,7 @@ class MysqlUpload:
                     print(f'mysql -> df_to_mysql 报错: {e}, {self.filename}')
                     # breakpoint()
         connection.commit()  # 提交事务
+        connection.close()
 
     def convert_dtypes(self, df, db_name, table_name):
         """

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 1.2.3
+Version: 1.2.5
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-1.2.3 → mdbq-1.2.5}/mdbq.egg-info/SOURCES.txt

@@ -30,7 +30,6 @@ mdbq/log/mylogger.py
 mdbq/mongo/__init__.py
 mdbq/mongo/mongo.py
 mdbq/mysql/__init__.py
-mdbq/mysql/data_types_即将删除.py
 mdbq/mysql/mysql.py
 mdbq/mysql/s_query.py
 mdbq/mysql/year_month_day.py

{mdbq-1.2.3 → mdbq-1.2.5}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='1.2.3',
+      version='1.2.5',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',

mdbq-1.2.3/mdbq/mysql/data_types_/345/215/263/345/260/206/345/210/240/351/231/244.py

@@ -1,243 +0,0 @@
-# -*- coding:utf-8 -*-
-import warnings
-import pandas as pd
-import numpy as np
-import chardet
-import zipfile
-
-from numpy import dtype
-from pandas.tseries.holiday import next_monday
-from pyzipper import PyZipFile
-import os
-import platform
-import json
-import pymysql
-from mdbq.mongo import mongo
-from mdbq.mysql import mysql
-from mdbq.mysql import s_query
-from mdbq.config import get_myconf
-from mdbq.config import set_support
-from mdbq.dataframe import converter
-import datetime
-import time
-import re
-import shutil
-import getpass
-
-from sqlalchemy.dialects.postgresql.pg_catalog import pg_get_serial_sequence
-
-warnings.filterwarnings('ignore')
-"""
-1. 记录 dataframe 或者数据库的列信息(dtypes)
-2. 更新 mysql 中所有数据库的 dtypes 信息到本地 json
-"""
-
-
-class DataTypes:
-    """
-     数据简介: 记录 dataframe 或者数据库的列信息(dtypes)，可以记录其信息或者加载相关信息用于入库使用，
-     第一字段为分类(如 dataframe/mysql)，第二字段为数据库名，第三字段为集合名，第四段列名及其数据类型
-    """
-    def __init__(self):
-        self.datas = {
-            '_json统计':
-                {
-                    '分类': 0,
-                    '数据库量': 0,
-                    '集合数量': 0,
-                    '字段量': 0,
-                    '数据简介': '记录 dataframe 或者数据库的列信息(dtypes)',
-                }
-        }
-        self.path = set_support.SetSupport(dirname='support').dirname
-        self.json_file = os.path.join(self.path, 'mysql_types.json')
-        if not os.path.isdir(self.path):
-            os.makedirs(self.path)
-        if not os.path.isfile(self.json_file):
-            with open(self.json_file, 'w', encoding='utf-8_sig') as f:
-                json.dump(self.datas, f, ensure_ascii=False, sort_keys=True, indent=4)
-
-    def json_before(self):
-        """ 本地 json 文件的 dtypes 信息, 初始化更新给 self.datas """
-        with open(self.json_file, 'r', encoding='utf-8_sig') as f:
-            json_ = json.load(f)
-            self.datas.update(json_)
-
-    def df_dtypes_to_json(self, db_name, collection_name, path, df=pd.DataFrame(), is_file_dtype=True):
-        if len(df) == 0:
-            return
-        cv = converter.DataFrameConverter()
-        df = cv.convert_df_cols(df=df)  # 清理 dataframe 列名的不合规字符
-        dtypes = df.dtypes.apply(str).to_dict()
-        dtypes = {'dataframe': {db_name: {collection_name: dtypes}}}
-        self.dtypes_to_json(dtypes=dtypes, cl='dataframe', db_name=db_name, collection_name=collection_name, path=path, is_file_dtype=is_file_dtype)
-
-    def dtypes_to_json(self, cl, dtypes, db_name, collection_name, path, is_file_dtype, ):
-        """ 更新 dataframe 的 dtypes 信息到 json 文件 """
-        if not os.path.exists(path):
-            os.makedirs(path)
-        json_file = os.path.join(path, 'mysql_types.json')
-        if os.path.isfile(json_file):
-            self.json_before(json_file=json_file)  # 更新本地json信息到 self.datas
-
-        if not os.path.isfile(json_file):  # 如果不存在本地 json 文件, 直接返回即可
-            self.datas.update(dtypes)
-            with open(json_file, 'w', encoding='utf-8_sig') as f:
-                json.dump(self.datas, f, ensure_ascii=False, sort_keys=True, indent=4)
-        else:  # 存在则读取，并更新 df 的 dtypes
-            if cl in self.datas.keys():
-                if db_name in list(self.datas[cl].keys()):  # ['京东数据2', '天猫数据2', '生意参谋数据2', '生意经2']
-                    if collection_name in list(self.datas[cl][db_name].keys()):
-                        if is_file_dtype:  # 旧数据优先
-                            # # 用 dtypes 更新, 允许手动指定 json 文件里面的数据类型
-                            dtypes[cl][db_name][collection_name].update(self.datas[cl][db_name][collection_name])
-                            # 将 dtypes 更新进去，使 self.datas 包含新旧信息
-                            self.datas[cl][db_name][collection_name].update(dtypes[cl][db_name][collection_name])
-                        else:  # 新数据优先
-                            self.datas[cl][db_name][collection_name].update(dtypes[cl][db_name][collection_name])
-                    else:
-                        if is_file_dtype:  # 旧数据优先
-                            dtypes[cl][db_name].update(self.datas[cl][db_name])
-                            self.datas[cl][db_name].update(dtypes[cl][db_name])
-                        else:
-                            self.datas[cl][db_name].update(dtypes[cl][db_name])
-                else:
-                    # dtypes.update(self.datas)  # 可以注释掉, 因为旧数据 self.datas 是空的
-                    self.datas[cl].update(dtypes[cl])
-            else:
-                self.datas.update(dtypes)
-
-        cif = 0  # 分类
-        dbs = 0  # 数据库
-        collections = 0  # 集合
-        cols = 0  # 字段
-        for k, v in self.datas.items():
-            if k == '_json统计':
-                continue  # 不统计头信息
-            cif += 1
-            for t, g in v.items():
-                dbs += 1
-                for d, j in g.items():
-                    collections += 1
-                    for t, p in j.items():
-                        cols += 1
-        tips = {'分类': cif, '数据库量': dbs, '集合数量': collections, '字段量': cols}
-        self.datas['_json统计'].update(tips)
-        with open(json_file, 'w', encoding='utf-8_sig') as f:
-            json.dump(
-                self.datas,
-                f,
-                ensure_ascii=False,  # 默认True，非ASCII字符将被转义。如为False，则非ASCII字符会以\uXXXX输出
-                sort_keys=True,  # 默认为False。如果为True，则字典的输出将按键排序。
-                indent=4,
-            )
-
-    def mysql_dtypes_to_json(self, db_name, tabel_name, path, is_file_dtype=True):
-        username, password, host, port = get_myconf.select_config_values(
-            target_service='home_lx',
-            database='mysql',
-        )
-        sq = s_query.QueryDatas(username=username, password=password, host=host, port=port)
-        name_type = sq.dtypes_to_list(db_name=db_name, tabel_name=tabel_name)
-        if name_type:
-            dtypes = {item['COLUMN_NAME']: item['COLUMN_TYPE'] for item in name_type}
-            dtypes = {'mysql': {db_name: {tabel_name: dtypes}}}
-            self.dtypes_to_json(dtypes=dtypes, cl='mysql', db_name=db_name, collection_name=tabel_name, path=path, is_file_dtype=is_file_dtype)
-        else:
-            print(f'数据库回传数据(name_type)为空')
-
-    def load_dtypes(self, db_name, collection_name, path, cl='dataframe', ):
-        if os.path.isfile(path):
-            self.json_before(json_file=path)  # 更新本地json信息到 self.datas
-        elif os.path.isdir(path):
-            json_file = os.path.join(path, 'mysql_types.json')
-            if os.path.isfile(json_file):
-                self.json_before(json_file=json_file)
-            else:
-                # 如果不存在，则新建文件
-                with open(json_file, 'w', encoding='utf-8_sig') as f:
-                    json.dump(self.datas, f, ensure_ascii=False, sort_keys=True, indent=4)
-                # print(f'不存在的文件: {json_file}')
-                return
-
-        if cl in self.datas.keys():
-            if db_name in list(self.datas[cl].keys()):
-                if collection_name in list(self.datas[cl][db_name].keys()):
-                    return self.datas[cl][db_name][collection_name]
-                else:
-                    print(f'不存在的集合名信息: {collection_name}, 文件位置: {json_file}')
-                    return {}
-            else:
-                print(f'不存在的数据库信息: {db_name}, 文件位置: {json_file}')
-                return {}
-        else:
-            print(f'不存在的数据分类: {cl}, 文件位置: {json_file}')
-            return {}
-
-
-def mysql_all_dtypes(path=None):
-    """
-    更新笔记本 mysql 中所有数据库的 dtypes 信息到本地 json
-    """
-    if not path:
-        path = set_support.SetSupport(dirname='support').dirname
-
-    username, password, host, port = get_myconf.select_config_values(target_service='home_lx', database='mysql')
-    config = {
-        'host': host,
-        'port': port,
-        'user': username,
-        'password': password,
-        'charset': 'utf8mb4',  # utf8mb4 支持存储四字节的UTF-8字符集
-        'cursorclass': pymysql.cursors.DictCursor,
-    }
-
-    connection = pymysql.connect(**config)  # 连接数据库
-    with connection.cursor() as cursor:
-        sql = "SHOW DATABASES;"
-        cursor.execute(sql)
-        db_name_lists = cursor.fetchall()
-        db_name_lists = [item['Database'] for item in db_name_lists]
-        connection.close()
-
-    sys_lists = ['information_schema', 'mysql', 'performance_schema', 'sakila', 'sys']
-    db_name_lists = [item for item in db_name_lists if item not in sys_lists]
-
-    # db_name_lists = [
-    #     '京东数据2',
-    #     '天猫数据2',
-    #     '市场数据2',
-    #     '生意参谋数据2',
-    #     '生意经2',
-    #     '属性设置2',
-    #     '聚合数据',
-    # ]
-    results = []
-    for db_name in db_name_lists:
-        config.update({'database': db_name})  # 添加更新 config 字段
-        connection = pymysql.connect(**config)  # 连接数据库
-        try:
-            with connection.cursor() as cursor:
-                sql = f"SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = '{db_name}';"
-                sql = "SHOW TABLES;"
-                cursor.execute(sql)
-                table_name = cursor.fetchall()
-                for table in table_name:
-                    for k, v in table.items():
-                        results.append({db_name: v})
-        except:
-            pass
-        finally:
-            connection.close()
-        time.sleep(0.5)
-
-    d = DataTypes()
-    for result in results:
-        for k, v in result.items():
-            d.mysql_dtypes_to_json(db_name=k, tabel_name=v, path=path)
-
-
-if __name__ == '__main__':
-    # mysql_all_dtypes()  # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
-    d = DataTypes()
-