Functions-d 1.37__tar.gz → 1.38__tar.gz

{functions_d-1.37 → functions_d-1.38}/Functions_d/Functions_d.py

@@ -33,6 +33,7 @@ from email.mime.application import MIMEApplication
 from email.mime.image import MIMEImage
 
 
+
 class DataProcessingAndMessaging:
     def __init__(self, enable_console_log=None):
         # -------------------------- 1. 主类日志初始化 --------------------------
@@ -1907,6 +1908,108 @@ class DataProcessingAndMessaging:
             self.logger.error(err_msg, exc_info=True)
             print(err_msg)
             return None
+
+    # -------------------------- Hive数据导出Snappy压缩Parquet文件 --------------------------
+    def export_parquet(self, df, file_no_suffix, save_dir=None):
+        """
+        将Hive查询返回的DataFrame去除库表前缀列名，自动处理重复字段名，导出snappy压缩parquet文件
+        :param df: Hive读取的DataFrame
+        :param file_no_suffix: 不带后缀的文件名，方法内部自动拼接 .parquet
+        :param save_dir: 存储目录路径；不传则默认使用实例内置self.path
+        """
+        # 判定存储目录，为空则使用默认脚本路径self.path
+        target_dir = save_dir if save_dir is not None else self.path
+        # 拼接完整文件路径
+        file_name = f"{file_no_suffix}.parquet"
+        save_path = os.path.join(target_dir, file_name)
+        self.logger.info(f"开始处理Parquet导出，目标路径：{save_path}")
+        print(f"开始处理Parquet导出，目标路径：{save_path}")
+        try:
+            # 截取列名，去掉库表前缀，重复字段自动加后缀区分
+            old_columns = list(df.columns)
+            new_cols = []
+            name_count = {}
+            for col in old_columns:
+                short_name = col.split(".")[-1]
+                if short_name in name_count:
+                    name_count[short_name] += 1
+                    final_name = f"{short_name}_{name_count[short_name]}"
+                else:
+                    name_count[short_name] = 0
+                    final_name = short_name
+                new_cols.append(final_name)
+            df.columns = new_cols
+            self.logger.info(f"列名清洗完成，原列名：{old_columns} → 新列名：{list(df.columns)}")
+            print(f"列名清洗完成，共{len(df.columns)}个字段")
+
+            # 导出snappy压缩parquet
+            df.to_parquet(
+                save_path,
+                engine="pyarrow",
+                compression="snappy"
+            )
+            # 获取文件大小日志
+            file_size_kb = round(os.path.getsize(save_path) / 1024, 2)
+            success_msg = f"Parquet文件导出完成，文件大小：{file_size_kb} KB，数据行数：{len(df)}"
+            self.logger.info(success_msg)
+            print(success_msg)
+        except Exception as e:
+            err_msg = f"导出Snappy Parquet文件失败，保存路径：{save_path}，报错信息：{str(e)}"
+            self.logger.error(err_msg, exc_info=True)
+            print(err_msg)
+            raise
+
+    # -------------------------- Hive数据导出CSV文件 --------------------------
+    def export_csv(self, df, file_no_suffix, save_dir=None):
+        """
+        将Hive查询返回的DataFrame去除库表前缀列名，自动处理重复字段名，导出CSV文件（utf-8-sig编码兼容中文）
+        :param df: Hive读取的DataFrame
+        :param file_no_suffix: 不带后缀的文件名，方法内部自动拼接 .csv
+        :param save_dir: 存储目录路径；不传则默认使用实例内置self.path
+        """
+        # 判定存储目录，为空则使用默认脚本路径self.path
+        target_dir = save_dir if save_dir is not None else self.path
+        # 拼接完整文件路径
+        file_name = f"{file_no_suffix}.csv"
+        save_path = os.path.join(target_dir, file_name)
+        self.logger.info(f"开始处理CSV导出，目标路径：{save_path}")
+        print(f"开始处理CSV导出，目标路径：{save_path}")
+        try:
+            # 截取列名，去掉库表前缀，重复字段自动加后缀区分
+            old_columns = list(df.columns)
+            new_cols = []
+            name_count = {}
+            for col in old_columns:
+                short_name = col.split(".")[-1]
+                if short_name in name_count:
+                    name_count[short_name] += 1
+                    final_name = f"{short_name}_{name_count[short_name]}"
+                else:
+                    name_count[short_name] = 0
+                    final_name = short_name
+                new_cols.append(final_name)
+            df.columns = new_cols
+            self.logger.info(f"列名清洗完成，原列名：{old_columns} → 新列名：{list(df.columns)}")
+            print(f"列名清洗完成，共{len(df.columns)}个字段")
+
+            # 导出csv，utf-8-sig解决中文乱码，不输出索引
+            df.to_csv(
+                save_path,
+                encoding="utf-8-sig",
+                index=False
+            )
+            # 获取文件大小日志
+            file_size_kb = round(os.path.getsize(save_path) / 1024, 2)
+            success_msg = f"CSV文件导出完成，文件大小：{file_size_kb} KB，数据行数：{len(df)}"
+            self.logger.info(success_msg)
+            print(success_msg)
+        except Exception as e:
+            err_msg = f"导出CSV文件失败，保存路径：{save_path}，报错信息：{str(e)}"
+            self.logger.error(err_msg, exc_info=True)
+            print(err_msg)
+            raise
+
+
 # 使用示例
 if __name__ == "__main__":
     # 实例化 DataProcessingAndMessaging 类

{functions_d-1.37 → functions_d-1.38}/Functions_d.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: Functions_d
-Version: 1.37
+Version: 1.38
 Summary: 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库
 Author: DongYang
 Author-email: 649898871@qq.com
@@ -31,6 +31,7 @@ Requires-Dist: pypinyin>=0.48.0
 Requires-Dist: psutil>=5.8.0
 Requires-Dist: tenacity>=8.0.0
 Requires-Dist: openpyxl>=3.0.0
+Requires-Dist: pyarrow>=10.0.0
 
 # 说明
 这是一个函数封装工具

{functions_d-1.37 → functions_d-1.38}/Functions_d.egg-info/requires.txt

@@ -15,3 +15,4 @@ pypinyin>=0.48.0
 psutil>=5.8.0
 tenacity>=8.0.0
 openpyxl>=3.0.0
+pyarrow>=10.0.0

{functions_d-1.37 → functions_d-1.38}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: Functions_d
-Version: 1.37
+Version: 1.38
 Summary: 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库
 Author: DongYang
 Author-email: 649898871@qq.com
@@ -31,6 +31,7 @@ Requires-Dist: pypinyin>=0.48.0
 Requires-Dist: psutil>=5.8.0
 Requires-Dist: tenacity>=8.0.0
 Requires-Dist: openpyxl>=3.0.0
+Requires-Dist: pyarrow>=10.0.0
 
 # 说明
 这是一个函数封装工具

{functions_d-1.37 → functions_d-1.38}/setup.cfg

@@ -1,6 +1,6 @@
 [metadata]
 name = Functions_d
-version = 1.37
+version = 1.38
 author = DongYang
 author_email = 649898871@qq.com
 description = 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库
@@ -37,6 +37,7 @@ install_requires =
 	psutil>=5.8.0
 	tenacity>=8.0.0
 	openpyxl>=3.0.0
+	pyarrow>=10.0.0
 
 [options.packages.find]
 where = .