Functions-d 1.0.2__tar.gz → 1.0.4__tar.gz

{functions_d-1.0.2 → functions_d-1.0.4}/Functions_d/Functions_d.py

@@ -27,7 +27,6 @@ import numpy as np
 from pypinyin import lazy_pinyin
 from selenium import webdriver
 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
-from selenium import webdriver
 from selenium.webdriver.edge.service import Service
 from selenium.webdriver.edge.options import Options
 from webdriver_manager.microsoft import EdgeChromiumDriverManager
@@ -35,18 +34,16 @@ import platform
 import requests
 
 
-class  DataProcessingAndMessaging:
+class DataProcessingAndMessaging:
     def __init__(self):
-        # 获取调用者的堆栈信息
+        # -------------------------- 1. 主类日志初始化 --------------------------
+        # 获取调用者的堆栈信息（主类日志关联调用脚本）
         caller_frame = inspect.stack()[1]
-        # 获取调用者的文件名
         caller_filename = caller_frame.filename
-        # 获取主脚本的基本名称（不包含路径和后缀）
         log_file = os.path.splitext(os.path.basename(caller_filename))[0] + ".log"
-        # 初始化日志记录
-        logging.basicConfig(filename=log_file, level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
-        self.logger = logging.getLogger()
 
+        # 初始化主类日志记录器
+        self.logger = logging.getLogger()
         self.logger.setLevel(logging.INFO)
         # 避免重复添加处理器
         if not self.logger.handlers:
@@ -60,9 +57,9 @@ class  DataProcessingAndMessaging:
             self.logger.addHandler(file_handler)
             self.logger.addHandler(console_handler)
 
-
         self.logger.info("初始化 DataProcessingAndMessaging 类")
-        # print("初始化 DataProcessingAndMessaging 类")
+
+        # -------------------------- 2. 主类核心参数初始化 --------------------------
         self.start_time = None
         self.current_script_name = None
         self.log_filename = None
@@ -70,10 +67,30 @@ class  DataProcessingAndMessaging:
         self.current_path = None
         self.path = None
 
+        # 企业微信消息发送参数
         self.corpid = "wxd4e113eb4c0136b9"
         self.corpsecret = "PMfPOv2Qqq0iXZAdWHF7WdaW4kkWUZcwyGE4NZtve3k"
         self.agentid = "1000026"
 
+        # -------------------------- 3. 企业微信文档功能初始化（原WechatWorkDocs） --------------------------
+        # 企业微信文档参数（独立配置）
+        self.WECHAT_DOC_CORP_ID = "wxd4e113eb4c0136b9"
+        self.WECHAT_DOC_SECRET = "PMfPOv2Qqq0iXZAdWHF7WdaW4kkWUZcwyGE4NZtve3k"
+        self.WECHAT_DOC_SPACE_ID = None  # 空间ID，根目录可留空
+        self.WECHAT_DOC_LOG_FILE = "docs_operation_log.txt"  # 文档功能独立日志文件
+        self.wechat_doc_access_token = None
+
+        # 初始化文档功能的独立日志（确保日志文件存在）
+        if not os.path.exists(self.WECHAT_DOC_LOG_FILE):
+            with open(self.WECHAT_DOC_LOG_FILE, 'w', encoding='utf-8') as f:
+                f.write(f"文档操作日志 - 开始于 {datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}\n")
+
+        # 预获取文档access_token（失败不中断主类初始化，后续操作自动重试）
+        try:
+            self.wechat_doc_access_token = self._wechat_doc_get_access_token()
+        except Exception as e:
+            self.logger.warning(f"企业微信文档access_token初始化失败（后续操作会自动重试）：{str(e)}")
+
 
 
     def init_edge_driver(self, headless=True):
@@ -405,7 +422,6 @@ class  DataProcessingAndMessaging:
             print(f"Hive原始错误详情：\n{full_error_details}")
             raise
 
-
     def run_sql_2(self, path=None, sql_name=None, channel=False, sql_content=None):
         """
         执行SQL（支持直接传入SQL内容或从文件读取）- 优化版Hive连接
@@ -839,6 +855,335 @@ class  DataProcessingAndMessaging:
             self.logger.error(f"车辆分配处理出错: {str(e)}")
             raise
 
+    def _wechat_doc_get_access_token(self):
+        """获取企业微信文档接口访问令牌（内部辅助方法）"""
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid={self.WECHAT_DOC_CORP_ID}&corpsecret={self.WECHAT_DOC_SECRET}"
+        response = requests.get(url)
+        result = response.json()
+
+        if result.get("errcode") != 0:
+            error_msg = f"获取文档access_token失败: {result.get('errmsg')}"
+            self._wechat_doc_log(error_msg)
+            raise Exception(error_msg)
+
+        self._wechat_doc_log("成功获取文档access_token")
+        return result.get("access_token")
+
+    def _wechat_doc_log(self, message):
+        """企业微信文档操作日志记录（单独日志文件，内部辅助方法）"""
+        timestamp = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        log_entry = f"{timestamp} - {message}\n"
+        with open(self.WECHAT_DOC_LOG_FILE, 'a', encoding='utf-8') as f:
+            f.write(log_entry)
+        # 同时在主日志中同步记录（便于调试）
+        self.main_logger.info(f"[企业微信文档] {message}")
+
+    def _wechat_doc_refresh_token_if_needed(self):
+        """令牌过期时自动刷新（内部辅助方法）"""
+        if not self.wechat_doc_access_token:
+            self.wechat_doc_access_token = self._wechat_doc_get_access_token()
+
+
+    # -------------------------- 企业微信文档功能：核心辅助方法（原WechatWorkDocs内部方法） --------------------------
+    def _wechat_doc_get_access_token(self):
+        """（文档功能独立）获取企业微信文档访问令牌"""
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid={self.WECHAT_DOC_CORP_ID}&corpsecret={self.WECHAT_DOC_SECRET}"
+        response = requests.get(url)
+        result = response.json()
+
+        if result.get("errcode") != 0:
+            error_msg = f"获取文档access_token失败: {result.get('errmsg')}"
+            self._wechat_doc_log(error_msg)
+            raise Exception(error_msg)
+
+        # self._wechat_doc_log("成功获取文档access_token")
+        return result.get("access_token")
+
+    def _wechat_doc_log(self, message):
+        """（文档功能独立）文档操作日志记录（不依赖主类日志）"""
+        timestamp = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+        log_entry = f"{timestamp} - {message}\n"
+        with open(self.WECHAT_DOC_LOG_FILE, 'a', encoding='utf-8') as f:
+            f.write(log_entry)
+        # 同时在主类日志中同步记录（便于统一排查）
+        self.logger.info(f"[企业微信文档] {message}")
+
+    def _wechat_doc_refresh_token_if_needed(self):
+        """（文档功能独立）自动刷新过期的access_token"""
+        if not self.wechat_doc_access_token:
+            self.wechat_doc_access_token = self._wechat_doc_get_access_token()
+
+    # -------------------------- 企业微信文档功能：对外方法（原WechatWorkDocs公开方法） --------------------------
+    def wx_create_table(self, sheet_name, admin_users=None):
+        """
+        创建企业微信智能表格
+        :param sheet_name: 表格名称
+        :param admin_users: 管理员用户ID列表（可选）
+        :return: 新建表格的docid和url字典
+        """
+        self._wechat_doc_refresh_token_if_needed()
+
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/wedoc/create_doc?access_token={self.wechat_doc_access_token}"
+        data = {
+            "spaceid": self.WECHAT_DOC_SPACE_ID,
+            "fatherid": self.WECHAT_DOC_SPACE_ID,  # 在根目录创建
+            "doc_type": 10,  # 10表示智能表格
+            "doc_name": sheet_name
+        }
+
+        if admin_users:
+            data["admin_users"] = admin_users
+
+        response = requests.post(url, data=json.dumps(data))
+        result = response.json()
+
+        if result.get("errcode") != 0:
+            error_msg = f"创建智能表格失败: {result.get('errmsg')}"
+            self._wechat_doc_log(error_msg)
+            raise Exception(error_msg)
+
+        # 记录操作日志
+        docid = result.get("docid")
+        self._wechat_doc_log(f"创建智能表格成功：名称={sheet_name}，docid={docid}")
+        return {
+            "docid": docid,
+            "url": result.get("url")
+        }
+
+    def wx_get_sheets(self, docid):
+        """
+        查询企业微信文档的子表信息
+        :param docid: 文档ID
+        :return: 子表列表（包含子表ID、标题、类型等信息）
+        """
+        self._wechat_doc_log(f"开始查询文档[{docid}]的子表信息")
+        self._wechat_doc_refresh_token_if_needed()
+
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/wedoc/smartsheet/get_sheet?access_token={self.wechat_doc_access_token}"
+        data = {
+            "docid": docid,
+            "need_all_type_sheet": True
+        }
+
+        response = requests.post(url, data=json.dumps(data))
+        result = response.json()
+
+        if result.get("errcode") != 0:
+            error_msg = f"查询子表失败: {result.get('errmsg')}"
+            self._wechat_doc_log(error_msg)
+            raise Exception(error_msg)
+
+        sheet_list = result.get("sheet_list", [])
+        # 记录查询结果
+        self._wechat_doc_log(f"查询文档[{docid}]子表完成，共找到{len(sheet_list)}个子表")
+        for sheet in sheet_list:
+            sheet_info = (f"子表信息 - ID: {sheet['sheet_id']}, 标题: {sheet['title']}, "
+                          f"类型: {sheet['type']}, 可见性: {'可见' if sheet['is_visible'] else '不可见'}")
+            self._wechat_doc_log(sheet_info)
+            print(f"[企业微信文档] {sheet_info}")  # 控制台同步输出
+
+        return sheet_list
+
+    def wx_run_excel(self, docid, sheet_id):
+        """
+        从企业微信智能表格导出记录到Excel（新增：含“日期”“时间”关键词列自动转为北京时间）
+        :param docid: 文档ID
+        :param sheet_id: 子表ID
+        :param excel_filename: 导出的Excel文件路径（含文件名）
+        """
+        self._wechat_doc_log(f"开始读取文档[{docid}]子表[{sheet_id}]的记录到dataframe")
+        self._wechat_doc_refresh_token_if_needed()
+
+        # -------------------------- 1. 分页获取企业微信表格记录（修复重复代码，保留核心逻辑） --------------------------
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/wedoc/smartsheet/get_records?access_token={self.wechat_doc_access_token}"
+        data = {
+            "docid": docid,
+            "sheet_id": sheet_id,
+            "key_type": "CELL_VALUE_KEY_TYPE_FIELD_TITLE",
+            "limit": 1000,
+            "offset": 0
+        }
+
+        all_records = []
+        has_more = True
+        while has_more:
+            response = requests.post(url, data=json.dumps(data))
+            result = response.json()
+            if result.get("errcode") != 0:
+                error_msg = f"查询记录失败: {result.get('errmsg')}"
+                self._wechat_doc_log(error_msg)
+                raise Exception(error_msg)
+            records = result.get("records", [])
+            all_records.extend(records)
+            has_more = result.get("has_more", False)
+            data["offset"] = result.get("next", 0)
+
+        if not all_records:
+            msg = f"文档[{docid}]子表[{sheet_id}]没有找到记录，无需导出"
+            self._wechat_doc_log(msg)
+            print(f"[企业微信文档] {msg}")
+            return
+
+        # -------------------------- 2. 核心工具：统一时间转换（兼容所有格式） --------------------------
+        def _unified_time_convert(value):
+            """
+            统一转换工具：支持DateTimeFieldProperty、毫秒/秒级时间戳、文本嵌套等格式，输出北京时间
+            :param value: 原始数据（任意格式）
+            :return: 北京时间字符串（YYYY-MM-DD HH:MM:SS）或原始值（转换失败）
+            """
+            # 空值直接返回
+            if value is None or str(value).strip() in ["", "None", "nan"]:
+                return ""
+
+            # 场景1：处理DateTimeFieldProperty类型（企业微信日期字段标准格式）
+            # 格式1：字典 → {"type":"DateTimeFieldProperty","value":1759852800000}
+            if isinstance(value, dict) and value.get("type") == "DateTimeFieldProperty":
+                ts = value.get("value")
+                if isinstance(ts, (int, float)):
+                    return _timestamp_to_beijing(ts)
+                else:
+                    self._wechat_doc_log(f"DateTimeFieldProperty时间戳非数字：{value}")
+                    return str(value)
+
+            # 格式2：列表嵌套字典 → [{"type":"DateTimeFieldProperty","value":1759852800000}]
+            elif isinstance(value, list) and len(value) > 0 and isinstance(value[0], dict):
+                nested_dict = value[0]
+                # 子场景1：嵌套DateTimeFieldProperty
+                if nested_dict.get("type") == "DateTimeFieldProperty":
+                    ts = nested_dict.get("value")
+                    if isinstance(ts, (int, float)):
+                        return _timestamp_to_beijing(ts)
+                    else:
+                        self._wechat_doc_log(f"嵌套DateTimeFieldProperty时间戳非数字：{value}")
+                        return str(value)
+                # 子场景2：嵌套文本（如[{"text":"1759852800000"}]）
+                elif "text" in nested_dict:
+                    text_val = nested_dict["text"]
+                    return _extract_and_convert_ts(text_val)
+                # 其他嵌套格式（如[{"title":"2025-10-07"}]）
+                else:
+                    return str(nested_dict.get("title", nested_dict.get("text", str(value))))
+
+            # 场景2：纯文本/数字（直接提取时间戳）
+            else:
+                return _extract_and_convert_ts(str(value))
+
+        def _timestamp_to_beijing(timestamp):
+            """毫秒级时间戳转北京时间（内部调用，不对外暴露）"""
+            try:
+                # 统一转为毫秒级（若传入秒级，自动补全）
+                ts = int(timestamp)
+                if len(str(ts)) == 10:
+                    ts *= 1000  # 秒级 → 毫秒级
+                # UTC时间转北京时间（+8小时）
+                utc_dt = datetime.datetime.utcfromtimestamp(ts / 1000)
+                beijing_dt = utc_dt + datetime.timedelta(hours=8)
+                return beijing_dt.strftime("%Y-%m-%d %H:%M:%S")
+            except (ValueError, OverflowError) as e:
+                self._wechat_doc_log(f"时间戳转换失败（值：{timestamp}），错误：{str(e)}")
+                return str(timestamp)
+
+        def _extract_and_convert_ts(raw_text):
+            """从文本中提取10-13位时间戳并转换（内部调用，不对外暴露）"""
+            # 用正则提取文本中的10-13位数字（时间戳特征）
+            ts_match = re.search(r"\d{10,13}", raw_text)
+            if ts_match:
+                ts = ts_match.group()
+                return _timestamp_to_beijing(ts)
+            # 无时间戳则返回原始文本（如已是“2025-10-07”格式）
+            else:
+                return raw_text
+
+        # -------------------------- 3. 格式化记录（新增：标记日期相关列并转换） --------------------------
+        rows = []
+        # 先获取所有自定义字段名（用于后续标记日期列）
+        custom_fields = set()
+        for record in all_records[:1]:  # 取第一条记录即可（所有记录字段结构一致）
+            if record.get("values"):
+                custom_fields = set(record["values"].keys())
+                break
+        # 系统字段 + 自定义字段 = 所有字段
+        all_fields = ["记录ID", "创建时间", "更新时间", "最后编辑者"] + list(custom_fields)
+        # 标记含“日期”“时间”关键词的列（需转换的目标列）
+        date_related_columns = [col for col in all_fields if any(kw in str(col) for kw in ["日期", "时间"])]
+        self._wechat_doc_log(f"识别到需转换的日期相关列：{date_related_columns}")
+
+        # 循环处理每条记录
+        for record in all_records:
+            # 系统字段初始化（创建时间、更新时间已在日期列中，优先转换）
+            row = {
+                "记录ID": record.get("record_id"),
+                "创建时间": _unified_time_convert(record.get("create_time")),  # 系统时间戳转换
+                "更新时间": _unified_time_convert(record.get("update_time")),  # 系统时间戳转换
+                "最后编辑者": record.get("updater_name")
+            }
+
+            # 处理自定义字段（仅转换日期相关列）
+            values = record.get("values", {})
+            for field_name, field_value in values.items():
+                # 判断是否为日期相关列，是则调用统一转换工具
+                if field_name in date_related_columns:
+                    row[field_name] = _unified_time_convert(field_value)
+                # 非日期列按原有逻辑处理
+                else:
+                    if isinstance(field_value, list) and len(field_value) > 0:
+                        if isinstance(field_value[0], dict):
+                            row[field_name] = field_value[0].get("text",
+                                                                 field_value[0].get("title", str(field_value[0])))
+                        else:
+                            row[field_name] = str(field_value)
+                    else:
+                        row[field_name] = str(field_value) if field_value is not None else ""
+
+            rows.append(row)
+
+        # -------------------------- 4. 导出Excel（优化：日期列格式美化） --------------------------
+        df = pd.DataFrame(rows)
+        df = df[df['更新时间'] != '0']
+        # 使用openpyxl引擎，确保Excel中日期格式正常显示（避免文本格式）
+        # with pd.ExcelWriter(excel_filename, engine="openpyxl") as writer:
+        #     df.to_excel(writer, index=False, sheet_name="企业微信数据")
+        #     worksheet = writer.sheets["企业微信数据"]
+        #
+        #     # 对日期相关列设置格式：列宽适配 + 日期格式
+        #     for col_idx, col_name in enumerate(df.columns, 1):  # Excel列号从1开始
+        #         if col_name in date_related_columns:
+        #             # 列宽设为22（适配“YYYY-MM-DD HH:MM:SS”）
+        #             worksheet.column_dimensions[chr(64 + col_idx)].width = 22
+        #             # 批量设置单元格格式为“日期时间”（避免Excel按文本显示）
+        #             for row_idx in range(2, len(df) + 2):  # 第1行是表头，从第2行开始
+        #                 cell = worksheet.cell(row=row_idx, column=col_idx)
+        #                 cell.number_format = "YYYY-MM-DD HH:MM:SS"
+
+        msg = f"成功读取{len(rows)}条记录到dataframe（{len(date_related_columns)}个日期相关列已转为北京时间）"
+        self._wechat_doc_log(msg)
+        print(f"[企业微信文档] {msg}")
+
+        return df
+
+    def wx_delete_table(self, docid):
+        """
+        删除企业微信文档
+        :param docid: 文档ID
+        :return: 删除成功返回True
+        """
+        self._wechat_doc_log(f"开始删除文档：docid={docid}")
+        self._wechat_doc_refresh_token_if_needed()
+
+        url = f"https://qyapi.weixin.qq.com/cgi-bin/wedoc/del_doc?access_token={self.wechat_doc_access_token}"
+        data = {"docid": docid}
+
+        response = requests.post(url, data=json.dumps(data))
+        result = response.json()
+
+        if result.get("errcode") != 0:
+            error_msg = f"删除文档失败: {result.get('errmsg')}"
+            self._wechat_doc_log(error_msg)
+            raise Exception(error_msg)
+
+        self._wechat_doc_log(f"文档删除成功：docid={docid}")
+        return True
+
 # 表格导出使用示例
 # df1 = pd.DataFrame(df)
 # df2 = pd.DataFrame(df)
@@ -871,4 +1216,3 @@ class  DataProcessingAndMessaging:
 # path = ux.path
 # current_script_name = ux.current_script_name
 
-

{functions_d-1.0.2 → functions_d-1.0.4}/Functions_d.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: Functions_d
-Version: 1.0.2
+Version: 1.0.4
 Summary: 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库
 Author: DongYang
 Author-email: 649898871@qq.com

{functions_d-1.0.2 → functions_d-1.0.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: Functions_d
-Version: 1.0.2
+Version: 1.0.4
 Summary: 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库
 Author: DongYang
 Author-email: 649898871@qq.com

{functions_d-1.0.2 → functions_d-1.0.4}/setup.cfg

@@ -1,6 +1,6 @@
 [metadata]
 name = Functions_d
-version = 1.0.2
+version = 1.0.4
 author = DongYang
 author_email = 649898871@qq.com
 description = 包含数据处理、Hive交互、企业微信消息发送、Excel操作等功能的工具类库