MeUtils 2024.3.4.13.4.45__py3-none-any.whl → 2025.1.16.17.15.52__py3-none-any.whl

meutils/config_utils/lark_utils/x.py

@@ -0,0 +1,50 @@
+import lark_oapi as lark
+from lark_oapi.api.sheets.v3 import *
+
+
+# SDK 使用说明: https://github.com/larksuite/oapi-sdk-python#readme
+def main():
+    # 创建client
+    # 使用 user_access_token 需开启 token 配置, 并在 request_option 中配置 token
+    client = lark.Client.builder() \
+        .enable_set_token(True) \
+        .log_level(lark.LogLevel.DEBUG) \
+        .build()
+
+
+
+    # 构造请求对象
+    request: FindSpreadsheetSheetRequest = FindSpreadsheetSheetRequest.builder() \
+        .spreadsheet_token("APMRsoxW4hkIzwt693Bc9kWtnSd") \
+        .sheet_id("95c9b1") \
+        .request_body(Find.builder()
+            .find_condition(FindCondition.builder()
+                .range("PNIfrm!A1:C5")
+                .match_case(True)
+                .match_entire_cell(False)
+                .search_by_regex(False)
+                .include_formulas(False)
+                .build())
+            .find("hello")
+            .build()) \
+        .build()
+
+    # 发起请求
+    option = lark.RequestOption.builder().user_access_token("u-cyzn34LK53b8WEt6sihwnB1kiLCg1gDHra0011o00adz").build()
+    response: FindSpreadsheetSheetResponse = client.sheets.v3.spreadsheet_sheet.find(request, option)
+
+    # 处理失败返回
+    if not response.success():
+        lark.logger.error(
+            f"client.sheets.v3.spreadsheet_sheet.find failed, code: {response.code}, msg: {response.msg}, log_id: {response.get_log_id()}")
+        return
+
+    # 处理业务结果
+    lark.logger.info(lark.JSON.marshal(response.data, indent=4))
+
+
+if __name__ == "__main__":
+    main()
+
+# curl --location --request GET 'https://open.feishu.cn/open-apis/sheets/v2/spreadsheets/APMRsoxW4hkIzwt693Bc9kWtnSd/values/8DkMAI?valueRenderOption=ToString&dateTimeRenderOption=FormattedString' \
+# --header 'Authorization: Bearer t-ce3540c5f02ac074535f1f14d64fa90fa49621c0'

meutils/config_utils/manager.py

@@ -0,0 +1,108 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+# @Project      : AI.  @by PyCharm
+# @File         : config_manager
+# @Time         : 2024/12/4 12:07
+# @Author       : betterme
+# @WeChat       : meutils
+# @Software     : PyCharm
+# @Description  :
+
+import nacos
+from meutils.pipe import *
+
+
+class ConfigManager(object):
+    _instance = None
+    _config: str = ""
+
+    def __new__(cls, *args):
+        if cls._instance is None:
+            cls._instance = super().__new__(cls)
+        return cls._instance
+
+    def __init__(self, namespace: str, data_id: str, group: str = "DEFAULT_GROUP", ):
+        self.data_id = data_id
+        self.group = group
+
+        NACOS_URL = os.getenv("NACOS_URL")
+        if NACOS_URL:
+            server_addresses = NACOS_URL.split('@')[1]
+            username, password = NACOS_URL.split('@')[0].split(":")
+
+            # Nacos客户端配置
+            self.client = nacos.NacosClient(
+                server_addresses=server_addresses,  # Nacos服务器地址
+                namespace=namespace,  # 命名空间
+                username=username,  # 用户名
+                password=password  # 密码
+            )
+
+    def init_config(self):
+        """初始化配置并添加监听器"""
+        # 获取初始配置
+        config = self.client.get_config(self.data_id, self.group)
+        logger.info(f"初始配置\n{config}")
+        if config:
+            self._config = config
+
+        # 添加配置变更监听器
+        self.client.add_config_watcher(self.data_id, self.group, self._config_changed_callback)
+
+    def _config_changed_callback(self, args):
+        """配置变更回调函数"""
+        logger.debug(f"配置发生变更: {json.dumps(args, indent=4)}")
+        # {'data_id': 'testdata', 'group': 'DEFAULT_GROUP', 'namespace': 'test', 'raw_content': 'sk-\nsk-',
+        #  'content': 'sk-\nsk-'}
+        self._config = args['content']
+
+    @property
+    def text(self) -> str:
+        """获取当前配置: 原始内容"""
+        return self._config or self.client.get_config(self.data_id, self.group)
+
+    @property
+    def json(self) -> Dict[str, Any]:
+        text = self._config
+        try:
+            return json.loads(text)
+        except json.decoder.JSONDecodeError as e:
+            logger.warning(f"标准json 配置加载失败: {e}")
+
+            logger.debug(f"尝试用json_repair解析")
+            return json_repair.repair_json(text, return_objects=True)
+
+    @property
+    def yaml(self) -> Dict[str, Any]:
+        text = self._config
+
+        try:
+            return yaml.safe_load(text)
+        except Exception as e:
+            logger.error(f"yaml 配置加载失败: {e}")
+
+    @property
+    def xml(self):
+        return self._config
+
+    @property
+    def html(self):
+        return self._config
+
+    @property
+    def properties(self):
+        return self._config
+
+
+if __name__ == '__main__':
+    # 初始化配置管理器
+    namespace = 'test'
+    data_id = "testdata"
+
+    namespace = 'prd'
+    data_id = "siliconflow-api"
+
+    manager = ConfigManager(namespace, data_id)
+    # manager_ = Manager(namespace, data_id, group)
+
+    print(manager.text)

meutils/crawlers/__init__.py

@@ -0,0 +1,11 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+# @Project      : AI.  @by PyCharm
+# @File         : __init__.py
+# @Time         : 2024/4/19 13:42
+# @Author       : betterme
+# @WeChat       : meutils
+# @Software     : PyCharm
+# @Description  : 
+
+from meutils.pipe import *

meutils/data/VERSION

@@ -1 +1 @@
-2024.03.04.13.04.45
+2025.01.16.17.15.52

meutils/data/oneapi/FOOTER.md

@@ -0,0 +1,7 @@
+<div class="custom-footer">@2024  <a href="https://api.chatfire.cn">🔥ChatfireAPI</a>  由火宝AI出品 
+| <a href="https://api.chatfire.cn" target="_blank">支持对公&发票</a> 
+| <a href="https://api.chatfire.cn" target="_blank">提供模型定制化服务</a> 
+| <a href="https://api.chatfire.cn" target="_blank">个性化智能体</a> 
+|  🛎<a href="https://api.chatfire.cn/about" target="_blank">企微客服，咨询更多</a>
+
+</div>

meutils/data/oneapi/NOTICE.md

@@ -0,0 +1,138 @@
+<h1 align = "center">🔥公告🚀</h1>
+
+---
+<details markdown="1">
+  <summary><b>🔥业务经营范围</b></summary>
+
+- api服务（没有的找企微客服增加）
+    - 提供主流大模型服务，gpt/claude/gemini/llama/国产大模型等等
+    - 提供多模态模型服务，文件解析/图片解析/语音解析/视频解析等等
+    - 提供垂类智能体服务，文件问答/联网问答/学术搜索等等
+    - 提供语音克隆&语音合成服务，hailuo/fish/chattts等等
+    - 提供embedding服务，bge/jina/openai等等
+    - 提供图片生成服务，kling/flux/ideogram/recraft/虚拟换衣/换头等等
+    - 提供视频生成服务，kling/cogviewx/hailuo/hunyuan/vidu/sora等等
+    - 提供图片编辑服务，变清晰、去水印、抠图等等
+    - 提供文档智能服务，ocr/pdf-to-markdown/url-to-markdown等等
+    - 提供对象存储服务
+
+- 账号服务（市面上有的都可以）
+    - gpt-plus/claude-pro
+    - api-key
+
+- 个性化服务
+    - 定制同款api聚合站点，一键对接货源
+    - 定制企业智能体，类似gpt-4-all/kimi
+    - 定制知识库智能问答（RAG）
+    - 定制AI类网站/小程序等等
+    - 承接数据标注/数据跑批任务
+    - 承接大模型微调，定制化大模型（可端到端）
+    - 承接其他项目，算法模型等等
+
+</details>
+
+<details markdown="1">
+  <summary><b>大额充值优惠</b></summary>
+
+- 充值1000-2000 增送10%
+
+</details>
+
+## 2025-01-04
+- 增加模型配额 gemini-2.0-flash-exp、gemini-2.0-flash-thinking-exp-1219
+
+## 2024-12-31
+
+- 上线新模型
+    - `glm-zero/glm-zero-preview`：GLM-Zero-Preview 专注于增强模型推理能力，擅长处理数理逻辑、代码和需要深度推理的复杂问题。同基座模型相比，GLM-Zero-Preview
+      在不显著降低通用任务能力的情况下，在专家任务能力方面表现大幅提升。其在 AIME 2024、MATH500 和 LiveCodeBench 评测中，效果与
+      OpenAI-o1-Preview 相当。
+    - 兼容SparkAI客户端，文件问答&图片问答：baseurl改为`https://api.chatfire.cn/sparkai/v1`
+
+## 2024-12-27
+
+- 上线新模型
+    - deepseek-v3
+    - deepseek-r1：deepseek-v3的思考模型
+    - deepseek-search：deepseek-v3的联网模型
+
+## 2024-12-24
+
+- 上线新模型
+    - doubao-pro-256k：相比Doubao-pro-128k/240628，长文任务效果显著提升10%以上，要点提取、字数遵循、多轮对话上文记忆等能力大幅提升
+    - [qvq-72b-preview](https://mp.weixin.qq.com/s/WzL7tbFUZOgE2IFMeHT-sQ)：Qwen开源视觉推理模型QVQ，更睿智地看世界！
+
+- 增加gemini-2.0配额，支持多模型，默认分组可用
+    - "gemini-2.0-flash"
+    - "gemini-2.0-flash-exp"
+
+## 2024-12-20
+
+- 修复SunoV4无水印版本
+    - [异步任务接口文档](https://api.chatfire.cn/docs/api-246593467)
+- [增加视频解析模型](https://api.chatfire.cn/docs/api-246688638)
+- 增加高并发mj-fast
+
+## 2024-12-19
+
+- 新增生图模型 SeedEdit（文生图&图生图/图片编辑）: 一句话编辑你的世界：字节跳动推出革命性图片编辑工具SeedEdit
+    - [Chat模式接口文档](https://api.chatfire.cn/docs/api-214415540)
+    - [Images接口文档](https://api.chatfire.cn/docs/api-246137616)
+    - [异步任务接口文档](https://api.chatfire.cn/docs/api-246120232)
+- 新增视觉模型
+    - deepseek-ai/deepseek-vl2
+    - doubao-vision-pro-32k
+    - doubao-vision-lite-32k
+- 新增视频模型 Sora
+    - Chat模式：`sora-1:1-480p-5s`
+    - 异步任务接口在路上
+
+---
+
+<details markdown="1">
+  <summary><b>历史更新</b></summary>
+
+## 2024-12-13
+
+- 新增模型 混元视频（支持高并发，非逆向可商用，限时特价1毛）[接口文档](https://api.chatfire.cn/docs/api-244309840)
+  HunyuanVideo 是腾讯推出的开源视频生成基础模型，拥有超过 130
+  亿参数，是目前最大的开源视频生成模型。该模型采用统一的图像和视频生成架构，集成了数据整理、图像-视频联合模型训练和高效基础设施等关键技术。模型使用多模态大语言模型作为文本编码器，通过
+  3D VAE 进行空间-时间压缩，并提供提示词重写功能。根据专业人工评估结果，HunyuanVideo 在文本对齐、运动质量和视觉质量等方面的表现优于现有最先进的模型
+
+## 2024-12-09
+
+- 新增模型
+    - meta-llama/Llama-3.3-70B-Instruct: Llama 3.3 是 Llama 系列最先进的多语言开源大型语言模型，以极低成本体验媲美 405B
+      模型的性能。基于 Transformer
+      结构，并通过监督微调（SFT）和人类反馈强化学习（RLHF）提升有用性和安全性。其指令调优版本专为多语言对话优化，在多项行业基准上表现优于众多开源和封闭聊天模型。知识截止日期为
+      2023 年 12 月。
+    - jimeng-v2.1：豆包画图，支持即梦超强图像生成能力，兼容chat/dalle-image调用方式。
+    - 海螺最新的I2V-01-live图生视频模型：特别针对二次元图生视频效果，进行了优化，动作流畅又生动，让2D二次元角色像复活一样。
+
+## 2024-12-06
+
+- 新增模型
+    - o1-plus: （官网 plus 版本 `逆向工程`，有思考过程显示）o1 是OpenAI针对复杂任务的新推理模型，该任务需要广泛的常识。该模型具有
+      200k 上下文，目前全球最强模型，支持图片识别
+    - o1-pro: （官网 200刀 plus 版本 `逆向工程`，有思考过程显示）o1-pro 是OpenAI针对复杂任务的新推理模型，该任务需要广泛的常识。该模型具有
+      200k 上下文，目前全球最强模型，支持图片识别
+
+## 2024-12-05
+
+- 新增模型gpt-4-plus/gpt-4o-plus按倍率计算
+  > OpenAI-plus会员 逆向工程
+
+## 2024-11-29
+
+- 新增推理模型
+    - Qwen/QwQ-32B-Preview
+      > 强大的数学问题解决能力，在AIME、MATH-500数学评测上，超过了OpenAI o1-preview优秀的编码能力，LiveCodeBench接近OpenAI
+      o1-preview
+
+## 2024-11-25
+
+- 新增虚拟换衣接口
+    - [可灵官方api格式](https://api.chatfire.cn/docs/api-237182295) 0.8/次
+    - [老接口格式](https://api.chatfire.cn/docs/api-226983436) 0.1/次
+
+</details>

meutils/data/oneapi/__init__.py

@@ -0,0 +1,15 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+# @Project      : AI.  @by PyCharm
+# @File         : __init__.py
+# @Time         : 2024/11/11 10:26
+# @Author       : betterme
+# @WeChat       : meutils
+# @Software     : PyCharm
+# @Description  :
+
+from meutils.pipe import *
+
+NOTICE = get_resolve_path('./NOTICE.md', __file__).read_text()
+
+FOOTER = get_resolve_path('./FOOTER.md', __file__).read_text()

meutils/db/orm.py

@@ -0,0 +1,179 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+# @Project      : AI.  @by PyCharm
+# @File         : database
+# @Time         : 2024/11/20 10:25
+# @Author       : betterme
+# @WeChat       : meutils
+# @Software     : PyCharm
+# @Description  : 基础操作 https://mp.weixin.qq.com/s/nbYhmkN05eqnvjGFvzMbXQ
+
+from meutils.pipe import *
+
+from sqlalchemy.ext.asyncio import create_async_engine
+from sqlmodel.ext.asyncio.session import AsyncSession
+from sqlmodel import Field, Session, SQLModel, create_engine, select, insert, update
+
+engine = create_async_engine(
+    os.getenv("MYSQL_URL"),
+    future=True,
+    pool_size=16,
+    max_overflow=16,
+    pool_recycle=3600,
+    echo=True,
+)
+
+
+async def create_db_and_tables() -> None:
+    meta = SQLModel.metadata
+
+    async with engine.begin() as conn:
+        # await conn.run_sync(meta.drop_all) # 清空 慎用
+        await conn.run_sync(meta.create_all)
+
+
+async def get_session():
+    async with AsyncSession(engine) as session:
+        yield session
+
+
+async def get_db():
+    async with AsyncSession(engine) as session:
+        yield session
+
+
+async def update_or_insert(entity, filter_kwargs: Optional[dict] = None, update_fn: Optional[Callable] = None,
+                           n: int = 1):
+    """
+
+    :param entity: TASK 类
+    :param filter_kwargs: 查询条件 字典 元组 第一个值是id
+    :param update_fn:
+
+        def update_fn(data):
+            data.age = 100
+
+    :param n: 轮询次数
+    :return:
+    """
+    if n > 1:  # 一般轮询任务放后台
+        for i in range(1, n):
+            await asyncio.sleep(n / i, 1)
+
+            logger.debug(f"UPDATE_OR_INSERT: {entity.__name__}-{i}")
+            update_flag = await update_or_insert(entity, filter_kwargs, update_fn)
+            if update_flag is False:
+                logger.debug("提前跳出轮询")
+                break
+
+    filter_kwargs = filter_kwargs or {}
+    async with AsyncSession(engine) as session:
+        statement = select(entity).filter_by(**filter_kwargs)
+        result = await session.exec(statement)
+        data = result.first()  # result.all()
+
+        if data:  # 主键id查询
+            if update_fn:
+                logger.debug(f"UPDATE: {data}")
+
+                if inspect.iscoroutinefunction(update_fn):
+                    update_flag = await update_fn(data)
+                else:
+                    update_flag = update_fn(data)
+
+                if update_flag is False: return False  # 跳出轮询
+
+                await session.commit()
+                await session.refresh(data)
+            return data
+        else:
+            data = entity(**filter_kwargs)
+            logger.debug(f"INSERT: {data}")
+
+            session.add(data)
+
+            await session.commit()
+            await session.refresh(data)
+            return data
+
+
+async def select_first(entity, filter_kwargs: Optional[dict] = None):
+    async with AsyncSession(engine) as session:
+        statement = select(entity).filter_by(**filter_kwargs)
+
+        if result := await session.exec(statement):
+            _ = result.first()
+            logger.debug(_)
+            return _
+
+
+if __name__ == '__main__':
+    pass
+
+    # class Hero(SQLModel, table=True):
+    #     id: Optional[int] = Field(default=None, primary_key=True)
+    #     name: str
+    #     secret_name: str
+    #     age: Optional[int] = None
+    #
+    #
+    # hero_1 = Hero(name="Deadpond", secret_name="Dive Wilson")
+    # hero_2 = Hero(name="Spider-Boy", secret_name="Pedro Parqueador")
+    # hero_3 = Hero(name="Rusty-Man", secret_name="Tommy Sharp", age=48)
+    #
+    #
+    # async def main():
+    #     async with AsyncSession(engine) as session:
+    #         session.add(hero_1)
+    #         session.add(hero_2)
+    #         session.add(hero_3)
+    #         await session.commit()
+    #
+    #
+    # # arun(main())
+    #
+    # arun(create_db_and_tables())
+
+    from meutils.schemas.db.oneapi_types import OneapiTask, OneapiUser, OneapiToken
+
+    # filter_kwargs = {
+    #     "task_id": "888",
+    # }
+    #
+    #
+    # async def main():
+    #     async with AsyncSession(engine) as session:
+    #         statement = select(OneapiTask).filter_by(**filter_kwargs)
+    #         result = await session.exec(statement)
+    #         logger.debug(result)
+    #         if result:
+    #             logger.debug(result.first())
+    #         # await session.commit()
+    #
+    #
+    # arun(update_or_insert(OneapiTask, filter_kwargs))
+
+    filter_kwargs = {
+        "id": "1",
+    }
+
+
+    async def main():
+        async with AsyncSession(engine) as session:
+            # filter_kwargs = {
+            #     "id": "1",
+            # }
+            # statement = select(OneapiUser).filter_by(**filter_kwargs)
+
+            filter_kwargs = {
+                "key": "gpoH1z3G6nHovD8MY40i6xx5tsC1vbh7B3Aao2jmejYNoKhv",
+            }
+            statement = select(OneapiToken).filter_by(**filter_kwargs)
+
+            result = await session.exec(statement)
+            if result:
+                logger.debug(result.first())
+            # await session.commit()
+
+
+    arun(main())

meutils/db/redis_db.py

@@ -0,0 +1,87 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+# @Project      : AI.  @by PyCharm
+# @File         : redis
+# @Time         : 2024/3/26 11:21
+# @Author       : betterme
+# @WeChat       : meutils
+# @Software     : PyCharm
+# @Description  :
+# from meutils.pipe import *
+
+import os
+from redis import Redis, ConnectionPool
+from redis.asyncio import Redis as AsyncRedis, ConnectionPool as AsyncConnectionPool
+
+kwargs = {
+    "retry_on_timeout": True,
+    # "db": 6
+}
+if REDIS_URL := os.getenv("REDIS_URL"):
+    # logger.debug(REDIS_URL)
+
+    pool = ConnectionPool.from_url(REDIS_URL, **kwargs)
+    redis_client = Redis.from_pool(pool)
+
+    async_pool = AsyncConnectionPool.from_url(REDIS_URL, **kwargs)
+    redis_aclient = AsyncRedis.from_pool(async_pool)
+    # redis_client = Redis.from_url(REDIS_URL, **kwargs)
+    # redis_aclient = AsyncRedis.from_url(REDIS_URL, **kwargs)
+
+else:
+    redis_client = Redis(**kwargs)  # decode_responses=True
+    redis_aclient = AsyncRedis(**kwargs)
+
+if __name__ == '__main__':
+    from meutils.pipe import *
+
+    # print(arun(redis_aclient.get("")))
+    # print(redis_client.lrange("https://api.moonshot.cn/v1",0, -1))
+
+    # print(redis_client.lrange("https://api.deepseek.com/v1",0, -1))
+    # print(redis_client.exists("https://api.deepseek.com/v1"))
+
+    # print(type(redis_aclient.get("test")))
+
+    # print(redis_client.delete("https://api.deepseek.com/v1"))
+    feishu_url = "https://xchatllm.feishu.cn/sheets/Bmjtst2f6hfMqFttbhLcdfRJnNf?sheet=79272d"
+    feishu_url = "https://xchatllm.feishu.cn/sheets/GYCHsvI4qhnDPNtI4VPcdw2knEd?sheet=EYgZ8c"
+
+    # with timer():
+    #     print(feishu_url in redis_client)
+    #
+    # with timer():
+    #     redis_client.exists(feishu_url)
+    # with timer():
+    #     print(redis_client.llen(feishu_url))
+
+    # print(redis_client.set('a', 'xx21212'))
+    # print(redis_client.set('b', b'xx21212'))
+    #
+    # print(redis_client.get('a'))
+    # print(redis_client.get('b'))
+
+    #
+    # print(redis_client.type(feishu))
+    # _ = redis_client.lrange(feishu, 0, -1)
+    # print(len(eval(_)))
+
+    task_id = "celery-task-meta-ca94c602-a2cc-4db5-afe4-763f30df8a18"
+
+
+    # arun(redis_aclient.get('celery-task-meta-72d59447-1f88-4727-8067-8244c2268faa'))
+    #
+    # arun(redis_aclient.select(1))
+
+    # async def main():
+    #     r = await redis_aclient.select(1)
+    #     return await redis_aclient.get(task_id)
+    #
+    #
+    # arun(main())
+
+    async def main():
+        return await redis_aclient.lpop("redis_key")
+
+
+    arun(main())

meutils/decorators/cache.py

@@ -6,7 +6,7 @@
 # @Author       : betterme
 # @WeChat       : meutils
 # @Software     : PyCharm
-# @Description  : 通用缓存
+# @Description  : 通用缓存， todo: redis缓存
 
 from meutils.pipe import *
 from cachetools import cached, cachedmethod, LRUCache, RRCache, TTLCache