deepfos 1.1.34__tar.gz → 1.1.35__tar.gz

deepfos-1.1.35/.gitattributes

@@ -0,0 +1 @@
+deepfos/_version.py export-subst

deepfos-1.1.35/.gitee/ISSUE_GUIDELINES.md

@@ -0,0 +1,7 @@
+在您提交issue之前， 请先根据您的issue类型选取对应的问题集：
+
+- 缺陷 | BUG
+- 需求 | Feature Requests
+- 问题 | Question
+
+删除不属于您想要提交的issue类型，并且回答剩余的问题。

deepfos-1.1.35/.gitee/ISSUE_TEMPLATE.md

@@ -0,0 +1,57 @@
+<!-- # BUG | 缺陷 -->
+<!-- 把下面一行作为您的标题
+【🐞 缺陷】补充您的描述
+-->
+## 现象描述
+
+[描述问题的现象，最好能够提供屏幕截图 或 gif 动画]
+
+## 环境信息
+
+[在此填写python版本，系统环境等相关的环境信息，debug文件可以在此处提交或者使用附件]
+
+## 重现步骤
+
+[在此填写能够重现该问题的操作步骤]
+
+- 步骤1，...
+- 步骤2，...
+- 步骤3，...
+
+## 报错信息
+
+[在此填写报错信息]
+
+<!------------------ 分割线 -------------->
+
+<!-- # Feature Requests | 需求 -->
+<!-- 把下面一行作为您的标题
+【✨ 需求】补充您的描述
+-->
+## 您希望增加什么样的功能？
+
+[在此填写该功能的详细描述，也可以写您设想的实现方式]
+
+## 这个功能目前能否实现？
+   
+[目前是否完全无法实现，或者能够实现，但是步骤繁琐，应该作为标准功能]
+
+## 这个功能有哪些应用场景？
+
+[说明这个功能是否有足够的泛用性]
+
+
+<!------------------ 分割线 -------------->
+
+<!-- # Question | 问题 -->
+<!-- 把下面一行作为您的标题
+【🤔 问题】补充您的描述
+-->
+
+## 这个问题是否在文档和issue中都没有被回答？
+
+[一般来说不建议在issue中提问，在提问前，请先查阅文档和可能关联的issue]
+
+## 您遇到了什么问题？
+
+[在此填写该问题的描述]

deepfos-1.1.35/.gitignore

@@ -0,0 +1,27 @@
+logs
+__pycache__
+.idea
+venv
+dist
+deepfos.egg-info
+docs/source/deepfos/generated
+docs/build
+scripts/_*
+scripts/V*
+.ipynb_checkpoints
+examples/quick_start/debug.py
+_local_test
+sdist
+.run
+_bug_fix
+build
+.vscode
+docs_debug
+Python
+*.pyd
+examples/notebook/debug.py
+docs/source/_static
+docs/source/network_backup
+tests/.coverage
+tests/test_log.log
+i18n

deepfos-1.1.35/CHANGELOG.md

@@ -0,0 +1,368 @@
+## [1.1.35] - 2024-05-28
+
+### 变更
+
+* pyscript中初始化redis client时的密码增加quota
+
+### 文档
+
+* 修复部分文档显示错误/重复的问题
+
+
+## [1.1.34] - 2024-04-23
+
+### 新增
+
+* DeepModel增加批量插入pg底表方法
+
+### 变更
+
+* 财务模型元素save方法支持保存备注
+* 财务模型元素save方法增加数据保存权鉴模式参数
+
+
+## [1.1.33] - 2024-04-16
+
+### 新增
+
+* 封装消息中心
+
+### 变更
+
+* 无
+
+
+## [1.1.32] - 2024-04-02
+
+### 新增
+
+* DeepModel提供设置globals方法
+* DeepModel开放直连参数
+
+### 变更
+
+* DeepModel execute方法返回DML结果
+* 支持配置多节点Eureka地址
+
+
+## [1.1.31] - 2024-03-26
+
+### 新增
+
+* DeepUX支持作为图结构数据源
+
+### 变更
+
+* DeepModel修正查询返回结构字段顺序与语句不一致问题
+
+
+## [1.1.30] - 2024-03-05
+
+### 新增
+
+* 无
+
+### 变更
+
+* PythonScript线下模式获取运行结果完善错误提示
+
+
+## [1.1.29] - 2024-02-27
+
+### 新增
+
+* 无
+
+### 变更
+
+* 凭证元素save方法headMainId生成规则改为生成uuid
+
+
+## [1.1.28] - 2024-02-20
+
+### 新增
+
+* DeepModel元素增加objects属性
+* 服务发现的缓存增加轮询和随机策略
+
+### 变更
+
+* 凭证元素save方法文档更新
+* 维度元素save方法DimMember兼容1.0与1.1&1.2的字段差异
+
+
+## [1.1.27] - 2024-01-30
+
+### 新增
+
+* DeepModel元素insert_df支持upsert句式
+
+### 变更
+
+* DeepModel元素query_df结果增加符合列类型的cast
+* 维度1.1&1.2元素使用的全量和增量保存接口更新，与前端使用的保持一致
+
+
+## [1.1.26] - 2023-12-26
+
+### 新增
+
+* 凭证模型元素提供update方法
+
+### 变更
+
+* 无
+
+## [1.1.25] - 2023-12-19
+
+### 新增
+
+* 财务模型元素提供delete_with_mdx方法
+
+### 变更
+
+* 财务模型元素delete方法提供是否使用MDX脚本实现的flag
+* DeepModel序列化排除日期和UUID类型转string
+* 财务模型元素delete, save, save_unpivot方法增加callback入参
+
+## [1.1.24] - 2023-12-12
+
+### 新增
+
+* 无
+
+### 变更
+
+* 财务模型元素delete方法使用MDX脚本实现
+
+## [1.1.23] - 2023-11-16
+
+### 新增
+
+* 财务模型元素新增封装权限状态upsert更新接口
+
+### 变更
+
+* 修正postgresql类数据表copy_rows为自增列赋默认值的问题
+
+## [1.1.22] - 2023-11-02
+
+### 新增
+
+* 合并流程api封装
+
+### 变更
+
+* 凭证组件元素接口响应success=False时报错
+* 维度元素封装修改成员父级功能
+
+## [1.1.21] - 2023-10-26
+
+### 变更
+
+* 更新KingBase数据表quote char
+
+
+## [1.1.20] - 2023-10-17
+
+### 新增
+
+* 添加DeepModel KingBase数据表
+* 维度元素封装sync_data方法
+
+### 变更
+
+* 财务模型query方法增加对ignore列的处理
+
+
+## [1.1.19] - 2023-10-10
+
+### 变更
+
+* 修正凭证元素save的头行df自带index时的请求体组织问题
+
+
+## [1.1.18] - 2023-09-19
+
+### 变更
+
+* 修正DeepModel元素批量插入自链接对象时未排除计算link的问题
+
+
+## [1.1.17] - 2023-09-12
+
+### 新增
+
+* 维度1.2支持多维度实体配置参数
+
+### 变更
+
+* 修正维度1.1 1.2版本增量编辑响应的数据类型
+
+
+## [1.1.16] - 2023-09-05
+
+### 新增
+
+* Deep Connector封装获取连接信息方法
+
+### 变更
+
+* 维度修正共享成员维度保存的问题
+
+
+## [1.1.15] - 2023-08-29
+
+### 变更
+
+* DeepModel 部分bug修复
+* 维度修正共享成员维度保存的问题
+* 优化redislock的renew lock逻辑
+
+
+## [1.1.14] - 2023-08-15
+
+### 变更
+
+* 维度涉及ud字段的model统一扩充至60个ud
+* 维度1.2 /refactor/dimension/info/save接口请求响应model更新
+
+
+## [1.1.13] - 2023-08-08
+
+### 变更
+
+* DeepModel 部分bug修复
+* pyscript redislock 延迟初始化
+* 凭证元素接口字段修改 `type -> _type`（breaking）
+
+
+## [1.1.12] - 2023-07-27
+
+### 新增
+* 维度同步至DeepModel对象
+
+### 变更
+
+* DeepModel取消元素初始化逻辑（同步组件变更）
+
+
+## [1.1.11] - 2023-07-18
+
+### 新增
+* 添加DeepModel数据表
+
+
+## [1.1.10] - 2023-07-13
+
+### 新增
+* DeepModel insert_df增加对multi link的支持
+
+### 变更
+* DeepModel本地执行时使用API
+* 维度元素扩充DimensionMemberBean的ud数量至60
+* 凭证元素已知问题修正
+
+## [1.1.9] - 2023-07-04
+
+### 新增
+* 新增DeepModel元素
+* 新增凭证元素
+
+## [1.1.8] - 2023-06-29
+
+### 变更
+* deepux支持返回字段描述
+
+
+## [1.1.7] - 2023-06-20
+
+### 变更
+* 兼容deepchart原BaseField的name成员可以被访问的逻辑
+* 修复api/base中错误访问root属性的bug
+
+
+## [1.1.6] - 2023-06-13
+
+### 新增
+* 支持nacos
+
+### 变更
+
+* 修复oracle/dameng数据表查询字段大小写不一致的问题
+* dataframe中set类型的索引器改为list类型 [@李杨](https://e.gitee.com/proinnova/members/trend/ryan_li1384)
+* 优化DataframeSQLConvertor的性能 [@李杨](https://e.gitee.com/proinnova/members/trend/ryan_li1384)
+* 修复多线程情况下future_property的死锁问题
+* eureka相关代码重构
+* 统一数据表获取方式为``get_table_class``，支持服务名作为参数
+
+
+## [1.1.5] - 2023-06-01
+
+### 变更
+
+* 将dbkits的table_cache纳入Cache Manager管理
+* 去除db库内对build_api的cache_async装饰
+
+## [1.1.4] - 2023-05-30
+
+### 新增
+
+* 维度1.2新增/refactor/dimension/object/sync-data接口
+
+### 变更
+
+* 修正试图将Oracle自增列置为null的默认逻辑
+
+## [1.1.3] - 2023-05-11
+
+### 变更
+
+* 支持mysql标准以外SQL的字符串转义
+* 修复 `bizmodel.set_approval_ex` 固定了审批流数据表为Mysql的问题
+
+## [1.1.2] - 2023-05-09
+
+### 新增
+
+* 增加对账引擎对账集、数据集元素 [@陈文雍](https://e.gitee.com/proinnova/members/trend/calvinstk)
+* 工作流新增封装批量启动流程接口
+* 提供全局Cache、by space/app 级别的缓存管理
+
+### 变更
+
+* APIResponseError增加code属性
+* 单元测试代码重构，简化元素的单元测试编写工作
+* 修复sqlcondition固定quote char为"`"的问题
+* 优化elementBase的实现，增加async_api/api的自动补全（Pylance only，Pycharm不支持）
+
+
+## [1.1.1] - 2023-04-20
+
+### 新增
+
+* 支持python作为DeepUX数据源
+* 支持PostgreSQL, DeepEngine数据表
+
+### 变更
+
+* 修复维度保存可能不返回errors的兼容性问题
+* 修复多线程事务不支持的问题
+* future_property失败时不再抛出BadFutureError，而是抛出实际发生的错误
+* 修复单元测试用例
+* 精简出现异常时打印的错误栈信息
+
+
+## [1.1.0] - 2023-04-06
+
+### 新增
+
+* :tada: v1.1 第一次发版
+
+### 变更
+
+* 无
+
+### 文档
+
+* 无

{deepfos-1.1.34 → deepfos-1.1.35}/PKG-INFO

@@ -1,12 +1,10 @@
 Metadata-Version: 2.1
 Name: deepfos
-Version: 1.1.34
+Version: 1.1.35
 Summary: Collecions of useful and handy tools for deepfos platform
 Home-page: http://py.deepfos.com
 Author: deepfos-python-team
 Author-email: wei.wei@proinnova.com.cn
-License: UNKNOWN
-Platform: UNKNOWN
 Classifier: Development Status :: 3 - Alpha
 Classifier: Intended Audience :: Developers
 Classifier: Topic :: Software Development :: Libraries :: Python Modules
@@ -14,6 +12,3 @@ Classifier: Programming Language :: Python :: 3.8
 Classifier: Programming Language :: Python :: 3.9
 Classifier: Programming Language :: Python :: 3.10
 Requires-Python: >=3.8.3
-
-UNKNOWN
-

{deepfos-1.1.34 → deepfos-1.1.35}/deepfos/_version.py

@@ -8,11 +8,11 @@ import json
 
 version_json = '''
 {
- "date": "2024-04-24T08:40:21+0000",
+ "date": "2024-05-30T02:50:45+0000",
  "dirty": false,
  "error": null,
- "full-revisionid": "d4749ace516e3a51df0fef77c0f1ce567d0108f3",
- "version": "1.1.34"
+ "full-revisionid": "15a16105c782ac73048953617059577fed00d93b",
+ "version": "1.1.35"
 }
 '''  # END VERSION_JSON
 

{deepfos-1.1.34 → deepfos-1.1.35}/deepfos/element/base.py

@@ -29,7 +29,7 @@ _HINT = """
 """
 
 _ARGS = {
-    "element_name": "数据表元素名",
+    "element_name": "元素名",
     "folder_id": "元素所在的文件夹id",
     "path": "元素所在的文件夹绝对路径",
 }
@@ -39,6 +39,8 @@ T_ApiClass = TypeVar('T_ApiClass', bound=DynamicRootAPI)
 
 
 class _ElementMeta(FuturePropertyMeta):
+    __mangle_docs__ = True
+
     def __new__(mcs, name, bases, namespace, **kwargs):
         if '__doc__' not in namespace:
             for base in bases:
@@ -47,8 +49,10 @@ class _ElementMeta(FuturePropertyMeta):
                     break
 
         cls = super().__new__(mcs, name, bases, namespace, **kwargs)
-        cls_doc = mcs._split_doc(cls.__doc__)
-        cls.__doc__ = mcs._recover_doc(cls_doc)
+
+        if cls.__mangle_docs__:
+            cls_doc = mcs._split_doc(cls.__doc__)
+            cls.__doc__ = mcs._recover_doc(cls_doc)
 
         if "api_class" not in namespace and ElementBase in bases:
             for base in cls.__orig_bases__:  # noqa
@@ -331,6 +335,8 @@ class ElementBase(Generic[T_ApiClass], metaclass=_ElementMeta):
 
 
 class SyncMeta(_ElementMeta):
+    __mangle_docs__ = False
+
     def __new__(mcs, name, bases, namespace, **kwargs):
         base = bases[0]
         methods = None

{deepfos-1.1.34 → deepfos-1.1.35}/deepfos/element/deepmodel.py

@@ -124,7 +124,7 @@ class ObjectElement(ObjectParam):
 
 class QueryWithArgs(BaseModel):
     commands: str
-    kwargs: Dict[str, Union[str, int]] = Field(default_factory=dict)
+    kwargs: Dict[str, Any] = Field(default_factory=dict)
 
 
 class MainField(NamedTuple):
@@ -740,7 +740,13 @@ class _TxnConfig:
 # -----------------------------------------------------------------------------
 # core
 class AsyncDeepModel(ElementBase[DeepModelAPI]):
-    """DeepModel"""
+    """DeepModel元素
+
+    Args:
+        direct_access: 是否使用直连模式
+        pg_dsn: PG连接信息
+    """
+    __mangle_docs__ = False
 
     def __init__(self, direct_access: bool = True, pg_dsn: str = None):  # noqa
         self._txn_ = ContextVar('QLTXN')
@@ -859,8 +865,7 @@ class AsyncDeepModel(ElementBase[DeepModelAPI]):
 
         if self.direct_access:
             logger.opt(lazy=True).debug(f"Query: [{ql}], \nkwargs: [{kwargs}].")
-            async with self.client as cli:
-                _, result = await cli.query(ql, **kwargs)
+            _, result = await self.client.query(ql, **kwargs)
             return result
 
         result = await AsyncDeepModel.query(self, ql, **kwargs)
@@ -895,8 +900,7 @@ class AsyncDeepModel(ElementBase[DeepModelAPI]):
         """
         if self.direct_access:
             logger.opt(lazy=True).debug(f"Query: [{ql}], \nkwargs: [{kwargs}].")
-            async with self.client as cli:
-                frame_desc, result = await cli.query(ql, **kwargs)
+            frame_desc, result = await self.client.query(ql, **kwargs)
             return serutils.serialize(
                 result, ctx=serutils.Context(frame_desc=frame_desc)
             )
@@ -943,8 +947,7 @@ class AsyncDeepModel(ElementBase[DeepModelAPI]):
         
         """
         if self.direct_access:
-            async with self.client as cli:
-                frame_desc, data = await cli.query(ql, **kwargs)
+            frame_desc, data = await self.client.query(ql, **kwargs)
 
             data = pd.DataFrame(data=serutils.serialize(
                 data, ctx=serutils.Context(frame_desc=frame_desc)
@@ -1047,17 +1050,16 @@ class AsyncDeepModel(ElementBase[DeepModelAPI]):
             return affected
 
         result = []
-        async with self.client as cli:
-            async for tx in cli.transaction():
-                async with tx:
-                    for ql in qls_with_args:
-                        logger.opt(lazy=True).debug(
-                            f"Execute QL: [{ql.commands}], \nkwargs: [{ql.kwargs}]."
-                        )
-                        desc, affected = await tx.execute(ql.commands, **ql.kwargs)
-                        result.append(serutils.serialize(
-                            affected, ctx=serutils.Context(frame_desc=desc)
-                        ))
+        async for tx in self.client.transaction():
+            async with tx:
+                for ql in qls_with_args:
+                    logger.opt(lazy=True).debug(
+                        f"Execute QL: [{ql.commands}], \nkwargs: [{ql.kwargs}]."
+                    )
+                    desc, affected = await tx.execute(ql.commands, **ql.kwargs)
+                    result.append(serutils.serialize(
+                        affected, ctx=serutils.Context(frame_desc=desc)
+                    ))
         if len(result) == 1:
             return result[0]
         return result
@@ -1322,7 +1324,13 @@ class AsyncDeepModel(ElementBase[DeepModelAPI]):
                 kwargs={kw_name: part.to_json(orient='records', double_precision=15)}
             ))
 
-    def get_object(self, object_name) -> edgedb.Object:
+    def get_object(self, object_name: str) -> edgedb.Object:
+        """获取指定对象名的对象
+
+        Args:
+            object_name: 对象名
+
+        """
         if object_name in self.user_objects:
             obj = self.user_objects[object_name]
         elif object_name in self.system_objects:

{deepfos-1.1.34 → deepfos-1.1.35}/deepfos/element/pyscript.py

@@ -7,6 +7,7 @@ from contextlib import contextmanager
 from importlib import import_module
 from math import ceil
 from typing import Any, Dict, Tuple
+from urllib.parse import quote_plus
 
 from loguru import logger
 
@@ -59,7 +60,7 @@ if ONLINE_MODE:  # pragma: no cover
         assert SERVER_OPTION.redis.mode == 'single', 'Only supported in redis single mode'
 
         redis_addr = SERVER_OPTION.redis.addr
-        redis_password = SERVER_OPTION.redis.password
+        redis_password = quote_plus(SERVER_OPTION.redis.password)
 
         CONCURRENCY_KEY_PREFIX = f'celery_concurrency_task:{OPTION.general.task_info.get("worker_name")}'
         redis_cli = RedisCli(f"redis://:{redis_password}@{redis_addr}/13")

{deepfos-1.1.34 → deepfos-1.1.35}/deepfos/lib/asynchronous.py

@@ -2,7 +2,6 @@ from __future__ import annotations
 
 import asyncio
 import itertools
-from asyncio import SelectorEventLoop
 import asyncio.events as events
 from asyncio import Future as AioFuture
 import sys
@@ -102,10 +101,18 @@ def _patch_task():
 
 _patch_task()
 
+if sys.platform == 'win32':
+    BaseEventLoop = asyncio.ProactorEventLoop
+    is_proactorloop = True
+else:
+    BaseEventLoop = asyncio.SelectorEventLoop
+    is_proactorloop = False
+
 
 # noinspection PyUnresolvedReferences,PyAttributeOutsideInit,PyProtectedMember
-class ReentrantLoop(SelectorEventLoop):
+class ReentrantLoop(BaseEventLoop):
     _num_runs_pending = 0
+    _is_proactorloop = is_proactorloop
     _nest_patched = True
 
     def run_forever(self):
@@ -140,11 +147,22 @@ class ReentrantLoop(SelectorEventLoop):
             self._thread_id = threading.get_ident()
             events._set_running_loop(self)
             self._num_runs_pending += 1
+            if self._is_proactorloop:
+                if self._self_reading_future is None:
+                    self.call_soon(self._loop_self_reading)
             yield
         finally:
             self._thread_id = old_thread_id
             events._set_running_loop(old_running_loop)
             self._num_runs_pending -= 1
+            if self._is_proactorloop:
+                if (self._num_runs_pending == 0
+                        and self._self_reading_future is not None):
+                    ov = self._self_reading_future._ov
+                    self._self_reading_future.cancel()
+                    if ov is not None:
+                        self._proactor._unregister(ov)
+                    self._self_reading_future = None
 
     @contextmanager
     def manage_asyncgens(self):