expr-codegen 0.10.6__tar.gz → 0.10.7__tar.gz

{expr_codegen-0.10.6 → expr_codegen-0.10.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.10.6
+Version: 0.10.7
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -48,9 +48,7 @@ Requires-Dist: streamlit; extra == "streamlit"
 Requires-Dist: streamlit-ace; extra == "streamlit"
 Requires-Dist: more_itertools; extra == "streamlit"
 
-# expr_codegen 符号表达式代码生成器
-
-表达式转代码工具
+# expr_codegen 表达式转译器
 
 ## 项目背景
 
@@ -79,14 +77,9 @@ https://exprcodegen.streamlit.app
 
 ```python
 import sys
+from io import StringIO
 
-# from polars_ta.prefix.talib import *  # noqa
-from polars_ta.prefix.cdl import *  # noqa
-from polars_ta.prefix.ta import *  # noqa
-from polars_ta.prefix.tdx import *  # noqa
-from polars_ta.prefix.wq import *  # noqa
-
-from expr_codegen.tool import codegen_exec
+from expr_codegen import codegen_exec
 
 
 def _code_block_1():
@@ -114,10 +107,15 @@ def _code_block_2():
     CPV = cs_zscore(_corr) + cs_zscore(_beta)
 
 
+code = StringIO()
+
 df = None  # 替换成真实的polars数据
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
 df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=code)  # 保存到字符串
+code.seek(0)
+code.read()  # 读取代码
 
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect()  # Lazy CPU
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")  # Lazy GPU
@@ -138,7 +136,7 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 │      sympy_define.py # 符号定义，由于太多地方重复使用到，所以统一提取到此处
 ├─expr_codegen
 │   │  expr.py # 表达式处理基本函数
-│   │  tool.py # 核心工具代码。一般不需修改
+│   │  tool.py # 核心工具代码
 │   ├─polars
 │   │  │  code.py # 针对polars语法的代码生成功能
 │   │  │  template.py.j2 # `Jinja2`模板。用于生成对应py文件，一般不需修改
@@ -185,13 +183,20 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 1. 根据算子前缀分类(`get_current_by_prefix`)，限制算子必需以`ts_`、`cs_`、`gp_`开头
 2. 根据算子全名分类(`get_current_by_name`), 不再限制算子名。比如`cs_rank`可以叫`rank`
 
-## Null处理/停牌处理
+## Null处理
+
+`null`是如何产生的？
+
+1. 停牌导致。在计算前就直接过滤掉了，不会对后续计算产生影响。
+2. 不同品种交易时段不同
+3. 计算产生。`null`在数列两端不影响后续时序算子结果，但中间出现`null`会影响。例如： `if_else(close<2, None, close)`
 
 https://github.com/pola-rs/polars/issues/12925#issuecomment-2552764629
+
 非常棒的点子，总结下来有两种实现方式：
 
-1. 将`null`分成一组，`not_null`分成另一组。要计算两次
-2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只计算一次，略快一些
+1. 将`null`分成一组，`not_null`分成另一组。要调用两次
+2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只调用一次，略快一些
 
 ```python
 X1 = (ts_returns(CLOSE, 3)).over(CLOSE.is_not_null(), _ASSET_, order_by=_DATE_),
@@ -199,17 +204,11 @@ X2 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=[CLOSE.is_not_null(), _DATE_]
 X3 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=_DATE_),
 ```
 
-第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入`null`区域可能有数据
+第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入时`null`区域可能有数据
 
 1. `over_null='partition_by'`。分到两个区域
 2. `over_null='order_by'`。分到一个区域，`null`排在前面
-3. `over_null=None`。不处理，直接计算，速度更快
-
-## 二次开发
-
-1. 备份后编辑`demo_express.py`, `import`需要引入的函数
-2. 然后`printer.py`有可能需要添加对应函数的打印代码
-    - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
+3. `over_null=None`。不处理，直接调用，速度更快。如果确信不会中段产生`null`建议使用此参数
 
 ## `expr_codegen`局限性
 

{expr_codegen-0.10.6 → expr_codegen-0.10.7}/README.md

@@ -1,6 +1,4 @@
-# expr_codegen 符号表达式代码生成器
-
-表达式转代码工具
+# expr_codegen 表达式转译器
 
 ## 项目背景
 
@@ -29,14 +27,9 @@ https://exprcodegen.streamlit.app
 
 ```python
 import sys
+from io import StringIO
 
-# from polars_ta.prefix.talib import *  # noqa
-from polars_ta.prefix.cdl import *  # noqa
-from polars_ta.prefix.ta import *  # noqa
-from polars_ta.prefix.tdx import *  # noqa
-from polars_ta.prefix.wq import *  # noqa
-
-from expr_codegen.tool import codegen_exec
+from expr_codegen import codegen_exec
 
 
 def _code_block_1():
@@ -64,10 +57,15 @@ def _code_block_2():
     CPV = cs_zscore(_corr) + cs_zscore(_beta)
 
 
+code = StringIO()
+
 df = None  # 替换成真实的polars数据
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
 df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=code)  # 保存到字符串
+code.seek(0)
+code.read()  # 读取代码
 
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect()  # Lazy CPU
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")  # Lazy GPU
@@ -88,7 +86,7 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 │      sympy_define.py # 符号定义，由于太多地方重复使用到，所以统一提取到此处
 ├─expr_codegen
 │   │  expr.py # 表达式处理基本函数
-│   │  tool.py # 核心工具代码。一般不需修改
+│   │  tool.py # 核心工具代码
 │   ├─polars
 │   │  │  code.py # 针对polars语法的代码生成功能
 │   │  │  template.py.j2 # `Jinja2`模板。用于生成对应py文件，一般不需修改
@@ -135,13 +133,20 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 1. 根据算子前缀分类(`get_current_by_prefix`)，限制算子必需以`ts_`、`cs_`、`gp_`开头
 2. 根据算子全名分类(`get_current_by_name`), 不再限制算子名。比如`cs_rank`可以叫`rank`
 
-## Null处理/停牌处理
+## Null处理
+
+`null`是如何产生的？
+
+1. 停牌导致。在计算前就直接过滤掉了，不会对后续计算产生影响。
+2. 不同品种交易时段不同
+3. 计算产生。`null`在数列两端不影响后续时序算子结果，但中间出现`null`会影响。例如： `if_else(close<2, None, close)`
 
 https://github.com/pola-rs/polars/issues/12925#issuecomment-2552764629
+
 非常棒的点子，总结下来有两种实现方式：
 
-1. 将`null`分成一组，`not_null`分成另一组。要计算两次
-2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只计算一次，略快一些
+1. 将`null`分成一组，`not_null`分成另一组。要调用两次
+2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只调用一次，略快一些
 
 ```python
 X1 = (ts_returns(CLOSE, 3)).over(CLOSE.is_not_null(), _ASSET_, order_by=_DATE_),
@@ -149,17 +154,11 @@ X2 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=[CLOSE.is_not_null(), _DATE_]
 X3 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=_DATE_),
 ```
 
-第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入`null`区域可能有数据
+第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入时`null`区域可能有数据
 
 1. `over_null='partition_by'`。分到两个区域
 2. `over_null='order_by'`。分到一个区域，`null`排在前面
-3. `over_null=None`。不处理，直接计算，速度更快
-
-## 二次开发
-
-1. 备份后编辑`demo_express.py`, `import`需要引入的函数
-2. 然后`printer.py`有可能需要添加对应函数的打印代码
-    - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
+3. `over_null=None`。不处理，直接调用，速度更快。如果确信不会中段产生`null`建议使用此参数
 
 ## `expr_codegen`局限性
 

expr_codegen-0.10.7/expr_codegen/_version.py

@@ -0,0 +1 @@
+__version__ = "0.10.7"

{expr_codegen-0.10.6 → expr_codegen-0.10.7}/expr_codegen/tool.py

@@ -1,8 +1,8 @@
 import inspect
 import pathlib
 from functools import lru_cache
-from io import TextIOWrapper
-from typing import Sequence, Dict, Union, TextIO, TypeVar, Optional, Literal
+from io import TextIOBase
+from typing import Sequence, Dict, Union, TypeVar, Optional, Literal
 
 from black import Mode, format_str
 from loguru import logger
@@ -286,7 +286,7 @@ class ExprTool:
                              **kwargs)
 
         # 移回到cache，防止多次调用多次保存
-        if isinstance(output_file, TextIOWrapper):
+        if isinstance(output_file, TextIOBase):
             # 输出到控制台
             output_file.write(code)
         elif output_file is not None:
@@ -322,13 +322,13 @@ _TOOL_ = ExprTool()
 def codegen_exec(df: Optional[DataFrame],
                  *codes,
                  extra_codes: str = r'CS_SW_L1 = r"^sw_l1_\d+$"',
-                 output_file: Union[str, TextIO, None] = None,
+                 output_file: Union[str, TextIOBase, None] = None,
                  run_file: Union[bool, str] = False,
                  convert_xor: bool = False,
                  style: Literal['pandas', 'polars_group', 'polars_over'] = 'polars_over',
                  template_file: str = 'template.py.j2',
                  date: str = 'date', asset: str = 'asset',
-                 over_null: Literal['order_by', 'partition_by', None] = 'partition_by',
+                 over_null: Literal['partition_by', 'order_by', None] = 'partition_by',
                  **kwargs) -> Optional[DataFrame]:
     """快速转换源代码并执行
 
@@ -340,7 +340,7 @@ def codegen_exec(df: Optional[DataFrame],
         函数体。此部分中的表达式会被翻译成目标代码
     extra_codes: str
         额外代码。不做处理，会被直接复制到目标代码中
-    output_file: str
+    output_file: str| TextIOBase
         保存生成的目标代码到文件中
     run_file: bool or str
         是否不生成脚本，直接运行代码。
@@ -362,8 +362,8 @@ def codegen_exec(df: Optional[DataFrame],
         资产字段
     over_null: str
         时序中遇到null时的处理方式
-        - order_by: 空值排同一分区的前排
         - partition_by: 空值划分到不同分区
+        - order_by: 空值排同一分区的前排
         - None: 不做处理
 
     Returns

{expr_codegen-0.10.6 → expr_codegen-0.10.7}/expr_codegen.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.10.6
+Version: 0.10.7
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -48,9 +48,7 @@ Requires-Dist: streamlit; extra == "streamlit"
 Requires-Dist: streamlit-ace; extra == "streamlit"
 Requires-Dist: more_itertools; extra == "streamlit"
 
-# expr_codegen 符号表达式代码生成器
-
-表达式转代码工具
+# expr_codegen 表达式转译器
 
 ## 项目背景
 
@@ -79,14 +77,9 @@ https://exprcodegen.streamlit.app
 
 ```python
 import sys
+from io import StringIO
 
-# from polars_ta.prefix.talib import *  # noqa
-from polars_ta.prefix.cdl import *  # noqa
-from polars_ta.prefix.ta import *  # noqa
-from polars_ta.prefix.tdx import *  # noqa
-from polars_ta.prefix.wq import *  # noqa
-
-from expr_codegen.tool import codegen_exec
+from expr_codegen import codegen_exec
 
 
 def _code_block_1():
@@ -114,10 +107,15 @@ def _code_block_2():
     CPV = cs_zscore(_corr) + cs_zscore(_beta)
 
 
+code = StringIO()
+
 df = None  # 替换成真实的polars数据
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
 df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
 df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=code)  # 保存到字符串
+code.seek(0)
+code.read()  # 读取代码
 
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect()  # Lazy CPU
 df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")  # Lazy GPU
@@ -138,7 +136,7 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 │      sympy_define.py # 符号定义，由于太多地方重复使用到，所以统一提取到此处
 ├─expr_codegen
 │   │  expr.py # 表达式处理基本函数
-│   │  tool.py # 核心工具代码。一般不需修改
+│   │  tool.py # 核心工具代码
 │   ├─polars
 │   │  │  code.py # 针对polars语法的代码生成功能
 │   │  │  template.py.j2 # `Jinja2`模板。用于生成对应py文件，一般不需修改
@@ -185,13 +183,20 @@ df = codegen_exec(df.lazy(), _code_block_1, _code_block_2).collect(engine="gpu")
 1. 根据算子前缀分类(`get_current_by_prefix`)，限制算子必需以`ts_`、`cs_`、`gp_`开头
 2. 根据算子全名分类(`get_current_by_name`), 不再限制算子名。比如`cs_rank`可以叫`rank`
 
-## Null处理/停牌处理
+## Null处理
+
+`null`是如何产生的？
+
+1. 停牌导致。在计算前就直接过滤掉了，不会对后续计算产生影响。
+2. 不同品种交易时段不同
+3. 计算产生。`null`在数列两端不影响后续时序算子结果，但中间出现`null`会影响。例如： `if_else(close<2, None, close)`
 
 https://github.com/pola-rs/polars/issues/12925#issuecomment-2552764629
+
 非常棒的点子，总结下来有两种实现方式：
 
-1. 将`null`分成一组，`not_null`分成另一组。要计算两次
-2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只计算一次，略快一些
+1. 将`null`分成一组，`not_null`分成另一组。要调用两次
+2. 仅一组，但复合排序，将`null`排在前面，`not_null`排后面。只调用一次，略快一些
 
 ```python
 X1 = (ts_returns(CLOSE, 3)).over(CLOSE.is_not_null(), _ASSET_, order_by=_DATE_),
@@ -199,17 +204,11 @@ X2 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=[CLOSE.is_not_null(), _DATE_]
 X3 = (ts_returns(CLOSE, 3)).over(_ASSET_, order_by=_DATE_),
 ```
 
-第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入`null`区域可能有数据
+第2种开头的`null`区域，是否影响结果由算子所决定，特别时是多列输入时`null`区域可能有数据
 
 1. `over_null='partition_by'`。分到两个区域
 2. `over_null='order_by'`。分到一个区域，`null`排在前面
-3. `over_null=None`。不处理，直接计算，速度更快
-
-## 二次开发
-
-1. 备份后编辑`demo_express.py`, `import`需要引入的函数
-2. 然后`printer.py`有可能需要添加对应函数的打印代码
-    - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
+3. `over_null=None`。不处理，直接调用，速度更快。如果确信不会中段产生`null`建议使用此参数
 
 ## `expr_codegen`局限性
 

expr_codegen-0.10.6/expr_codegen/_version.py

@@ -1 +0,0 @@
-__version__ = "0.10.6"