expr-codegen 0.7.0__tar.gz → 0.7.2__tar.gz

{expr_codegen-0.7.0 → expr_codegen-0.7.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.7.0
+Version: 0.7.2
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -89,20 +89,23 @@ from polars_ta.prefix.wq import *  # noqa
 from expr_codegen.tool import codegen_exec
 
 
-def _code_block_():
+def _code_block_1():
     # 因子编辑区，可利用IDE的智能提示在此区域编辑因子
+    LOG_MC_ZS = cs_mad_zscore(log1p(market_cap))
 
+
+def _code_block_2():
     # 模板中已经默认导入了from polars_ta.prefix下大量的算子，但
     # talib在模板中没有默认导入。这种写法可实现在生成的代码中导入
     from polars_ta.prefix.talib import ts_LINEARREG_SLOPE  # noqa
 
-    # 1. 下划线开头的变量是中间变量,会被自动更名，最终输出时会被剔除
-    # 2. 下划线开头的变量可重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
+    # 1. 下划线开头的变量只是中间变量,会被自动更名，最终输出时会被剔除
+    # 2. 下划线开头的变量可以重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
     _avg = ts_mean(corr, 20)
     _std = ts_std_dev(corr, 20)
     _beta = ts_LINEARREG_SLOPE(corr, 20)
 
-    # 3. 下划线开头的变量支持有环循环赋值。在调试时可快速用注释进行切换
+    # 3. 下划线开头的变量有环循环赋值。在调试时可快速用注释进行切换
     _avg = cs_mad_zscore_resid(_avg, LOG_MC_ZS, ONE)
     _std = cs_mad_zscore_resid(_std, LOG_MC_ZS, ONE)
     # _beta = cs_mad_zscore_resid(_beta, LOG_MC_ZS, ONE)
@@ -112,9 +115,9 @@ def _code_block_():
 
 
 df = None  # 替换成真实的polars数据
-df = codegen_exec(_code_block_, df, output_file=sys.stdout)  # 打印代码
-df = codegen_exec(_code_block_, df, output_file="output.py")  # 保存到文件
-df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
+df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
 
 ```
 
@@ -186,10 +189,12 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 2. 然后`printer.py`有可能需要添加对应函数的打印代码
     - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
 
-## 贡献代码
+## `expr_codegen`局限性
 
-1. 还有很多函数没有添加，需要大家提交代码一起完善
-2. 目前表达式样式优先向WorldQuant 的 Alpha101 靠齐
+1. `DAG`只能增加列无法删除。增加列时，遇到同名列会覆盖
+2. 不支持`删除行`，但可以添加删除标记列，然后在外进行删除行。删除行影响了所有列，不满足`DAG`
+3. 不支持`重采样`，原理同不支持删除行。需在外进行
+4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
 
@@ -210,35 +215,35 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 
 ```python
 def func_0_ts__asset(df: pl.DataFrame) -> pl.DataFrame:
-   df = df.sort(by=[_DATE_])
-   # ========================================
-   df = df.with_columns(
-      _x_0=1 / ts_delay(OPEN, -1),
-      LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
-   )
-   # ========================================
-   df = df.with_columns(
-      LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
-      LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
-   )
-   return df
+    df = df.sort(by=[_DATE_])
+    # ========================================
+    df = df.with_columns(
+        _x_0=1 / ts_delay(OPEN, -1),
+        LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
+    )
+    # ========================================
+    df = df.with_columns(
+        LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
+        LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
+    )
+    return df
 ```
 
 转译后的代码片段，详细代码请参考[Pandas版](examples/output_pandas.py)
 
 ```python
 def func_2_cs__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_4 = cs_rank(x_7)
-   df["expr_4"] = (df["x_7"]).rank(pct=True)
-   return df
+    # expr_4 = cs_rank(x_7)
+    df["expr_4"] = (df["x_7"]).rank(pct=True)
+    return df
 
 
 def func_3_ts__asset__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_5 = -ts_corr(OPEN, CLOSE, 10)
-   df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
-   # expr_6 = ts_delta(OPEN, 10)
-   df["expr_6"] = df["OPEN"].diff(10)
-   return df
+    # expr_5 = -ts_corr(OPEN, CLOSE, 10)
+    df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
+    # expr_6 = ts_delta(OPEN, 10)
+    df["expr_6"] = df["OPEN"].diff(10)
+    return df
 
 ```
 

{expr_codegen-0.7.0 → expr_codegen-0.7.2}/README.md

@@ -39,20 +39,23 @@ from polars_ta.prefix.wq import *  # noqa
 from expr_codegen.tool import codegen_exec
 
 
-def _code_block_():
+def _code_block_1():
     # 因子编辑区，可利用IDE的智能提示在此区域编辑因子
+    LOG_MC_ZS = cs_mad_zscore(log1p(market_cap))
 
+
+def _code_block_2():
     # 模板中已经默认导入了from polars_ta.prefix下大量的算子，但
     # talib在模板中没有默认导入。这种写法可实现在生成的代码中导入
     from polars_ta.prefix.talib import ts_LINEARREG_SLOPE  # noqa
 
-    # 1. 下划线开头的变量是中间变量,会被自动更名，最终输出时会被剔除
-    # 2. 下划线开头的变量可重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
+    # 1. 下划线开头的变量只是中间变量,会被自动更名，最终输出时会被剔除
+    # 2. 下划线开头的变量可以重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
     _avg = ts_mean(corr, 20)
     _std = ts_std_dev(corr, 20)
     _beta = ts_LINEARREG_SLOPE(corr, 20)
 
-    # 3. 下划线开头的变量支持有环循环赋值。在调试时可快速用注释进行切换
+    # 3. 下划线开头的变量有环循环赋值。在调试时可快速用注释进行切换
     _avg = cs_mad_zscore_resid(_avg, LOG_MC_ZS, ONE)
     _std = cs_mad_zscore_resid(_std, LOG_MC_ZS, ONE)
     # _beta = cs_mad_zscore_resid(_beta, LOG_MC_ZS, ONE)
@@ -62,9 +65,9 @@ def _code_block_():
 
 
 df = None  # 替换成真实的polars数据
-df = codegen_exec(_code_block_, df, output_file=sys.stdout)  # 打印代码
-df = codegen_exec(_code_block_, df, output_file="output.py")  # 保存到文件
-df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
+df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
 
 ```
 
@@ -136,10 +139,12 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 2. 然后`printer.py`有可能需要添加对应函数的打印代码
     - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
 
-## 贡献代码
+## `expr_codegen`局限性
 
-1. 还有很多函数没有添加，需要大家提交代码一起完善
-2. 目前表达式样式优先向WorldQuant 的 Alpha101 靠齐
+1. `DAG`只能增加列无法删除。增加列时，遇到同名列会覆盖
+2. 不支持`删除行`，但可以添加删除标记列，然后在外进行删除行。删除行影响了所有列，不满足`DAG`
+3. 不支持`重采样`，原理同不支持删除行。需在外进行
+4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
 
@@ -160,35 +165,35 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 
 ```python
 def func_0_ts__asset(df: pl.DataFrame) -> pl.DataFrame:
-   df = df.sort(by=[_DATE_])
-   # ========================================
-   df = df.with_columns(
-      _x_0=1 / ts_delay(OPEN, -1),
-      LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
-   )
-   # ========================================
-   df = df.with_columns(
-      LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
-      LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
-   )
-   return df
+    df = df.sort(by=[_DATE_])
+    # ========================================
+    df = df.with_columns(
+        _x_0=1 / ts_delay(OPEN, -1),
+        LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
+    )
+    # ========================================
+    df = df.with_columns(
+        LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
+        LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
+    )
+    return df
 ```
 
 转译后的代码片段，详细代码请参考[Pandas版](examples/output_pandas.py)
 
 ```python
 def func_2_cs__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_4 = cs_rank(x_7)
-   df["expr_4"] = (df["x_7"]).rank(pct=True)
-   return df
+    # expr_4 = cs_rank(x_7)
+    df["expr_4"] = (df["x_7"]).rank(pct=True)
+    return df
 
 
 def func_3_ts__asset__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_5 = -ts_corr(OPEN, CLOSE, 10)
-   df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
-   # expr_6 = ts_delta(OPEN, 10)
-   df["expr_6"] = df["OPEN"].diff(10)
-   return df
+    # expr_5 = -ts_corr(OPEN, CLOSE, 10)
+    df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
+    # expr_6 = ts_delta(OPEN, 10)
+    df["expr_6"] = df["OPEN"].diff(10)
+    return df
 
 ```
 

expr_codegen-0.7.2/expr_codegen/_version.py

@@ -0,0 +1 @@
+__version__ = "0.7.2"

{expr_codegen-0.7.0 → expr_codegen-0.7.2}/expr_codegen/polars/printer.py

@@ -59,4 +59,4 @@ class PolarsStrPrinter(StrPrinter):
         return "cs_rank(%s)" % self._print(expr.args[1])
 
     def _print_gp_demean(self, expr):
-        return "cs_neutralize_demean(%s)" % self._print(expr.args[1])
+        return "cs_demean(%s)" % self._print(expr.args[1])

{expr_codegen-0.7.0 → expr_codegen-0.7.2}/expr_codegen/tool.py

@@ -135,7 +135,7 @@ class ExprTool:
 
         return self.exprs_dict
 
-    def dag(self, merge):
+    def dag(self, merge: bool):
         """生成DAG"""
         G = dag_start(self.exprs_dict, self.get_current_func, self.get_current_func_kwargs)
         if merge:
@@ -224,57 +224,83 @@ class ExprTool:
         return globals_['df_output']
 
     @lru_cache(maxsize=64)
-    def _get_codes(self, source: str, extra_codes: str, output_file: str,
-                   style='polars', template_file='template.py.j2',
-                   date='date', asset='asset') -> str:
+    def _get_code(self,
+                  source: str, *more_sources: str,
+                  extra_codes: str, output_file: str,
+                  style='polars', template_file='template.py.j2',
+                  date='date', asset='asset') -> str:
         """通过字符串生成代码， 加了缓存，多次调用不重复生成"""
-        raw, exprs_dict = sources_to_exprs(self.globals_, source, safe=False)
+        raw, exprs_dict = sources_to_exprs(self.globals_, source, *more_sources, safe=False)
 
         # 生成代码
-        codes, G = _TOOL_.all(exprs_dict, style=style, template_file=template_file,
-                              replace=True, regroup=True, format=True,
-                              date=date, asset=asset,
-                              # 复制了需要使用的函数，还复制了最原始的表达式
-                              extra_codes=(raw,
-                                           # 传入多个列的方法
-                                           extra_codes,
-                                           ))
+        code, G = _TOOL_.all(exprs_dict, style=style, template_file=template_file,
+                             replace=True, regroup=True, format=True,
+                             date=date, asset=asset,
+                             # 复制了需要使用的函数，还复制了最原始的表达式
+                             extra_codes=(raw,
+                                          # 传入多个列的方法
+                                          extra_codes,
+                                          ))
         if isinstance(output_file, TextIOWrapper):
-            output_file.write(codes)
+            output_file.write(code)
         elif output_file is not None:
             with open(output_file, 'w', encoding='utf-8') as f:
-                f.write(codes)
+                f.write(code)
 
-        return codes
+        return code
 
 
 _TOOL_ = ExprTool()
 
 
-def codegen_exec(code_block,
-                 df_input,
+def codegen_exec(df,
+                 *codes,
                  extra_codes: str = r'CS_SW_L1 = pl.col(r"^sw_l1_\d+$")',
                  output_file: Optional[str] = None,
                  style: str = 'polars', template_file: str = 'template.py.j2',
                  date: str = 'date', asset: str = 'asset'
                  ):
-    """快速转换源代码并执行"""
+    """快速转换源代码并执行
+
+    Parameters
+    ----------
+    df: pl.DataFrame
+        输入DataFrame
+    codes:
+        函数体。此部分中的表达式会被翻译成目标代码
+    extra_codes: str
+        额外代码。不做处理，会被直接复制到目标代码中
+    output_file: str
+        保存生成的目标代码到文件中
+    style: str
+        代码风格。可选值 ('polars', 'pandas')
+    template_file: str
+        代码模板
+    date: str
+        时间字段
+    asset: str
+        资产字段
+
+    Returns
+    -------
+    pl.DataFrame
+
+    """
     # 此代码来自于sympy.var
     frame = inspect.currentframe().f_back
     _TOOL_.globals_ = frame.f_globals.copy()
     del frame
 
-    if isinstance(code_block, str):
-        source = code_block
-    else:
-        source = inspect.getsource(code_block)
+    more_sources = [c if isinstance(c, str) else inspect.getsource(c) for c in codes]
 
-    codes = _TOOL_._get_codes(source, extra_codes, output_file,
-                              style=style, template_file=template_file,
-                              date=date, asset=asset,
-                              )
+    code = _TOOL_._get_code(
+        *more_sources, extra_codes=extra_codes,
+        output_file=output_file,
+        style=style, template_file=template_file,
+        date=date, asset=asset,
+    )
 
-    if df_input is None:
-        return df_input
+    if df is None:
+        return df
     else:
-        return _TOOL_.exec(codes, df_input)
+        return _TOOL_.exec(code, df)

{expr_codegen-0.7.0 → expr_codegen-0.7.2}/expr_codegen.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.7.0
+Version: 0.7.2
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -89,20 +89,23 @@ from polars_ta.prefix.wq import *  # noqa
 from expr_codegen.tool import codegen_exec
 
 
-def _code_block_():
+def _code_block_1():
     # 因子编辑区，可利用IDE的智能提示在此区域编辑因子
+    LOG_MC_ZS = cs_mad_zscore(log1p(market_cap))
 
+
+def _code_block_2():
     # 模板中已经默认导入了from polars_ta.prefix下大量的算子，但
     # talib在模板中没有默认导入。这种写法可实现在生成的代码中导入
     from polars_ta.prefix.talib import ts_LINEARREG_SLOPE  # noqa
 
-    # 1. 下划线开头的变量是中间变量,会被自动更名，最终输出时会被剔除
-    # 2. 下划线开头的变量可重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
+    # 1. 下划线开头的变量只是中间变量,会被自动更名，最终输出时会被剔除
+    # 2. 下划线开头的变量可以重复使用。多个复杂因子多行书写时有重复中间变时不再冲突
     _avg = ts_mean(corr, 20)
     _std = ts_std_dev(corr, 20)
     _beta = ts_LINEARREG_SLOPE(corr, 20)
 
-    # 3. 下划线开头的变量支持有环循环赋值。在调试时可快速用注释进行切换
+    # 3. 下划线开头的变量有环循环赋值。在调试时可快速用注释进行切换
     _avg = cs_mad_zscore_resid(_avg, LOG_MC_ZS, ONE)
     _std = cs_mad_zscore_resid(_std, LOG_MC_ZS, ONE)
     # _beta = cs_mad_zscore_resid(_beta, LOG_MC_ZS, ONE)
@@ -112,9 +115,9 @@ def _code_block_():
 
 
 df = None  # 替换成真实的polars数据
-df = codegen_exec(_code_block_, df, output_file=sys.stdout)  # 打印代码
-df = codegen_exec(_code_block_, df, output_file="output.py")  # 保存到文件
-df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file=sys.stdout)  # 打印代码
+df = codegen_exec(df, _code_block_1, _code_block_2, output_file="output.py")  # 保存到文件
+df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代码
 
 ```
 
@@ -186,10 +189,12 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 2. 然后`printer.py`有可能需要添加对应函数的打印代码
     - 注意：需要留意是否要加括号`()`，不加时可能优先级混乱，可以每次都加括号，也可用提供的`parenthesize`简化处理
 
-## 贡献代码
+## `expr_codegen`局限性
 
-1. 还有很多函数没有添加，需要大家提交代码一起完善
-2. 目前表达式样式优先向WorldQuant 的 Alpha101 靠齐
+1. `DAG`只能增加列无法删除。增加列时，遇到同名列会覆盖
+2. 不支持`删除行`，但可以添加删除标记列，然后在外进行删除行。删除行影响了所有列，不满足`DAG`
+3. 不支持`重采样`，原理同不支持删除行。需在外进行
+4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
 
@@ -210,35 +215,35 @@ df = codegen_exec(_code_block_, df)  # 只执行，不保存代码
 
 ```python
 def func_0_ts__asset(df: pl.DataFrame) -> pl.DataFrame:
-   df = df.sort(by=[_DATE_])
-   # ========================================
-   df = df.with_columns(
-      _x_0=1 / ts_delay(OPEN, -1),
-      LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
-   )
-   # ========================================
-   df = df.with_columns(
-      LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
-      LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
-   )
-   return df
+    df = df.sort(by=[_DATE_])
+    # ========================================
+    df = df.with_columns(
+        _x_0=1 / ts_delay(OPEN, -1),
+        LABEL_CC_1=(-CLOSE + ts_delay(CLOSE, -1)) / CLOSE,
+    )
+    # ========================================
+    df = df.with_columns(
+        LABEL_OO_1=_x_0 * ts_delay(OPEN, -2) - 1,
+        LABEL_OO_2=_x_0 * ts_delay(OPEN, -3) - 1,
+    )
+    return df
 ```
 
 转译后的代码片段，详细代码请参考[Pandas版](examples/output_pandas.py)
 
 ```python
 def func_2_cs__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_4 = cs_rank(x_7)
-   df["expr_4"] = (df["x_7"]).rank(pct=True)
-   return df
+    # expr_4 = cs_rank(x_7)
+    df["expr_4"] = (df["x_7"]).rank(pct=True)
+    return df
 
 
 def func_3_ts__asset__date(df: pd.DataFrame) -> pd.DataFrame:
-   # expr_5 = -ts_corr(OPEN, CLOSE, 10)
-   df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
-   # expr_6 = ts_delta(OPEN, 10)
-   df["expr_6"] = df["OPEN"].diff(10)
-   return df
+    # expr_5 = -ts_corr(OPEN, CLOSE, 10)
+    df["expr_5"] = -(df["OPEN"]).rolling(10).corr(df["CLOSE"])
+    # expr_6 = ts_delta(OPEN, 10)
+    df["expr_6"] = df["OPEN"].diff(10)
+    return df
 
 ```
 

expr_codegen-0.7.0/expr_codegen/_version.py

@@ -1 +0,0 @@
-__version__ = "0.7.0"