expr-codegen 0.8.2__tar.gz → 0.8.4__tar.gz

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.8.2
+Version: 0.8.4
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -197,17 +197,12 @@ df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代
 4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
-
-1. `sympy`不支持`==`，而是当成两个对象比较。例如：
-    1. `if_else(OPEN==CLOSE, HIGH, LOW)`, 一开始就变成了`if_else(False, HIGH, LOW)`
-    2. 可以用`Eq`来代替，`if_else(Eq(OPEN, CLOSE), HIGH, LOW)`。具体示例请参考`Alpha101`中的`alpha_021`
-
-2. `sympy`不支持`bool`转`int`。例如：
+1. `sympy`不支持`bool`转`int`。例如：
     1. `(OPEN < CLOSE) * -1`报错 `TypeError: unsupported operand type(s) for *: 'StrictLessThan' and 'int'`
     2. 可以用`if_else`代替。`if_else(OPEN<CLOSE, 1, 0)*-1`。具体示例请参考`Alpha101`中的`alpha_064`
-3. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
+2. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
 
-以上三种问题本项目都使用`ast`进行了处理，可以简化使用
+以上两种问题本项目都使用`ast`进行了处理，可以简化使用
 
 ## 下划线开头的变量
 1. 输出的数据，所有以`_`开头的列，最后会被自动删除。所以需要保留的变量一定不要以`_`开头

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/README.md

@@ -147,17 +147,12 @@ df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代
 4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
-
-1. `sympy`不支持`==`，而是当成两个对象比较。例如：
-    1. `if_else(OPEN==CLOSE, HIGH, LOW)`, 一开始就变成了`if_else(False, HIGH, LOW)`
-    2. 可以用`Eq`来代替，`if_else(Eq(OPEN, CLOSE), HIGH, LOW)`。具体示例请参考`Alpha101`中的`alpha_021`
-
-2. `sympy`不支持`bool`转`int`。例如：
+1. `sympy`不支持`bool`转`int`。例如：
     1. `(OPEN < CLOSE) * -1`报错 `TypeError: unsupported operand type(s) for *: 'StrictLessThan' and 'int'`
     2. 可以用`if_else`代替。`if_else(OPEN<CLOSE, 1, 0)*-1`。具体示例请参考`Alpha101`中的`alpha_064`
-3. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
+2. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
 
-以上三种问题本项目都使用`ast`进行了处理，可以简化使用
+以上两种问题本项目都使用`ast`进行了处理，可以简化使用
 
 ## 下划线开头的变量
 1. 输出的数据，所有以`_`开头的列，最后会被自动删除。所以需要保留的变量一定不要以`_`开头

expr_codegen-0.8.4/expr_codegen/_version.py

@@ -0,0 +1 @@
+__version__ = "0.8.4"

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen/codes.py

@@ -126,14 +126,7 @@ class SympyTransformer(ast.NodeTransformer):
                     node.comparators[i] = ast.Name(new_com_value, ctx=ast.Load())
                     self.args_new.add(new_com_value)
 
-        # OPEN==CLOSE，要转成Eq
-        if isinstance(node.ops[0], ast.Eq):
-            # 等号会直接比较变成False
-            node = ast.Call(
-                func=ast.Name(id='Eq', ctx=ast.Load()),
-                args=[node.left, node.comparators[0]],
-                keywords=[],
-            )
+        assert len(node.comparators) == 1, f"不支持连续等号，请手工添加括号, {ast.unparse(node)}"
 
         self.generic_visit(node)
         return node
@@ -153,22 +146,22 @@ class SympyTransformer(ast.NodeTransformer):
 
     def visit_BinOp(self, node):
         # TypeError: unsupported operand type(s) for *: 'StrictLessThan' and 'int'
-        if isinstance(node.op, ast.Mult):
+        if isinstance(node.op, (ast.Mult, ast.Add, ast.Div, ast.Sub)):
             # (OPEN < CLOSE) * -1
             if isinstance(node.left, ast.Compare):
                 node.left = ast.Call(
-                    func=ast.Name(id='if_else', ctx=ast.Load()),
-                    args=[node.left, ast.Constant(value=1), ast.Constant(value=0)],
+                    func=ast.Name(id='int_', ctx=ast.Load()),
+                    args=[node.left],
                     keywords=[],
                 )
             # -1*(OPEN < CLOSE)
             if isinstance(node.right, ast.Compare):
                 node.right = ast.Call(
-                    func=ast.Name(id='if_else', ctx=ast.Load()),
-                    args=[node.right, ast.Constant(value=1), ast.Constant(value=0)],
+                    func=ast.Name(id='int_', ctx=ast.Load()),
+                    args=[node.right],
                     keywords=[],
                 )
-            # 这种情况要处理吗？
+            # 这种情况，已经包含
             # (OPEN < CLOSE)*(OPEN < CLOSE)
 
         if isinstance(node.left, ast.Name):
@@ -238,8 +231,10 @@ def source_replace(source):
         # 其实会导致?与:错配，但无所谓，只要多执行几次即可
         source, num = re.subn(r'\?(.+?):(.+?)', r' if( \1 )else \2', source, flags=re.S)
         # break
-    # 异或转成乘方，或、与
-    source = source.replace('^', '**').replace('||', '|').replace('&&', '&')
+    # 或、与
+    source = source.replace('||', '|').replace('&&', '&')
+    # 异或转成乘方
+    source = source.replace('^', '**')
     return source
 
 
@@ -288,7 +283,7 @@ def _add_default_type(globals_):
     return globals_
 
 
-def sources_to_exprs(globals_, *sources, safe: bool = True):
+def sources_to_exprs(globals_, *sources):
     """将源代码转换成表达式"""
 
     globals_ = _add_default_type(globals_)
@@ -297,5 +292,5 @@ def sources_to_exprs(globals_, *sources, safe: bool = True):
     register_symbols(funcs_new, globals_, is_function=True)
     register_symbols(args_new, globals_, is_function=False)
     register_symbols(targets_new, globals_, is_function=False)
-    exprs_dict = dict_to_exprs(assigns, globals_, safe)
+    exprs_dict = dict_to_exprs(assigns, globals_)
     return raw, exprs_dict

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen/expr.py

@@ -1,7 +1,6 @@
-import re
 from functools import reduce
 
-from sympy import Mul, preorder_traversal, symbols, Function, simplify, Add, Basic, Symbol
+from sympy import Mul, preorder_traversal, symbols, Function, simplify, Add, Basic, Symbol, sympify
 
 # 预定义前缀，算子用前缀进行区分更方便。
 # 当然也可以用是否在某容器中进行分类
@@ -44,35 +43,11 @@ def register_symbols(syms, globals_, is_function: bool):
     return globals_
 
 
-def dict_to_exprs(exprs_src, globals_, safe: bool = True):
-    exprs_src = {k: safe_eval(v, globals_, k, safe) for k, v in exprs_src.items()}
+def dict_to_exprs(exprs_src, globals_):
+    exprs_src = {k: sympify(v, globals_, evaluate=False) for k, v in exprs_src.items()}
     return exprs_src
 
 
-def safe_eval(string, globals_, k=None, safe: bool = True):
-    # print(string)
-    code = compile(string, '<user input>', 'eval')
-    if safe:
-        reason = None
-        banned = ('eval', 'compile', 'exec', 'getattr', 'hasattr', 'setattr', 'delattr',
-                  'classmethod', 'globals', 'help', 'input', 'isinstance', 'issubclass', 'locals',
-                  'open', 'print', 'property', 'staticmethod', 'vars')
-        for name in code.co_names:
-            if re.search(r'^__\S*__$', name):
-                reason = 'attributes not allowed'
-            elif name in banned:
-                reason = 'code execution not allowed'
-            if reason:
-                raise NameError(f'{name} not allowed : {reason}')
-
-    try:
-        return eval(code, globals_)
-    except:
-        print(k)
-        print(string)
-        raise
-
-
 def append_node(node, output_exprs):
     """添加到队列。其中，-x将转为x
 
@@ -361,7 +336,7 @@ def _replace__repeat(e):
         node_name = get_node_name(node)
         node_args0_name = get_node_name(node.args[0])
         if node_name == node_args0_name:
-            if node.name in ('cs_rank', 'sign', 'Abs', 'abs_'):
+            if node_name in ('cs_rank', 'sign', 'Abs', 'abs_'):
                 replacements.append((node, node.args[0]))
     for node, replacement in replacements:
         print(node, '  ->  ', replacement)

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen/pandas/printer.py

@@ -59,15 +59,15 @@ class PandasStrPrinter(StrPrinter):
 
     def _print_Or(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s | %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " | ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_Xor(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s ^ %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " ^ ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_And(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s & %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " & ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_Not(self, expr):
         PREC = PRECEDENCE["Mul"]

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen/polars/printer.py

@@ -57,15 +57,15 @@ class PolarsStrPrinter(StrPrinter):
 
     def _print_Or(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s | %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " | ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_Xor(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s ^ %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " ^ ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_And(self, expr):
         PREC = PRECEDENCE["Mul"]
-        return "%s & %s" % (self.parenthesize(expr.args[0], PREC), self.parenthesize(expr.args[1], PREC))
+        return " & ".join(self.parenthesize(arg, PREC) for arg in expr.args)
 
     def _print_Not(self, expr):
         PREC = PRECEDENCE["Mul"]

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen/tool.py

@@ -5,13 +5,34 @@ from typing import Sequence, Dict, Optional
 
 from black import Mode, format_str
 from sympy import simplify, cse, symbols, numbered_symbols
+from sympy.core.expr import Expr
+from sympy.logic import boolalg
 
 from expr_codegen.codes import sources_to_exprs
 from expr_codegen.expr import get_current_by_prefix, get_children, replace_exprs
 from expr_codegen.model import dag_start, dag_end, dag_middle
 
+# ===============================
+# TypeError: expecting bool or Boolean, not `ts_delay(X, 3)`.
+# ts_delay(X, 3) & ts_delay(Y, 3)
+boolalg.as_Boolean = lambda x: x
+
+
+# AttributeError: 'StrictGreaterThan' object has no attribute 'diff'
+# ts_count(open > 1, 2) == 2
+def _diff(self, *symbols, **assumptions):
+    assumptions.setdefault("evaluate", False)
+    from sympy.core.function import _derivative_dispatch
+    return _derivative_dispatch(self, *symbols, **assumptions)
+
+
+Expr.diff = _diff
+
+
+# ===============================
 
 def simplify2(expr):
+    # return simplify(expr)
     try:
         expr = simplify(expr)
     except AttributeError as e:
@@ -238,7 +259,7 @@ class ExprTool:
                   style='polars', template_file='template.py.j2',
                   date='date', asset='asset') -> str:
         """通过字符串生成代码， 加了缓存，多次调用不重复生成"""
-        raw, exprs_dict = sources_to_exprs(self.globals_, source, *more_sources, safe=False)
+        raw, exprs_dict = sources_to_exprs(self.globals_, source, *more_sources)
 
         # 生成代码
         code, G = _TOOL_.all(exprs_dict, style=style, template_file=template_file,

{expr_codegen-0.8.2 → expr_codegen-0.8.4}/expr_codegen.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: expr_codegen
-Version: 0.8.2
+Version: 0.8.4
 Summary: symbol expression to polars expression tool
 Author-email: wukan <wu-kan@163.com>
 License: BSD 3-Clause License
@@ -197,17 +197,12 @@ df = codegen_exec(df, _code_block_1, _code_block_2)  # 只执行，不保存代
 4. 可以将`删除行`与`重采样`做为分割线，一大块代码分成多个`DAG`串联。复杂不易理解，所以最终没有实现
 
 ## 小技巧
-
-1. `sympy`不支持`==`，而是当成两个对象比较。例如：
-    1. `if_else(OPEN==CLOSE, HIGH, LOW)`, 一开始就变成了`if_else(False, HIGH, LOW)`
-    2. 可以用`Eq`来代替，`if_else(Eq(OPEN, CLOSE), HIGH, LOW)`。具体示例请参考`Alpha101`中的`alpha_021`
-
-2. `sympy`不支持`bool`转`int`。例如：
+1. `sympy`不支持`bool`转`int`。例如：
     1. `(OPEN < CLOSE) * -1`报错 `TypeError: unsupported operand type(s) for *: 'StrictLessThan' and 'int'`
     2. 可以用`if_else`代替。`if_else(OPEN<CLOSE, 1, 0)*-1`。具体示例请参考`Alpha101`中的`alpha_064`
-3. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
+2. Python不支持`?:`三元表达式，只支持`if else`, 而在本项目中需要转成`if_else`
 
-以上三种问题本项目都使用`ast`进行了处理，可以简化使用
+以上两种问题本项目都使用`ast`进行了处理，可以简化使用
 
 ## 下划线开头的变量
 1. 输出的数据，所有以`_`开头的列，最后会被自动删除。所以需要保留的变量一定不要以`_`开头

expr_codegen-0.8.2/expr_codegen/_version.py

@@ -1 +0,0 @@
-__version__ = "0.8.2"