kevin-toolbox-dev 1.3.2__tar.gz → 1.3.4__tar.gz

kevin-toolbox-dev-1.3.4/PKG-INFO

@@ -0,0 +1,62 @@
+Metadata-Version: 2.1
+Name: kevin-toolbox-dev
+Version: 1.3.4
+Summary: 一个常用的工具代码包集合
+Home-page: https://github.com/cantbeblank96/kevin_toolbox
+Download-URL: https://github.com/username/your-package/archive/refs/tags/v1.0.0.tar.gz
+Author: kevin hsu
+Author-email: xukaiming1996@163.com
+License: MIT
+Keywords: mathematics,pytorch,numpy,machine-learning,algorithm
+Platform: UNKNOWN
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Programming Language :: Python
+Classifier: Programming Language :: Python :: 3
+Requires-Python: >=3.6
+Description-Content-Type: text/markdown
+Provides-Extra: plot
+Provides-Extra: rest
+
+# kevin_toolbox
+
+一个通用的工具代码包集合
+
+
+
+环境要求
+
+```shell
+numpy>=1.19
+pytorch>=1.2
+```
+
+安装方法：
+
+```shell
+pip install kevin-toolbox  --no-dependencies
+```
+
+
+
+[项目地址 Repo](https://github.com/cantbeblank96/kevin_toolbox)
+
+[使用指南 User_Guide](./notes/User_Guide.md)
+
+[免责声明 Disclaimer](./notes/Disclaimer.md)
+
+[版本更新记录](./notes/Release_Record.md)：
+
+- v 1.3.4 （2024-04-06）【bug fix】【new feature】
+  - nested_dict_list
+    - 【new feature】add replace_identical_with_reference() to value_parser，新增该函数用于将具有相同 id 的多个节点，替换为单个节点和其多个引用的形式。一般用于去除冗余部分，压缩 ndl 的结构。
+    - 【bug fix】【new feature】fix bug in write()，添加了 saved_node_name_format 参数控制 nodes 下文件名的生成。
+      - bug：在 v1.3.3 前直接使用原始的 node_name 来作为 nodes/ 目录下的文件名，这导致当 node_name 中带有特殊字符时，比如 "/"（在linux下） 和 ":"（在windows下），将会导致保存失败。
+      - fix：使用 saved_node_name_format 指定生成文件名的方式，默认方式 '{count}_{hash_name}' 可以避免出现特殊字符。
+    - 【bug fix】fix bug in write()
+      - bug：在 v1.3.3 前 processed_s 通过 ndl.set_value() 来逐个节点构建，但是由于根据节点名创建的结果可能和原结构存在差异（详见 ndl.set_value() 中b_force参数的介绍），因此导致 processed_s 和 var 结构不一致，导致出错。
+      - fix：使用 ndl.copy_() 来创建结构与 var 一致的 processed_s。
+    - 【new feature】add b_keep_identical_relations to write()，增加该参数用于决定是否保留不同节点之间的 id 相等关系。
+    - 添加了对应的测试用例。
+
+
+

kevin-toolbox-dev-1.3.4/README.md

@@ -0,0 +1,41 @@
+# kevin_toolbox
+
+一个通用的工具代码包集合
+
+
+
+环境要求
+
+```shell
+numpy>=1.19
+pytorch>=1.2
+```
+
+安装方法：
+
+```shell
+pip install kevin-toolbox  --no-dependencies
+```
+
+
+
+[项目地址 Repo](https://github.com/cantbeblank96/kevin_toolbox)
+
+[使用指南 User_Guide](./notes/User_Guide.md)
+
+[免责声明 Disclaimer](./notes/Disclaimer.md)
+
+[版本更新记录](./notes/Release_Record.md)：
+
+- v 1.3.4 （2024-04-06）【bug fix】【new feature】
+  - nested_dict_list
+    - 【new feature】add replace_identical_with_reference() to value_parser，新增该函数用于将具有相同 id 的多个节点，替换为单个节点和其多个引用的形式。一般用于去除冗余部分，压缩 ndl 的结构。
+    - 【bug fix】【new feature】fix bug in write()，添加了 saved_node_name_format 参数控制 nodes 下文件名的生成。
+      - bug：在 v1.3.3 前直接使用原始的 node_name 来作为 nodes/ 目录下的文件名，这导致当 node_name 中带有特殊字符时，比如 "/"（在linux下） 和 ":"（在windows下），将会导致保存失败。
+      - fix：使用 saved_node_name_format 指定生成文件名的方式，默认方式 '{count}_{hash_name}' 可以避免出现特殊字符。
+    - 【bug fix】fix bug in write()
+      - bug：在 v1.3.3 前 processed_s 通过 ndl.set_value() 来逐个节点构建，但是由于根据节点名创建的结果可能和原结构存在差异（详见 ndl.set_value() 中b_force参数的介绍），因此导致 processed_s 和 var 结构不一致，导致出错。
+      - fix：使用 ndl.copy_() 来创建结构与 var 一致的 processed_s。
+    - 【new feature】add b_keep_identical_relations to write()，增加该参数用于决定是否保留不同节点之间的 id 相等关系。
+    - 添加了对应的测试用例。
+

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/__init__.py

@@ -1,4 +1,4 @@
-__version__ = "1.3.2"
+__version__ = "1.3.4"
 
 
 import os
@@ -12,5 +12,5 @@ os.system(
 os.system(
     f'python {os.path.split(__file__)[0]}/env_info/check_validity_and_uninstall.py '
     f'--package_name kevin-toolbox-dev '
-    f'--expiration_timestamp 1725197084 --verbose 0'
+    f'--expiration_timestamp 1727961379 --verbose 0'
 )

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/core/reader/file_iterative_reader.py

@@ -1,4 +1,5 @@
 import os
+import copy
 
 
 class File_Iterative_Reader:
@@ -12,11 +13,14 @@ class File_Iterative_Reader:
             设定关键参数
             必要参数：
                 file_path:  文件路径
+                file_obj:   文件对象
+                    注意！！以上两个参数指定其一即可，同时指定时候，以后者为准。
             读取模式相关参数：
                 paras_for_open:     open() 函数的补充参数
                 mode:       读取模式，默认为 "lines"
                                 "lines"：  按行数计算批次大小
                                 "bytes"：  按字节数计算
+                    注意！！以上两个参数在指定了 file_obj 参数后将失效。
                 chunk_size: 批次大小
                                 默认为 1k
                                 当为-1时，读取整个文件
@@ -51,6 +55,7 @@ class File_Iterative_Reader:
         paras = {
             # 必要参数
             "file_path": None,
+            "file_obj": None,
             # 读取模式相关参数
             "paras_for_open": dict(mode="r", encoding='utf-8'),
             "mode": "lines",
@@ -74,16 +79,21 @@ class File_Iterative_Reader:
         assert mode in ["lines", "bytes"]
         paras["chunk_size"] = int(paras["chunk_size"])
         paras["loop_num"] = int(paras["loop_num"]) - 1
-        #
-        file_path = paras["file_path"]
-        assert isinstance(file_path, (str,)) and os.path.exists(file_path), \
-            Exception(f"Error: file {file_path} not exists!")
-        #
-        paras_for_open = paras["paras_for_open"]
-        assert isinstance(paras_for_open, (dict,))
 
         # 获取文件对象
-        self.file = open(file_path, **paras_for_open)
+        if paras["file_obj"] is None:
+            assert isinstance(paras["file_path"], (str,)) and os.path.isfile(paras["file_path"]), \
+                Exception(f'Error: file {paras["file_path"]} not exists!')
+            #
+            assert isinstance(paras["paras_for_open"], (dict,))
+            self.file = open(paras["file_path"], **paras["paras_for_open"])
+        else:
+            # 拷贝对象，防止修改外部对象
+            try:
+                self.file = copy.deepcopy(paras["file_obj"])
+            except:
+                self.file = open(paras["file_obj"].name, mode=paras["file_obj"].mode)
+
         # 选择相应模式
         self.__read_func = {"lines": self.__read_lines, "bytes": self.__read_bytes}[mode]
         self.__jump_func = {"lines": self.__jump_lines, "bytes": self.__jump_bytes}[mode]
@@ -225,9 +235,34 @@ class File_Iterative_Reader:
 if __name__ == "__main__":
     import numpy as np
 
-    reader = File_Iterative_Reader(file_path="developing/test_data.txt", chunk_size=2, drop=True, loop_num=2,
+    print("使用 file_path")
+    reader = File_Iterative_Reader(file_path="test/test_data/test_data.txt", chunk_size=2, drop=True, loop_num=2,
                                    pre_jump_size=3, convert_func=lambda x: np.array(x))
     for i in reader:
         print(i)
 
     del reader
+
+    print("使用 file_obj")
+    reader = File_Iterative_Reader(
+        file_obj=open("test/test_data/test_data.txt", "r"), chunk_size=2, drop=True, loop_num=2,
+        pre_jump_size=3, convert_func=lambda x: np.array(x))
+    for i in reader:
+        print(i)
+
+    del reader
+
+    print("从字符串构建文件对象作为 file_obj")
+    from io import StringIO
+
+    file_obj = StringIO(initial_value=open("test/test_data/test_data.txt", "r").read())
+    reader = File_Iterative_Reader(
+        file_obj=file_obj, chunk_size=2, drop=True, loop_num=2,
+        pre_jump_size=3, convert_func=lambda x: np.array(x))
+    for i in reader:
+        print(i)
+
+    print("证明不会修改外部对象")
+    print(file_obj.read())
+
+    del reader

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/core/reader/unified_reader.py

@@ -49,7 +49,7 @@ if __name__ == '__main__':
     print(reader.read([3, 3]).shape)
     print(reader.find(1))
 
-    reader = UReader(file_path="test_data.txt", chunk_size=2, folder_path="./temp/233")
+    reader = UReader(file_path="test/test_data/test_data.txt", chunk_size=2, folder_path="./temp/233")
 
     print(reader.read(2, 7))
     # del reader
@@ -67,7 +67,7 @@ if __name__ == '__main__':
 
     print(reader.find('data/6/horse_race_pan/2132020102319002000161_43_4.bmp'))
 
-    reader = Reader_for_files(file_path="test_data.txt", chunk_size=2, pre_jump_size=2, jump_size=2)
+    reader = Reader_for_files(file_path="test/test_data/test_data.txt", chunk_size=2, pre_jump_size=2, jump_size=2)
 
     for i in reader:
         print(2333, i)

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/json_/converter/__init__.py

@@ -2,6 +2,6 @@ from .convert_dict_key_to_number import convert_dict_key_to_number
 from .convert_ndarray_to_list import convert_ndarray_to_list
 from .escape_non_str_dict_key import escape_non_str_dict_key
 from .unescape_non_str_dict_key import unescape_non_str_dict_key
-from .escape_tuple import escape_tuple
-from .unescape_tuple import unescape_tuple
+from .escape_tuple_and_set import escape_tuple_and_set
+from .unescape_tuple_and_set import unescape_tuple_and_set
 from .integrate import integrate

kevin-toolbox-dev-1.3.4/kevin_toolbox/data_flow/file/json_/converter/escape_tuple_and_set.py

@@ -0,0 +1,23 @@
+def escape_tuple_and_set(x):
+    """
+        将 tuple 和 set 进行转义
+            转义：     x ==> f"<eval>{x}"
+            反转义：   f"<eval>{x}" ==> x
+
+        为什么要进行转义？
+            由于 json 中会将 tuple 作为 list 进行保存，同时也无法保存 set，因此在保存过程中会丢失相应信息。
+    """
+    if isinstance(x, (tuple, set,)) or (isinstance(x, (str,)) and x.startswith("<eval>")):
+        return f'<eval>{x}'
+    else:
+        return x
+
+
+if __name__ == '__main__':
+    print(escape_tuple_and_set((1, 2, "\'1\'")))
+    # <eval>(1, 2, "'1'")
+    print(escape_tuple_and_set({"1", (1, 2, 3), 233}))
+    # <eval>{'1', 233, (1, 2, 3)}
+
+    print(escape_tuple_and_set("<eval>233"))
+    # <eval><eval>233

kevin-toolbox-dev-1.3.2/kevin_toolbox/data_flow/file/json_/converter/unescape_tuple.py → kevin-toolbox-dev-1.3.4/kevin_toolbox/data_flow/file/json_/converter/unescape_tuple_and_set.py

@@ -1,11 +1,11 @@
-def unescape_tuple(x):
+def unescape_tuple_and_set(x):
     """
-        将 tuple 进行反转义
+        将 tuple 和 set 进行反转义
             转义：     x ==> f"<eval>{x}"
             反转义：   f"<eval>{x}" ==> x
 
         为什么要进行转义？
-            由于 json 中会将 tuple 作为 list 进行保存，因此在保存过程中会丢失相应信息。
+            由于 json 中会将 tuple 作为 list 进行保存，同时也无法保存 set，因此在保存过程中会丢失相应信息。
     """
     if isinstance(x, str) and x.startswith("<eval>"):
         x = x[6:]
@@ -17,7 +17,9 @@ def unescape_tuple(x):
 
 
 if __name__ == '__main__':
-    print(unescape_tuple("<eval>(1, 2, \"'1'\")"))
+    print(unescape_tuple_and_set("<eval>(1, 2, \"'1'\")"))
     # (1, 2, "\'1\'")
-    print(unescape_tuple("<eval><eval>233"))
+    print(unescape_tuple_and_set("<eval>{'1', 233, (1, 2, 3)}"))
+    # {'1', 233, (1, 2, 3)}
+    print(unescape_tuple_and_set("<eval><eval>233"))
     # "<eval>233"

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/json_/read_json.py

@@ -1,6 +1,6 @@
 import os
 import json
-from kevin_toolbox.data_flow.file.json_.converter import integrate, unescape_tuple, unescape_non_str_dict_key
+from kevin_toolbox.data_flow.file.json_.converter import integrate, unescape_tuple_and_set, unescape_non_str_dict_key
 from kevin_toolbox.nested_dict_list import traverse
 
 
@@ -14,14 +14,14 @@ def read_json(file_path, converters=None, b_use_suggested_converter=False):
                                             转换器 converter 应该是一个形如 def(x): ... ; return x 的函数，具体可以参考
                                             json_.converter 中已实现的转换器
             b_use_suggested_converter:  <boolean> 是否使用建议的转换器
-                                            建议使用 unescape/escape_non_str_dict_key 和 unescape/escape_tuple 这两对转换器，
+                                            建议使用 unescape/escape_non_str_dict_key 和 unescape/escape_tuple_and_set 这两对转换器，
                                             可以避免因 json 的读取/写入而丢失部分信息。
                                             默认为 False。
                     注意：当 converters 非 None，此参数失效，以 converters 中的具体设置为准
     """
     assert os.path.isfile(file_path), f'file {file_path} not found'
     if converters is None and b_use_suggested_converter:
-        converters = [unescape_tuple, unescape_non_str_dict_key]
+        converters = [unescape_tuple_and_set, unescape_non_str_dict_key]
 
     with open(file_path, 'r') as f:
         content = json.load(f)

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/json_/write_json.py

@@ -1,7 +1,7 @@
 import os
 import json
 import copy
-from kevin_toolbox.data_flow.file.json_.converter import integrate, escape_tuple, escape_non_str_dict_key
+from kevin_toolbox.data_flow.file.json_.converter import integrate, escape_tuple_and_set, escape_non_str_dict_key
 from kevin_toolbox.nested_dict_list import traverse
 
 
@@ -18,7 +18,7 @@ def write_json(content, file_path, sort_keys=False, converters=None, b_use_sugge
                                             转换器 converter 应该是一个形如 def(x): ... ; return x 的函数，具体可以参考
                                             json_.converter 中已实现的转换器
             b_use_suggested_converter:  <boolean> 是否使用建议的转换器
-                                            建议使用 unescape/escape_non_str_dict_key 和 unescape/escape_tuple 这两对转换器，
+                                            建议使用 unescape/escape_non_str_dict_key 和 unescape/escape_tuple_and_set 这两对转换器，
                                             可以避免因 json 的读取/写入而丢失部分信息。
                                             默认为 False。
                     注意：当 converters 非 None，此参数失效，以 converters 中的具体设置为准
@@ -26,7 +26,7 @@ def write_json(content, file_path, sort_keys=False, converters=None, b_use_sugge
     assert isinstance(file_path, (str, type(None)))
 
     if converters is None and b_use_suggested_converter:
-        converters = [escape_tuple, escape_non_str_dict_key]
+        converters = [escape_tuple_and_set, escape_non_str_dict_key]
 
     if converters is not None:
         converter = integrate(converters)

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/kevin_notation/kevin_notation_reader.py

@@ -15,6 +15,8 @@ class Kevin_Notation_Reader:
 
             必要参数：
                 file_path:          <string> 文件路径
+                file_obj:           <file object> 文件对象
+                    以上参数2选一，具体参见 File_Iterative_Reader
             读取相关参数：
                 chunk_size:         <integer> 每次读取多少行数据
                 beg：                <integer> 开始读取的位置
@@ -28,6 +30,7 @@ class Kevin_Notation_Reader:
         paras = {
             # 必要参数
             "file_path": None,
+            "file_obj": None,
             # 读取相关参数
             "chunk_size": 100,
             "beg": 0,
@@ -38,9 +41,7 @@ class Kevin_Notation_Reader:
         paras.update(kwargs)
 
         # 校验参数
-        assert isinstance(paras["file_path"], (str,)) and os.path.isfile(paras["file_path"]), \
-            f'file not exists :{paras["file_path"]}'
-        #
+        #   file_path 和 file_obj 交给 File_Iterative_Reader 校验
         assert isinstance(paras["chunk_size"], (int,)) and (paras["chunk_size"] > 0 or paras["chunk_size"] == -1)
         assert isinstance(paras["beg"], (int,)) and paras["beg"] >= 0
         assert isinstance(paras["converter"], (Converter, dict,))
@@ -48,7 +49,7 @@ class Kevin_Notation_Reader:
         self.paras = paras
 
         # 读取开头
-        self.reader = File_Iterative_Reader(file_path=self.paras["file_path"],
+        self.reader = File_Iterative_Reader(file_path=self.paras["file_path"], file_obj=self.paras["file_obj"],
                                             pre_jump_size=self.paras["beg"],
                                             filter_=lambda x: x != "\n" and not x.startswith("//"),  # 去除注释
                                             map_func=lambda x: x.rsplit("\n", 1)[0].split("//", 1)[0],
@@ -64,7 +65,7 @@ class Kevin_Notation_Reader:
         del self.reader
 
         # 读取内容
-        self.reader = File_Iterative_Reader(file_path=self.paras["file_path"],
+        self.reader = File_Iterative_Reader(file_path=self.paras["file_path"], file_obj=self.paras["file_obj"],
                                             pre_jump_size=self.paras["beg"] + offset,
                                             filter_=lambda x: x != "\n" and not x.startswith("//"),  # 去除注释
                                             map_func=lambda x: x.rsplit("\n", 1)[0].split("//", 1)[0],

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/kevin_notation/read.py

@@ -1,11 +1,13 @@
 from kevin_toolbox.data_flow.file import kevin_notation
 
 
-def read(file_path):
+def read(file_path=None, file_obj=None):
     """
         读取整个文件的快捷接口
     """
-    with kevin_notation.Reader(file_path=file_path, chunk_size=-1) as reader:
+    assert file_path is not None or file_obj is not None
+
+    with kevin_notation.Reader(file_path=file_path, chunk_size=-1, file_obj=file_obj) as reader:
         # metadata
         metadata = reader.metadata
         # content

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/kevin_notation/test/test_kevin_notation.py

@@ -134,11 +134,23 @@ def test_writer_1(expected_metadata, expected_content, file_path):
                          zip(metadata_ls, content_ls, file_path_ls))
 def test_read(expected_metadata, expected_content, file_path):
     print("test read()")
-    # 读取
+    # 使用 file_path 读取
     metadata, content = kevin_notation.read(file_path=file_path)
+
+    # 使用 file_obj 读取
+    file_obj = open(file_path, "r")
+    metadata_1, content_1 = kevin_notation.read(file_obj=file_obj)
+    assert len(file_obj.read()) > 0  # 不影响输入的 file_obj
+
+    # 使用字符串构造 file_obj 读取
+    from io import StringIO
+    file_obj = StringIO(initial_value=open(file_path, "r").read())
+    metadata_2, content_2 = kevin_notation.read(file_obj=file_obj)
+    assert len(file_obj.read()) > 0
+
     # 检验
-    check_consistency(expected_metadata, metadata)
-    check_consistency(expected_content, content)
+    check_consistency(expected_metadata, metadata, metadata_1, metadata_2)
+    check_consistency(expected_content, content, content_1, content_2)
 
 
 @pytest.mark.parametrize("expected_metadata, expected_content, file_path",

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/data_flow/file/markdown/generate_table.py

@@ -1,4 +1,4 @@
-from kevin_toolbox.math.utils import spilt_integer_most_evenly
+from kevin_toolbox.math.utils import split_integer_most_evenly
 
 
 def generate_table(content_s, orientation="vertical", chunk_nums=None, chunk_size=None, b_allow_misaligned_values=False,
@@ -60,7 +60,7 @@ def generate_table(content_s, orientation="vertical", chunk_nums=None, chunk_siz
     # 按照 chunk_nums 或者 chunk_size 对表格进行分割
     if chunk_nums is not None or chunk_size is not None:
         if chunk_nums is not None:
-            split_len_ls = spilt_integer_most_evenly(x=max_length, group_nums=chunk_nums)
+            split_len_ls = split_integer_most_evenly(x=max_length, group_nums=chunk_nums)
         else:
             split_len_ls = [chunk_size] * (max_length // chunk_size)
             if max_length % chunk_size != 0:

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/math/utils/__init__.py

@@ -2,4 +2,4 @@ from .get_function_table_for_array_and_tensor import get_function_table_for_arra
 from .convert_dtype import convert_dtype
 from .get_crop_by_box import get_crop_by_box
 from .set_crop_by_box import set_crop_by_box
-from .spilt_integer_most_evenly import spilt_integer_most_evenly
+from .split_integer_most_evenly import split_integer_most_evenly

kevin-toolbox-dev-1.3.2/kevin_toolbox/math/utils/spilt_integer_most_evenly.py → kevin-toolbox-dev-1.3.4/kevin_toolbox/math/utils/split_integer_most_evenly.py

@@ -1,7 +1,7 @@
 import numpy as np
 
 
-def spilt_integer_most_evenly(x, group_nums):
+def split_integer_most_evenly(x, group_nums):
     assert isinstance(x, (int, np.integer,)) and x >= 0 and group_nums > 0
 
     res = np.ones(group_nums, dtype=int) * (x // group_nums)
@@ -10,4 +10,4 @@ def spilt_integer_most_evenly(x, group_nums):
 
 
 if __name__ == '__main__':
-    print(spilt_integer_most_evenly(x=100, group_nums=7))
+    print(split_integer_most_evenly(x=100, group_nums=7))

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/nested_dict_list/serializer/__init__.py

@@ -1,3 +1,4 @@
 from .write import write
 from .read import read
 from .enum_variable import Strictness_Level
+from .saved_node_name_builder import Saved_Node_Name_Builder

{kevin-toolbox-dev-1.3.2 → kevin-toolbox-dev-1.3.4}/kevin_toolbox/nested_dict_list/serializer/read.py

@@ -29,13 +29,15 @@ def read(input_path, **kwargs):
 
     # 读取 var
     var = json_.read(file_path=os.path.join(input_path, "var.json"), b_use_suggested_converter=True)
+    # 读取 record
+    record_s = dict()
+    if os.path.isfile(os.path.join(input_path, "record.json")):
+        record_s = json_.read(file_path=os.path.join(input_path, "record.json"), b_use_suggested_converter=True)
 
     # 读取被处理的节点
     processed_nodes = []
-    if os.path.isfile(os.path.join(input_path, "record.json")):
-        for name, value in ndl.get_nodes(
-                var=json_.read(file_path=os.path.join(input_path, "record.json"),
-                               b_use_suggested_converter=True)["processed"], level=-1, b_strict=True):
+    if record_s:
+        for name, value in ndl.get_nodes(var=record_s["processed"], level=-1, b_strict=True):
             if value:
                 processed_nodes.append(name)
     else:
@@ -56,6 +58,11 @@ def read(input_path, **kwargs):
             bk = SERIALIZER_BACKEND.get(name=value.pop("backend"))(folder=os.path.join(input_path, "nodes"))
             ndl.set_value(var=var, name=name, value=bk.read(**value))
 
+    #
+    if record_s.get("b_keep_identical_relations", False):
+        from kevin_toolbox.nested_dict_list import value_parser
+        var = value_parser.replace_identical_with_reference(var=var, flag="same", b_reverse=True)
+
     #
     if temp_dir is not None:
         for_os.remove(path=temp_dir, ignore_errors=True)

kevin-toolbox-dev-1.3.4/kevin_toolbox/nested_dict_list/serializer/saved_node_name_builder.py

@@ -0,0 +1,31 @@
+class Saved_Node_Name_Builder:
+    """
+        生成保存节点内容时的文件夹/文件名称
+    """
+
+    def __init__(self, format_):
+        try:
+            temp = format_.format(**{k: k + "_" * 3 for k in {"raw_name", "id", "hash_name", "count"}})
+            assert len(temp) > len(format_)
+        except:
+            raise ValueError(f'invalid saved_node_name_format {format_}')
+
+        self.format_ = format_
+        self.count = 0
+
+    def __call__(self, name, value):
+        from kevin_toolbox.nested_dict_list import get_hash
+
+        res = self.format_.format(
+            **{"raw_name": name, "id": id(value), "hash_name": get_hash(name, length=12), "count": self.count})
+        self.count += 1
+        return res
+
+
+if __name__ == '__main__':
+    bd = Saved_Node_Name_Builder(format_="{raw_name}_{count}_{hash_name}_{id}")
+    print(bd(":a@0", 1))
+    print(bd(":b:c", []))
+
+    # bd = Saved_Node_Name_Builder(format_="")
+    # bd = Saved_Node_Name_Builder(format_="{raw_name2}_{count}")