re-common 10.0.21__tar.gz → 10.0.23__tar.gz

{re_common-10.0.21/re_common.egg-info → re_common-10.0.23}/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.1
+Metadata-Version: 2.2
 Name: re_common
-Version: 10.0.21
+Version: 10.0.23
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic
@@ -11,6 +11,14 @@ Classifier: Operating System :: OS Independent
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 License-File: LICENSE
+Dynamic: author
+Dynamic: author-email
+Dynamic: classifier
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: requires-python
+Dynamic: summary
 
 
     这是一个基础类，依赖很多的第三方包，是一个用得到的第三方库的封装，可以在此基础上迅速构建项目

{re_common-10.0.21 → re_common-10.0.23}/re_common/v2/baselibrary/utils/string_clear.py

@@ -1,25 +1,34 @@
 import re
+from functools import lru_cache
 from urllib.parse import unquote
 
 import regex
 
-from re_common.v2.baselibrary.utils.stringutils import qj2bj, bj2qj, get_diacritic_variant, clean_html, \
-    remove_spaces_between_chinese_characters
+from re_common.v2.baselibrary.utils.stringutils import (
+    qj2bj,
+    bj2qj,
+    get_diacritic_variant,
+    clean_html,
+    remove_spaces_between_chinese_characters,
+)
 
-from opencc import OpenCC
 
-# pip install opencc-python-reimplemented
-cc = OpenCC("t2s")  # t2s是繁体转简体
+@lru_cache(maxsize=1)
+def get_cc():
+    from opencc import OpenCC
 
+    # pip install opencc-python-reimplemented
+    cc = OpenCC("t2s")  # t2s是繁体转简体
+    return cc
 
-class StringClear(object):
 
+class StringClear(object):
     def __init__(self, obj_str):
         self.obj_str = obj_str
 
     def None_to_str(self):
         if self.obj_str is None:
-            self.obj_str = ''
+            self.obj_str = ""
         return self
 
     def to_str(self):
@@ -38,7 +47,7 @@ class StringClear(object):
 
     def convert_to_simplified(self):
         # 繁体转简体
-        self.obj_str = cc.convert(self.obj_str)
+        self.obj_str = get_cc().convert(self.obj_str)
         return self
 
     def lower(self):
@@ -73,9 +82,8 @@ class StringClear(object):
         )
 
         self.obj_str = regex.sub(
-            pattern,
-            "",
-            self.obj_str)  # \\p{P} 标点符号 后面的是一些其他符号， 也可以用 \p{S} 代替 但是这个很广 可能有误伤
+            pattern, "", self.obj_str
+        )  # \\p{P} 标点符号 后面的是一些其他符号， 也可以用 \p{S} 代替 但是这个很广 可能有误伤
         return self
 
     def remove_special_chars(self):
@@ -95,7 +103,7 @@ class StringClear(object):
 
     def strip_quotes(self):
         # 清理 双引号
-        self.obj_str = self.obj_str.replace("\"", "")
+        self.obj_str = self.obj_str.replace('"', "")
         return self
 
     def remove_diacritics(self):
@@ -141,33 +149,38 @@ class StringClear(object):
 
 def rel_clear(str_obj):
     # 为融合数据定制的 清理规则
-    return (StringClear(str_obj)
-            .None_to_str()  # 空对象转str 防止空对象
-            .to_str()  # 防止其他类型传入 比如 int double
-            .qj_to_bj()  # 全角转半角
-            .remove_html_tag()  # html标签清理
-            .remove_special_chars()  # 移除特殊字符，仅保留字母、数字、空格和汉字 \w 已经包括所有 Unicode 字母 下划线 _ 会被保留
-            .collapse_spaces()  # 移除多余空格,连续多个空格变一个
-            .remove_spaces_in_chinese_characters()  # 匹配中文间的空格并替换为空字符串
-            .lower()  # 小写
-            .get_str()  # 获取str
-            .strip())  # 去掉空格
+    return (
+        StringClear(str_obj)
+        .None_to_str()  # 空对象转str 防止空对象
+        .to_str()  # 防止其他类型传入 比如 int double
+        .qj_to_bj()  # 全角转半角
+        .remove_html_tag()  # html标签清理
+        .remove_special_chars()  # 移除特殊字符，仅保留字母、数字、空格和汉字 \w 已经包括所有 Unicode 字母 下划线 _ 会被保留
+        .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+        .remove_spaces_in_chinese_characters()  # 匹配中文间的空格并替换为空字符串
+        .convert_to_simplified()  # 繁体转简体
+        .lower()  # 小写
+        .get_str()  # 获取str
+        .strip()
+    )  # 去掉空格
 
 
 def clear_au_organ(str_obj):
     """
     为作者机构定制的清理 与上面比除了不转小写外 还多了些特殊的清理
     """
-    strs = (StringClear(str_obj)
-            .None_to_str()  # None 转 空字符串
-            .to_str()  # 防止其他类型传入 比如 int double
-            .qj_to_bj()  # 全角转半角
-            .strip_quotes()  # 清理 双引号
-            .clean_symbols()  # 清理已知的符号
-            .collapse_spaces()  # 移除多余空格,连续多个空格变一个
-            .get_str()  # 获取str
-            .strip()  # 去掉空格
-            )
+    strs = (
+        StringClear(str_obj)
+        .None_to_str()  # None 转 空字符串
+        .to_str()  # 防止其他类型传入 比如 int double
+        .qj_to_bj()  # 全角转半角
+        .strip_quotes()  # 清理 双引号
+        .clean_symbols()  # 清理已知的符号
+        .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+        .convert_to_simplified()  # 繁体转简体
+        .get_str()  # 获取str
+        .strip()  # 去掉空格
+    )
 
     strs = strs.replace("lt正gt", "").strip()  # 特殊需求
     return strs
@@ -175,17 +188,20 @@ def clear_au_organ(str_obj):
 
 def ref_clear(str_obj):
     # 为 引文 数据定制的清理
-    strs = (StringClear(str_obj)
-            .None_to_str()  # None 转 空字符串
-            .to_str()  # 防止其他类型传入 比如 int double
-            .qj_to_bj()  # 全角转半角
-            .strip_quotes()  # 清理 双引号
-            .clean_symbols()  # 清理已知的符号
-            .collapse_spaces()  # 移除多余空格,连续多个空格变一个
-            .lower()  # 小写
-            .get_str()  # 获取str
-            .strip()  # 去掉空格
-            )
+    strs = (
+        StringClear(str_obj)
+        .None_to_str()  # None 转 空字符串
+        .remove_html_tag()  # 清理html标签
+        .to_str()  # 防止其他类型传入 比如 int double
+        .qj_to_bj()  # 全角转半角
+        .strip_quotes()  # 清理 双引号
+        .clean_symbols()  # 清理已知的符号
+        .collapse_spaces()  # 移除多余空格,连续多个空格变一个
+        .lower()  # 小写
+        .remove_diacritics()  # 去除音标 转换成字母
+        .get_str()  # 获取str
+        .strip()  # 去掉空格
+    )
     return strs
 
 
@@ -193,10 +209,19 @@ def clear_obj(str_obj):
     # 为对象化定制的清理
     str_obj = clear_au_organ(str_obj)
     # str_obj = str_obj.replace("ß", "SS") # "ß" 的 大写就是 "SS"
-    result = (StringClear(str_obj)
-              .remove_diacritics()  # 清理音标
-              .upper()
-              .get_str()  # 获取str
-              .strip()  # 去掉空格
-              )
+    result = (
+        StringClear(str_obj)
+        .remove_diacritics()  # 清理音标
+        .upper()
+        .get_str()  # 获取str
+        .strip()  # 去掉空格
+    )
     return result
+
+
+def normalize_title_for_es(title: str):
+    _title = StringClear(title).convert_to_simplified().qj_to_bj().get_str()
+    has_chinese = re.search(r"[\u4e00-\u9fa5]", _title)
+    if not has_chinese:
+        _title = re.sub(r"[－—‑–−―-]", " ", _title)
+    return _title.strip()

{re_common-10.0.21 → re_common-10.0.23/re_common.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.1
+Metadata-Version: 2.2
 Name: re_common
-Version: 10.0.21
+Version: 10.0.23
 Summary: a library about all python projects
 Home-page: https://gitee.com/xujiangios/re-common
 Author: vic
@@ -11,6 +11,14 @@ Classifier: Operating System :: OS Independent
 Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 License-File: LICENSE
+Dynamic: author
+Dynamic: author-email
+Dynamic: classifier
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: requires-python
+Dynamic: summary
 
 
     这是一个基础类，依赖很多的第三方包，是一个用得到的第三方库的封装，可以在此基础上迅速构建项目

{re_common-10.0.21 → re_common-10.0.23}/setup.py

@@ -34,7 +34,7 @@ long_description = """
 """
 setuptools.setup(
     name="re_common",
-    version="10.0.21",
+    version="10.0.23",
     author="vic",
     author_email="xujiang5@163.com",
     description="a library about all python projects",