pyxllib 0.3.115__tar.gz → 0.3.117__tar.gz

{pyxllib-0.3.115/pyxllib.egg-info → pyxllib-0.3.117}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.115
+Version: 0.3.117
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101
@@ -15,6 +15,7 @@ Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Provides-Extra: xlcv
 Provides-Extra: xlai
+Provides-Extra: xlall
 License-File: LICENSE
 
 # 1 install

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/algo/pupil.py

@@ -455,9 +455,10 @@ def matchpairs(xs, ys, cmp_func, least_score=sys.float_info.epsilon, *,
 def get_number_width(n):
     """ 判断数值n的长度
 
+    参考资料：https://jstrieb.github.io/posts/digit-length/
+
     >>> get_number_width(0)
-    Traceback (most recent call last):
-    AssertionError
+    1
     >>> get_number_width(9)
     1
     >>> get_number_width(10)
@@ -465,8 +466,10 @@ def get_number_width(n):
     >>> get_number_width(97)
     2
     """
-    assert n > 0
-    return math.ceil(math.log10(n + 1))
+    # assert n > 0
+    # return math.ceil(math.log10(n + 1))
+
+    return 1 if n == 0 else (math.floor(math.log10(n)) + 1)
 
 
 class SearchBase:

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/algo/stat.py

@@ -449,7 +449,7 @@ def print_full_dataframe(df):
                            'display.max_colwidth', None):
         print(df)
 
-    pd.options('display.max_rows', 60)
+    pd.options.display.max_rows = 60
 
 
 def custom_fillna(df, default_fill_value='', numeric_fill_value=None, specific_fill=None):

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/data/sqlite.py

@@ -90,6 +90,8 @@ class SqlBuilder:
 
         :param desc: 例如 'id%2=1'
         """
+        if not desc:
+            return
         column, divisor_remainder = desc.split('%')
         divisor, remainder = map(int, divisor_remainder.split('='))
         return self.where_mod(column, divisor, remainder)
@@ -364,6 +366,19 @@ class SqlBase:
                          f'UPDATE {table_name} SET {kvs} WHERE {ops}',
                          self.cvt_types(vals))
 
+    def delete_row(self, table_name, where, *, commit=False):
+        """ 【删】删除数据
+
+        :param dict where: 怎么匹配到对应记录
+        :param commit: 建议减小commit频率，会极大降低性能
+        :return:
+        """
+        ops = ' AND '.join([f'{k}=%s' for k in where.keys()])
+        vals = list(where.values())
+        self.commit_base(commit,
+                         f'DELETE FROM {table_name} WHERE {ops}',
+                         self.cvt_types(vals))
+
     def select_col(self, table_name, col):
         """ 获得一列数据，常使用的功能，所以做了一个封装
 

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/file/specialist/filelib.py

@@ -887,6 +887,7 @@ class XlPath(type(pathlib.Path())):
             return 0
 
     def mtime(self):
+        """ 文件的修改时间 """
         # windows会带小数，linux使用%Ts只有整数部分。
         # 这里不用四舍五入，取整数部分就是对应的。
         return int(os.stat(self).st_mtime)
@@ -1287,6 +1288,7 @@ class XlPath(type(pathlib.Path())):
 
     def write_auto(self, data, *args, if_exists=None, **kwargs):
         """ 根据文件后缀自动识别写入函数 """
+        self.parent.mkdir(exist_ok=True, parents=True)
         mode = self.suffix.lower()[1:]
         write_func = getattr(self, 'write_' + mode, None)
         if self.exist_preprcs(if_exists):
@@ -2283,8 +2285,11 @@ class PathGroups(Groups):
         return ls
 
 
-def cache_file(file, make_data_func: Callable[[], Any] = None, *, reset=False, **kwargs):
-    """ 局部函数功能结果缓存
+def cache_file(file, make_data_func: Callable[[], Any] = None, *,
+               mode='read_first',
+               cache_time=None,
+               **kwargs):
+    """ 能将局部函数功能结果缓存进文件的功能
 
     输入的文件file如果存在则直接读取内容；
     否则用make_data_func生成，并且备份一个file文件
@@ -2292,20 +2297,52 @@ def cache_file(file, make_data_func: Callable[[], Any] = None, *, reset=False, *
     :param file: 需要缓存的文件路径
     :param make_data_func: 如果文件不存在，则需要生成一份，要提供数据生成函数
         cache_file可以当装饰器用，此时不用显式指定该参数
-    :param reset: 如果file是否已存在，都用make_data_func强制重置一遍
+    :param mode:
+        read_first（默认）: 优先尝试从已有文件读取
+        generate_first: 函数生成优先
+    :param cache_time: 文件缓存时间，单位为秒，默认为None，表示始终使用缓存文件
+        如果设置60，表示超过60秒后，需要重新优先从函数获得更新内容
     :param kwargs: 可以传递read、write支持的扩展参数
-    :return: 从缓存文件直接读取到的数据
+    :return: 读取到的数据
     """
+    from datetime import datetime, timedelta
+    from pyxllib.prog.pupil import format_exception
 
     def decorator(func):
         def wrapper(*args2, **kwargs2):
+
             f = XlPath.init(file, XlPath.tempdir())
-            if f.exists() and not reset:  # 文件存在，直接读取返回
-                data = f.read_auto(**kwargs)
-            else:  # 文件不存在则要生成一份数据
+            f.parent.mkdir(exist_ok=True, parents=True)
+
+            # 1 优先看是不是需要先从文件读取数据
+            if mode == 'read_first' and f.is_file():
+                if cache_time is None:
+                    return f.read_auto(**kwargs)
+
+                current_time = datetime.now()
+                last_modified = datetime.fromtimestamp(f.mtime())  # 获取文件的修改时间
+                if not isinstance(cache_time, timedelta):
+                    cache_time2 = timedelta(seconds=cache_time)
+                else:
+                    cache_time2 = cache_time
+
+                if cache_time is None or (current_time - last_modified <= cache_time2):
+                    return f.read_auto(**kwargs)
+
+            # 2 如果需要重新生成数据，且没有已存在的保底文件
+            if not f.is_file():
                 data = func(*args2, **kwargs2)
                 f.write_auto(data, **kwargs)
-            return data
+                return data
+
+            # 3 需要重新生成，但是有保底文件
+            try:
+                data = func(*args2, **kwargs2)
+                f.write_auto(data, **kwargs)
+                return data
+            except Exception as e:
+                print(format_exception(e))
+                return f.read_auto(**kwargs)
 
         return wrapper
 

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/file/xlsxlib.py

@@ -36,6 +36,7 @@ from openpyxl import Workbook
 from openpyxl.cell.cell import MergedCell
 from openpyxl.styles import Font, Alignment
 from openpyxl.utils.cell import get_column_letter, column_index_from_string
+import openpyxl.worksheet.formula
 import pandas as pd
 
 try:
@@ -518,7 +519,7 @@ def is_string_type(value):
     try:
         pd.to_datetime(value, errors='raise')
         return False
-    except (ValueError, TypeError, OverflowError):
+    except (ValueError, TypeError, OverflowError, AttributeError):
         pass
 
     # 检查是否为浮点数类型
@@ -573,10 +574,18 @@ class XlCell(openpyxl.cell.cell.Cell):  # 适用于 openpyxl.cell.cell.MergedCel
 
         TODO 这个函数还是可以看看能不能有更好的实现、提速
         """
+
+        def try_offset(x, y):
+            try:
+                return isinstance(self.offset(x, y), MergedCell)
+            except ValueError:
+                # 有可能会越界：ValueError: Row numbers must be between 1 and 1048576
+                return False
+
         _type, status = 0, {}
         if isinstance(self, MergedCell):
             _type = 1
-        elif isinstance(self.offset(1, 0), MergedCell) or isinstance(self.offset(0, 1), MergedCell):
+        elif try_offset(1, 0) or try_offset(0, 1):
             # 这里只能判断可能是合并单元格，具体是不是合并单元格，还要
             rng = self.in_range()
             status['rng'] = rng
@@ -761,7 +770,10 @@ class XlCell(openpyxl.cell.cell.Cell):  # 适用于 openpyxl.cell.cell.MergedCel
         注意，遇到公式是很难计算处理的，大概率只能保持原公式显示
         因为日期用的比较多，需要时常获得真实的渲染效果，所以这里封装一个接口
         """
+
         x = self.value
+        if isinstance(x, openpyxl.worksheet.formula.ArrayFormula):  # 数组公式要特别渲染
+            return x.text
         xl_fmt = self.get_number_format()
         return xl_render_value(x, xl_fmt)
 

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/prog/cachetools.py

@@ -24,6 +24,8 @@ from cached_property import cached_property_with_ttl  # 限时缓存，单位秒
 from cached_property import threaded_cached_property_with_ttl  # 线程 + 限时
 
 
+# todo 240609周日21:19 https://github.com/awolverp/cachebox，据说这个缓存库速度更快的多
+
 # 进一步封装的更通用、自己常用的装饰器
 
 def xlcache(maxsize=128, *, ttl=None, lock=None, property=False):

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib/prog/pupil.py

@@ -555,6 +555,9 @@ class Timeout:
         return wrapper
 
     def __enter__(self):
+        if self.seconds == 0:  # 可以设置0来关闭超时功能
+            return
+
         def overtime(signum, frame):
             raise TimeoutError(f'with 上下文代码块运行超时 > [{self.seconds} 秒]')
 
@@ -568,6 +571,9 @@ class Timeout:
         self.alarm.start()
 
     def __exit__(self, exc_type, exc_val, exc_tb):
+        if self.seconds == 0:
+            return
+
         # with已经运行完了，马上关闭警告器
         self.alarm.cancel()
 
@@ -973,30 +979,93 @@ class OutputLogger(logging.Logger):
         self.print(msg)
 
 
+class ProcessWorker:
+    """ 代表一个单独的工作进程 """
+
+    def __init__(self, name, process, port=None, locations=None,
+                 raw_cmd=None):
+        """
+
+        :param name: 进程昵称
+        :param process: 进程对象
+        :param port: 是否有执行所在端口
+        :param locations: 是否有url地址映射，一般用于nginx等配置
+        """
+        self.name = name
+        self.process = process
+        self.port = port
+        self.locations = locations
+        self.raw_cmd = raw_cmd
+
+    def terminate(self):
+        """ 比较优雅结束进程的方法 """
+        if self.process is not None:
+            self.process.terminate()
+
+    def kill(self):
+        """ 有时候需要强硬的kill方法来结束进程 """
+        if self.process is not None:
+            self.process.kill()
+
+
 class MultiProcessLauncher:
     """ 注意这个类暂时只有linux能使用 """
 
     def __init__(self):
         self.workers = []
 
-    def add_process_cmd(self, cmd, name=None, **kwargs):
+    def add_process_cmd(self,
+                        cmd,
+                        name=None,
+                        shell=False,
+                        **kwargs):
+        """
+
+        :param shell: 默认直接跟系统交互，此时cmd应该输入数组格式
+            如果shell=True，则启用shell进行交互操作，这种情况会更适合管道等模式的处理，此时cmd应该输入字符串格式
+
+        """
         if name is None:
-            name = cmd.split()[0]
+            cmd2 = cmd.split() if isinstance(cmd, str) else cmd
+            name = cmd2[0]
+
+        proc = subprocess.Popen(cmd,
+                                shell=shell,
+                                preexec_fn=self._set_pdeathsig())
 
-        p = subprocess.Popen(cmd.split(), preexec_fn=self._set_pdeathsig(signal.SIGTERM))
-        worker = {'name': name, 'process': p, 'command': cmd}
-        worker.update(kwargs)
+        worker = ProcessWorker(name, proc, raw_cmd=cmd, **kwargs)
         self.workers.append(worker)
+        return worker
+
+    def add_process_python(self, file, args='', name=None, shell=False):
+        """ 添加并启动一个Python模块作为后台进程。
+
+        :param file: 要执行的Python文件路径
+        :param str|list args: 模块的参数
+        :param name: 进程的名称，默认为模块名
+        """
+        cmd = [f'{sys.executable}', f'{file}']
+        if isinstance(args, str):
+            cmd.append(args)
+        else:
+            cmd += list(args)
+
+        return self.add_process_cmd(cmd, name, shell=shell)
 
-    def add_process_python_module(self, module, args='', name=None):
+    def add_process_python_module(self, module, args='', name=None, shell=False):
         """ 添加并启动一个Python模块作为后台进程。
 
         :param module: 要执行的Python模块名（python -m 后面的部分）
-        :param args: 模块的参数
+        :param str|list args: 模块的参数
         :param name: 进程的名称，默认为模块名
         """
-        cmd = f'{sys.executable} -m {module} {args}'
-        self.add_process_cmd(cmd, name=name)
+        cmd = [f'{sys.executable}', '-m', f'{module}']
+        if isinstance(args, str):
+            cmd.append(args)
+        else:
+            cmd += list(args)
+
+        return self.add_process_cmd(cmd, name, shell=shell)
 
     def stop_all(self):
         """ 停止所有后台进程 """
@@ -1004,14 +1073,84 @@ class MultiProcessLauncher:
             worker.process.terminate()
         self.workers = []
 
-    def _set_pdeathsig(self, sig=signal.SIGTERM):
+    def _set_pdeathsig(self, sig=None):
         """ 在主服务退出时，这些进程也会全部自动关闭 """
 
         def callable():
+            import signal
+            sig2 = signal.SIGTERM if sig is None else sig
             libc = ctypes.CDLL("libc.so.6")
-            return libc.prctl(1, sig)
+            return libc.prctl(1, sig2)
+
+        if sys.platform == 'win32':
+            # windows系统暂设为空
+            return None
+        else:
+            return callable
+
+    def run_endless(self):
+        """ 一直运行，直到用户输入kill命令
+
+        poll：
+            如果进程仍在运行，poll()方法返回None。
+            如果进程已经结束，poll()方法返回进程的退出码（exit code）。
+                如果进程正常结束，退出码通常为0。
+                如果进程异常结束，退出码通常是一个非零值，表示异常的类型或错误码。
+        """
+        import pandas as pd
+        from pyxllib.algo.stat import print_full_dataframe
+
+        while True:
+            cmd = input('>>>')
+            if cmd == 'kill':
+                self.stop_all()
+                break
+            elif cmd == 'count':
+                # 需要实际检查现有进程
+                m = sum([1 for worker in self.workers if worker.process.poll() is None])
+                print(f'有{m}个进程正在运行')
+            elif cmd == 'list':  # 列出所有进程（转df查看）
+                ls = []
+                for worker in self.workers:
+                    ls.append([worker.name, worker.process.pid, worker.process.poll(), worker.raw_cmd])
+                df = pd.DataFrame(ls, columns=['name', 'pid', 'poll', 'args'])
+                print_full_dataframe(df)
+
+
+def support_multi_processes(default_processes=1):
+    """ 对函数进行扩展，支持并发多进程运行
+
+    注意被装饰的函数，需要支持 process_count、process_id 两个参数，来获得总进程数，当前进程id的信息
+    """
 
-        return callable
+    def decorator(func):
+
+        def wrapper(*args, **kwargs):
+            process_count = int(kwargs.pop('process_count', default_processes))
+            process_id = kwargs.pop('process_id', None)
+
+            if process_count == 1 or process_id is not None:
+                if process_id is None:
+                    return func(*args, **kwargs)
+                else:
+                    return func(*args, **kwargs, process_count=process_count, process_id=process_id)
+            else:
+                mpl = MultiProcessLauncher()
+                for i in range(int(process_count)):
+                    cmds = [func.__name__,
+                            '--process_count', str(process_count),
+                            '--process_id', str(i)
+                            ]
+                    cmds.extend(map(str, args))  # 添加位置参数
+                    for k, v in kwargs.items():
+                        cmds.append(f'--{k}')  # 添加关键字参数的键
+                        cmds.append(str(v))  # 添加关键字参数的值
+                    mpl.add_process_python(sys.argv[0], cmds)
+                mpl.run_endless()
+
+        return wrapper
+
+    return decorator
 
 
 def xlmd5(content):
@@ -1096,6 +1235,8 @@ def safe_div(a, b):
 
 def inplace_decorate(parent, func_name, wrapper):
     """ 将指定的函数替换为装饰器版本
+    允许在运行时动态地将一个函数或方法替换为其装饰版本。通常用于添加日志、性能测试、事务处理等。
+    （既然可以写成装饰版本，相当于其实要完全替换成另外的函数也是可以的）
 
     当然，因为py一切皆对象，这里处理的不是函数，而是其他变量等对象也是可以的
 

pyxllib-0.3.117/pyxllib/prog/scheduler.py

@@ -0,0 +1,129 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+# @Author : 陈坤泽
+# @Email  : 877362867@qq.com
+# @Date   : 2024/06/18
+
+
+from pyxllib.prog.pupil import check_install_package
+
+check_install_package('croniter')
+
+import datetime
+import time
+import sys
+
+from croniter import croniter
+
+
+class SchedulerUtils:
+    @classmethod
+    def calculate_future_time(cls, start_time, wait_seconds):
+        """ 计算延迟时间
+
+        :param datetime start_time: 开始时间
+        :param int wait_seconds: 等待秒数
+            todo 先只支持秒数这种标准秒数，后续可以考虑支持更多智能的"1小时"等这种解析
+        """
+        return start_time + datetime.timedelta(seconds=wait_seconds)
+
+    @classmethod
+    def calculate_next_cron_time(cls, cron_tag, base_time=None):
+        """ 使用crontab标记的运行周期，然后计算相对当前时间，下一次要启动运行的时间
+
+        :param str cron_tag:
+            30 2 * * 1: 这部分是时间和日期的设定，具体含义如下：
+                30: 表示分钟，即每小时的第 30 分钟。
+                2: 表示小时，即凌晨 2 点。
+                第三个星号 *: 表示日，这里的星号意味着每天。
+                第四个星号 *: 表示月份，星号同样表示每个月。
+                1: 表示星期中的日子，这里的 1 代表星期一。
+        """
+
+        # 如果没有提供基准时间，则使用当前时间
+        if base_time is None:
+            base_time = datetime.datetime.now()
+        # 初始化 croniter 对象
+        cron = croniter(cron_tag, base_time)
+        # 计算下一次运行时间
+        next_time = cron.get_next(datetime.datetime)
+        return next_time
+
+    @classmethod
+    def wait_until_time(cls, dst_time):
+        """
+        :param datetime dst_time: 一直等待到目标时间
+            期间可以用time.sleep进行等待
+        """
+        # 一般来说，只要计算一轮待等待秒数就行。但是time.sleep机制好像不一定准确的，所以使用无限循环重试会更好。
+        while True:
+            # 先计算当前时间和目标时间的相差秒数
+            wait_seconds = (dst_time - datetime.datetime.now()).total_seconds()
+            if wait_seconds <= 0:
+                break
+            time.sleep(max(1, wait_seconds))  # 最少等待1秒
+
+    @classmethod
+    def smart_wait(cls, start_time, end_time, wait_tag, print_mode=0):
+        """ 智能等待，一般用在对进程的管理重启上
+
+        :param datetime start_time: 程序启动的时间
+        :param datetime end_time: 程序结束的时间
+        :param str|float|int wait_tag: 等待标记
+            如果是str，则按照crontab解析
+            如果是int，则表示等待的秒数
+            如果是float，则表示等待的秒数
+        """
+        # 1 尝试把wait_tag转成数值
+        try:
+            wait_tag = float(wait_tag)
+        except ValueError:  # 转不成也没关系
+            pass
+
+        if start_time is None:
+            start_time = datetime.datetime.now()
+        if end_time is None:
+            end_time = datetime.datetime.now()
+
+        # 2 计算下一次启动时间
+        if isinstance(wait_tag, str):
+            # 按照crontab解析
+            next_time = cls.calculate_next_cron_time(wait_tag, end_time)
+        elif wait_tag >= 0:
+            # 正值则是从end_time开始往后等待
+            next_time = cls.calculate_future_time(end_time, wait_tag)
+        elif wait_tag < 0:
+            # 负值则是从start_time开始往前等待
+            next_time = cls.calculate_future_time(start_time, wait_tag)
+        else:
+            raise ValueError
+
+        if print_mode:
+            print(f'等待到时间{next_time}...')
+
+        cls.wait_until_time(next_time)
+
+
+def trial():
+    # 设置基准时间
+    base_time = datetime.datetime.now()
+    # 定义crontab表达式
+    cron_expression = '30 2 * * 1'  # 每周一凌晨2点30分执行
+    # 测试延迟功能
+    delayed_time = SchedulerUtils.calculate_future_time(base_time, 10)  # 延迟10秒
+    # 测试crontab计算下一次运行时间
+    next_run_time = SchedulerUtils.calculate_next_cron_time(cron_expression, base_time)
+
+    print(base_time, delayed_time, next_run_time, sep='\n')
+
+
+if __name__ == '__main__':
+    import fire
+
+    # 1 如果输入命令行参数，使用fire机制运行
+    if len(sys.argv) > 1:
+        fire.Fire()
+        exit()
+
+    # 2 否则执行这里的测试代码
+    trial()

{pyxllib-0.3.115 → pyxllib-0.3.117/pyxllib.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyxllib
-Version: 0.3.115
+Version: 0.3.117
 Summary: 厦门理工模式识别团队通用python代码工具库
 Home-page: https://github.com/XLPRUtils/pyxllib
 Author: code4101
@@ -15,6 +15,7 @@ Requires-Python: >=3.6
 Description-Content-Type: text/markdown
 Provides-Extra: xlcv
 Provides-Extra: xlai
+Provides-Extra: xlall
 License-File: LICENSE
 
 # 1 install

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib.egg-info/SOURCES.txt

@@ -80,6 +80,7 @@ pyxllib/prog/ipyexec.py
 pyxllib/prog/multiprocs.py
 pyxllib/prog/newbie.py
 pyxllib/prog/pupil.py
+pyxllib/prog/scheduler.py
 pyxllib/prog/sitepackages.py
 pyxllib/prog/xlosenv.py
 pyxllib/prog/specialist/__init__.py

{pyxllib-0.3.115 → pyxllib-0.3.117}/pyxllib.egg-info/requires.txt

@@ -21,14 +21,29 @@ Jinja2
 pandas>=0.23.4
 
 [xlai]
-visdom
-pillow
-opencv-python
+pynvml
 opsdroid-get-image-size
+opencv-python
+pillow
 xlcocotools
-pynvml
+visdom
 
-[xlcv]
+[xlall]
+flask-cors
+html2text
+ujson
+flask-wtf
+sentencepiece
+flask-jwt-extended
+flask
 opsdroid-get-image-size
+opencv-python
+flask-restful
 pillow
+zhconv
+xlrd
+
+[xlcv]
+pillow
+opsdroid-get-image-size
 opencv-python

{pyxllib-0.3.115 → pyxllib-0.3.117}/setup.py

@@ -28,18 +28,23 @@ xlcocotools
 
 # 全量的依赖，自用
 xlall = """
+flask
+flask-cors
 xlrd
-flask_wtf
-flask_restful
+flask-wtf
+flask-restful
 zhconv
 sentencepiece
+ujson
+html2text
+flask-jwt-extended
 """
 
 _dir = Path(__file__).parent
 
 setup(
     name='pyxllib',  # pip 安装时用的名字
-    version='0.3.115',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
+    version='0.3.117',  # 当前版本，每次更新上传到pypi都需要修改; 第4位版本号一般是修紧急bug
     author='code4101',
     author_email='877362867@qq.com',
     url='https://github.com/XLPRUtils/pyxllib',
@@ -67,5 +72,7 @@ setup(
     # ①静态版：pip install pyxllib[xlcv]
     # ②开发版：python setup.py develop easy_install pyxllib[xlcv]
     extras_require={'xlcv': '\n'.join(set((xlcv).splitlines())),
-                    'xlai': '\n'.join(set((xlcv + xlai).splitlines()))},
+                    'xlai': '\n'.join(set((xlcv + xlai).splitlines())),
+                    'xlall': '\n'.join(set((xlcv + xlall).splitlines())),
+                    },
 )