annet 0.1__py3-none-any.whl

annet/rulebook/juniper/__init__.py

@@ -0,0 +1,107 @@
+import re
+from collections import OrderedDict as odict
+from functools import wraps
+
+from annet.annlib.lib import jun_activate, jun_is_inactive, merge_dicts
+from annet.annlib.types import Op
+
+from annet.rulebook import common
+
+
+def _inactive_blocks(diff_foo):
+    @wraps(diff_foo)
+    def wrapper(old, new, diff_pre, *args, **kwargs):
+        old_inactives = list(map(jun_activate, filter(jun_is_inactive, old)))
+        new_inactives = list(map(jun_activate, filter(jun_is_inactive, new)))
+        if len(old_inactives) == 0 and len(new_inactives) == 0:
+            return diff_foo(old, new, diff_pre, *args, **kwargs)
+
+        inactive_pre = odict([(jun_activate(k), v) for k, v in diff_pre.items() if jun_is_inactive(k)])
+        merged_pre = merge_dicts(diff_pre, inactive_pre)
+        diff = diff_foo(_strip_toplevel_inactives(old),
+                        _strip_toplevel_inactives(new),
+                        merged_pre,
+                        *args, **kwargs)
+
+        for activated in [k for k in old_inactives if k in new]:
+            diff += [(Op.ADDED, _activate_cmd(activated, merged_pre), {}, diff_pre[activated]["match"])]
+
+        for deactivated in [k for k in new_inactives if k not in old_inactives]:
+            # если деактивуруемого блока не существует - ставим один deactivate, глубже не идем
+            if deactivated not in diff_pre:
+                diff = [(Op.ADDED, _deactivate_cmd(deactivated, merged_pre), {}, inactive_pre[deactivated]["match"])]
+            else:
+                diff += [(Op.ADDED, _deactivate_cmd(deactivated, merged_pre), {}, diff_pre[deactivated]["match"])]
+        return diff
+    return wrapper
+
+
+@_inactive_blocks
+def default_diff(old, new, diff_pre, _pops=(Op.AFFECTED,)):
+    diff = common.default_diff(old, new, diff_pre, _pops)
+    diff = _ignore_quotes(diff)
+    diff = _strip_inactive_removed(diff)
+    return diff
+
+
+@_inactive_blocks
+def ordered_diff(old, new, diff_pre, _pops=(Op.AFFECTED,)):
+    diff = common.ordered_diff(old, new, diff_pre, _pops)
+    diff = _ignore_quotes(diff)
+    diff = _strip_inactive_removed(diff)
+    return diff
+
+
+# =====
+def _strip_toplevel_inactives(tree):
+    for inactive in filter(jun_is_inactive, tree):
+        assert jun_activate(inactive) not in tree
+    return odict([(k, v) if not jun_is_inactive(k) else (jun_activate(k), v) for k, v in tree.items()])
+
+
+def _activate_cmd(active_key, diff_pre):
+    return _cmd(active_key, diff_pre, "activate")
+
+
+def _deactivate_cmd(active_key, diff_pre):
+    return _cmd(active_key, diff_pre, "deactivate")
+
+
+def _cmd(active_key, diff_pre, cmd):
+    assert not jun_is_inactive(active_key)
+    if not diff_pre[active_key]["subtree"]:
+        # Если конанда не имеет подблоков И имеет агрументы то надо их отбросить
+        return " ".join([cmd, active_key.split()[0]])
+    return " ".join([cmd, active_key])
+
+
+def _ignore_quotes(diff):
+    """
+    Фильтрует из diff строки которые различаются
+    только наличием/отсутсвием кавычек
+    i.e.
+    description "loopbacks";
+    description loopbacks;
+    эквивалентны
+    """
+    equivs = {}
+    for elem in diff:
+        key = _strip_quotes(elem[1])
+        if key not in equivs:
+            equivs[key] = 0
+        equivs[key] += 1
+    filtered_diff = [elem for elem in diff if equivs[_strip_quotes(elem[1])] == 1]
+    return filtered_diff
+
+
+def _strip_quotes(key):
+    return re.sub(r"\"(?P<quoted_text>[^\"]+)\"$", r"\g<quoted_text>", key)
+
+
+def _strip_inactive_removed(diff):
+    for elem in diff:
+        if elem[0] == Op.REMOVED and elem[3]["key"]:
+            key = elem[3]["key"][0]
+            if jun_is_inactive(key):
+                elem[3]["key"] = tuple([jun_activate(key)])
+    return diff

annet/rulebook/nexus/iface.py

@@ -0,0 +1,92 @@
+from annet.annlib.lib import uniq
+from annet.annlib.rulebook import common
+from annet.annlib.types import Op
+
+from annet.rulebook.cisco.iface import is_in_channel, is_ip_cmd, is_vpn_cmd
+
+
+def diff(old, new, diff_pre, _pops=(Op.AFFECTED,)):
+    for iface_row in old:
+        _filter_channel_members(old[iface_row])
+    for iface_row in new:
+        _filter_channel_members(new[iface_row])
+
+    for iface_row in uniq(old, new):
+        iface_old = old.get(iface_row, {})
+        iface_new = new.get(iface_row, {})
+        iface_pre = diff_pre[iface_row]["subtree"]
+        vpn_changed = False
+        for (op, cmd, _, _) in common.default_diff(iface_old, iface_new, iface_pre, _pops):
+            if op in {Op.ADDED, Op.REMOVED}:
+                vpn_changed |= is_vpn_cmd(cmd)
+                break
+
+        if vpn_changed:
+            for cmd in list(iface_old.keys()):
+                if is_ip_cmd(cmd) and not is_vpn_cmd(cmd):
+                    del iface_old[cmd]
+
+        if _is_diff_removed_lag_from_lag_member(iface_old, iface_new):
+            for cmd in list(iface_old.keys()):
+                if _is_allowed_on_old_lag_memeber(cmd):
+                    del iface_old[cmd]
+
+    ret = common.default_diff(old, new, diff_pre, _pops)
+
+    return ret
+
+# ===
+
+# Вырезает все команды не разрешенные
+# на членах агрегата. В running-config
+# листинге они наследуются от самого port-channel
+
+
+def _filter_channel_members(tree):
+    if any(is_in_channel(x) for x in tree):
+        for cmd in list(tree.keys()):
+            if not _is_allowed_on_channel(cmd):
+                del tree[cmd]
+
+
+def _is_allowed_on_channel(cmd_line):
+    return cmd_line.startswith((
+        "channel-group",
+        "cdp",
+        "description",
+        "inherit",
+        "ip port",
+        "ipv6 port",
+        "mac port",
+        "lacp",
+        "switchport host",
+        "switchport",
+        "shutdown",
+        "rate-limit cpu",
+        "snmp trap link-status",
+        "mtu",
+        "macsec",  # NOCDEV-9008
+    ))
+
+# ===
+
+# При удалении lag, часть команд удаляется сначала с lag, тем самым удаляя с lag member,
+# но рассчитанный diff этот нюанс не учитывает
+
+
+def _is_diff_removed_lag_from_lag_member(old, new):
+    """
+    Проверяем, что в old есть признак lag member, а в new его нет. Следовательно порт выводится из lag.
+    """
+    if any(is_in_channel(x) for x in old) and not any(is_in_channel(x) for x in new):
+        return True
+    return False
+
+
+def _is_allowed_on_old_lag_memeber(cmd_line):
+    """
+    Эти команды принудительно добавим на интерфейс после удаления его из lag
+    """
+    return cmd_line.startswith((
+        "mtu",
+    ))

annet/rulebook/patching.py

@@ -0,0 +1,143 @@
+import functools
+import re
+from collections import OrderedDict as odict
+
+from annet.annlib.rbparser import platform, syntax
+from valkit.common import valid_bool, valid_string_list
+from valkit.python import valid_object_path
+
+from .common import import_rulebook_function
+
+
+DEFAULT_PATCH_LOGIC = "common.default"
+ORDERED_PATCH_LOGIC = "common.ordered"
+REWRITE_PATCH_LOGIC = "common.rewrite"
+REWRITE_DIFF_LOGIC = "common.rewrite_diff"
+MULTILINE_DIFF_LOGIC = "common.multiline_diff"
+
+
+# =====
+@functools.lru_cache()
+def compile_patching_text(text, vendor):
+    return _compile_patching(
+        tree=syntax.parse_text(text, params_scheme={
+            "global": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "logic": {
+                "validator": valid_object_path,
+                "default": DEFAULT_PATCH_LOGIC,
+            },
+            "diff_logic": {
+                "validator": valid_object_path,
+                "default": platform.VENDOR_DIFF[vendor],
+            },
+            "comment": {
+                "validator": valid_string_list,
+                "default": [],
+            },
+            "multiline": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "ordered": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "rewrite": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "parent": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "force_commit": {
+                "validator": valid_bool,
+                "default": False,
+            },
+            "ignore_case": {
+                "validator": valid_bool,
+                "default": False,
+            },
+        }),
+        reverse_prefix=platform.VENDOR_REVERSES[vendor],
+        vendor=vendor,
+    )
+
+
+# =====
+def _compile_patching(tree, reverse_prefix, vendor):
+    rules = {"local": odict(), "global": odict()}
+    for (raw_rule, attrs) in tree.items():
+        regexp = _attrs_to_regexp(attrs)
+        attrs = _regexp_to_attrs(regexp, attrs)
+        if attrs["type"] == "ignore":
+            rule = {
+                "type": attrs["type"],
+                "attrs": {
+                    "regexp": regexp,
+                    "diff_logic": import_rulebook_function(attrs["params"]["diff_logic"]),
+                    "parent": bool(attrs["children"]),
+                    "context": attrs["context"],
+                },
+                "children": {"global": {}, "local": {}}
+            }
+        else:
+            if attrs["params"]["ordered"]:
+                attrs["params"]["diff_logic"] = platform.VENDOR_DIFF_ORDERED[vendor]
+                attrs["params"]["logic"] = ORDERED_PATCH_LOGIC
+            elif attrs["params"]["rewrite"]:
+                attrs["params"]["diff_logic"] = REWRITE_DIFF_LOGIC
+                attrs["params"]["logic"] = REWRITE_PATCH_LOGIC
+            elif attrs["params"]["multiline"]:
+                attrs["params"]["diff_logic"] = MULTILINE_DIFF_LOGIC
+            rule = {
+                "type": attrs["type"],
+                "attrs": {
+                    "logic": import_rulebook_function(attrs["params"]["logic"]),
+                    "diff_logic": import_rulebook_function(attrs["params"]["diff_logic"]),
+                    "regexp": regexp,
+                    "reverse": _make_reverse(attrs["row"], reverse_prefix, flags=regexp.flags),
+                    "comment": attrs["params"]["comment"],
+                    "multiline": attrs["params"]["multiline"],
+                    "parent": attrs["params"]["parent"] or bool(attrs["children"]),
+                    "force_commit": attrs["params"]["force_commit"],
+                    "ignore_case": attrs["params"]["ignore_case"],
+                    "context": attrs["context"],
+                },
+                "children": None,
+            }
+            if not attrs["params"]["global"]:
+                rule["children"] = _compile_patching(attrs["children"], reverse_prefix, vendor)
+        rules["global" if attrs["params"]["global"] else "local"][raw_rule] = rule
+    return rules
+
+
+@functools.lru_cache()
+def _make_reverse(row, reverse_prefix, flags=0):
+    if row.startswith(reverse_prefix + " "):
+        row = row[len(reverse_prefix + " "):]
+    else:
+        row = "%s %s" % (reverse_prefix, row)
+
+    if row[-1] == "~":
+        row = row[:-1] + "{}"
+
+    row = re.sub(r"\*(/\S+/)?", "{}", row, flags=flags)
+    row = re.sub(r"\s*~(/\S+/)?", "", row, flags=flags)
+    return row
+
+
+def _attrs_to_regexp(attrs):
+    flags = 0
+    ignore_case = attrs["params"]["ignore_case"]
+    if ignore_case:
+        flags |= re.IGNORECASE
+    return syntax.compile_row_regexp(attrs["row"], flags=flags)
+
+
+def _regexp_to_attrs(regexp, attrs):
+    attrs["params"]["ignore_case"] = bool(regexp.flags & re.IGNORECASE)
+    return attrs

annet/rulebook/ribbon/__init__.py

@@ -0,0 +1,12 @@
+from annet.annlib.rulebook import common
+from annet.annlib.types import Op
+
+
+def default_diff(old, new, diff_pre, _pops=(Op.AFFECTED,)):
+    diff = common.default_diff(old, new, diff_pre, _pops)
+    return diff
+
+
+def ordered_diff(old, new, diff_pre, _pops=(Op.AFFECTED,)):
+    diff = common.ordered_diff(old, new, diff_pre, _pops)
+    return diff

annet/rulebook/texts/arista.deploy

@@ -0,0 +1,20 @@
+# Рулбук деплоя на устройства
+#
+# Операторы:
+#   *  Один аргумент
+#   ~  Несколько аргументов (минимум один)
+#
+# Параметры:
+#   %timeout=...  Таймаут выполнения команды (в секундах, по умолчанию 30)
+#
+# Ответы на вопросы
+#
+# <команда>
+#   dialog: <вопрос> ::: <ответ> <параметры>
+#
+# Если <вопрос> заключён в слеши (//), то воспринимается как регулярка, иначе - точное совпадение.
+# Параметы:
+#   %send_nl=...  Посылать ли перевод строки после ответа (bool, по умолчанию true)
+# -----
+
+~ %global

annet/rulebook/texts/arista.order

@@ -0,0 +1,125 @@
+# В этом файле определяется порядок команд, в котором их следует подавать на устройство.
+# - Если порядок команды не важен - ее можно не писать сюда совсем.
+# - Если команда начинается с undo и прописан параметр %order_reverse - команда считается
+#   обратной, но занимает место между прямыми там, где указано (т.е. undo vlan batch
+#   будет стоять после блоков interface).
+
+
+alias tmate-arista bash tmate-arista
+service 
+switch
+hardware
+transceiver
+
+
+logging trap
+logging monitor
+logging
+
+
+platform
+
+
+hostname
+ip name-server
+ip domain-name
+
+
+ntp
+
+
+qos profile *
+    ~ %global
+
+
+snmp-server
+
+
+spanning-tree
+
+
+service
+
+
+username *
+username * ssh-key
+
+
+tacacs-server
+
+
+aaa group
+    ~ %global
+
+
+aaa
+
+
+username
+
+
+role
+    ~ %global
+
+
+vlan
+
+
+vrf instance
+
+mpls label range dynamic *
+mpls label range isis-sr *
+mpls ip
+mpls ldp
+
+router isis
+    ~ %global
+
+interface
+    ~ %global
+
+
+(?:ip|ipv6) access-list
+    ~ %global
+
+
+(?:ip|ipv6) route
+
+
+(?:ip|ipv6) routing
+
+
+ip community-list
+
+
+ip ftp
+
+
+qos rewrite
+qos map
+
+
+route-map * (?:permit|deny) *
+    ~ %global
+
+
+router bfd
+    ~ %global
+
+
+router bgp
+    ~ %global
+
+
+router multicast
+
+
+ip tacacs
+
+
+management
+    ~ %global
+
+
+# vim: set syntax=annrulebook:
+~ %global

annet/rulebook/texts/arista.rul

@@ -0,0 +1,59 @@
+description %global
+
+
+qos profile *
+    ~ %global
+
+username * ssh-key
+username *
+
+aaa group ~
+    ~ %global
+
+
+role *
+    ~ %global
+
+
+vrf instance *
+    ~ %global
+
+
+interface *               %logic=arista.iface.permanent
+    no switchport
+    description *
+    channel-group *
+    lacp rate *
+    service-profile *
+    ~ %global
+
+
+ip access-list standard *
+    * %logic=huawei.misc.undo_redo
+
+ipv6 access-list standard *
+    * %logic=huawei.misc.undo_redo
+
+ipv6 access-list *
+        * %logic=huawei.misc.undo_redo
+
+route-map * * *
+    ~ %global
+
+router bfd
+    ~ %global
+
+
+router bgp *
+    no bgp default *
+    neighbor * maximum-routes
+    ~ %global
+
+ip load-sharing trident fields *              %logic=common.default_instead_undo
+
+management *
+    ~ %global
+
+
+no ~ %global
+~ %global

annet/rulebook/texts/aruba.deploy

@@ -0,0 +1,20 @@
+# Рулбук деплоя на устройства
+#
+# Операторы:
+#   *  Один аргумент
+#   ~  Несколько аргументов (минимум один)
+#
+# Параметры:
+#   %timeout=...  Таймаут выполнения команды (в секундах, по умолчанию 30)
+#
+# Ответы на вопросы
+#
+# <команда>
+#   dialog: <вопрос> ::: <ответ> <параметры>
+#
+# Если <вопрос> заключён в слеши (//), то воспринимается как регулярка, иначе - точное совпадение.
+# Параметы:
+#   %send_nl=...  Посылать ли перевод строки после ответа (bool, по умолчанию true)
+# -----
+
+~  %ifcontext=block:ap-env %apply_logic=aruba.ap_env.apply

annet/rulebook/texts/aruba.order

@@ -0,0 +1,83 @@
+# В этом файле определяется порядок команд, в котором их следует подавать на устройство.
+# - Если порядок команды не важен - ее можно не писать сюда совсем.
+# - Если команда начинается с undo и прописан параметр %order_reverse - команда считается
+#   обратной, но занимает место между прямыми там, где указано.
+
+
+hostname
+ip-address
+iap-master
+iap-conductor
+zone
+dot11a-radio-disable
+dot11g-radio-disable
+ap-installation
+a-channel
+g-channel
+a-external-antenna
+g-external-antenna
+a-ant-pol
+g-ant-pol
+
+
+virtual-controller-country *
+virtual-controller-key *
+name *
+virtual-controller-ip *
+ip-mode *
+syslog-server *
+terminal-access
+telnet-server
+loginsession timeout *
+ntp-server *
+clock timezone ~
+rf-band *
+
+
+allow-new-aps
+allowed-ap *
+
+
+snmp-server
+
+
+arm
+    ~
+
+
+rf
+    ~
+
+
+syslog-level
+
+
+iot ~
+
+
+wlan ~
+    ~
+
+
+wired-port-profile *
+    ~
+
+
+uplink
+    ~
+
+
+airgroup
+    ~
+
+
+airgroupservice *
+    ~
+
+
+ipm
+    ~
+
+
+cluster-security
+    ~