annet 0.1__py3-none-any.whl

annet/rulebook/texts/nexus.rul

@@ -0,0 +1,83 @@
+# Операторы:
+#   *  Один аргумент в undo
+#   ~  Несколько аргументов (минимум один) в undo
+#
+# Параметры:
+#   %global         Команда действует на любом уровне ниже
+#   %logic=...      Кастомная функция обработки правила
+#   %diff_logic=... Кастомная функция построения диффа.
+#                   данная функция работает для подблоков (в отличие от %logic)
+#   %comment=...    Добавить коммент после строки который будет видно с опцией patch --add-comments
+#                   Сделано в основном для того чтобы генерировать специальные команды для наливки
+# -----
+
+ip community-list standard ~
+
+vrf context *
+
+vlan group * vlan-list %logic=cisco.vlandb.simple
+vlan */[^\d].*/
+vlan %logic=cisco.vlandb.simple
+    name
+
+ip ssh version 2 %logic=cisco.misc.ssh_key
+
+# ordering of SNMP blocks
+ip access-list ~
+snmp-server view ~
+snmp-server community ~
+snmp-server host ~
+# Deleting a user using either SNMP or the CLI results in the user being deleted for both SNMP and the CLI.
+# User-role mapping changes are synchronized in SNMP and the CLI.
+!snmp-server user admin ~
+!snmp-server user *
+
+ntp distribute %logic=cisco.misc.no_ntp_distribute
+
+!interface */(mgmt|ipmi|Vlan1$)/
+
+# SVI/Subifs/Lagg
+interface */(Vlan|Ethernet.*\.|port-channel.*\.?)\d+$/ %diff_logic=nexus.iface.diff
+    vrf member
+    ipv6 link-local
+    ipv6 address *
+    ipv6 nd ~                      %logic=cisco.misc.no_ipv6_nd_suppress_ra
+    mtu
+
+# Physical
+interface */\w*Ethernet[0-9\/]+$/     %logic=common.permanent %diff_logic=nexus.iface.diff
+    switchport mode
+    switchport trunk native vlan
+    switchport access vlan
+    switchport trunk allowed vlan %logic=cisco.vlandb.swtrunk
+    vrf member
+    ipv6 link-local
+    ipv6 address *
+    channel-group
+    mtu
+    storm-control * level
+
+router bgp *
+    router-id
+    vrf *
+        router-id
+        address-family ~
+            maximum-paths
+        neighbor ~
+            update-source
+
+policy-map type qos *
+    class *  %ordered
+        ~    %global
+
+# Нельзя сказать no bandwidth пока политика глобально применена
+policy-map type queuing *
+    class type queuing *
+        bandwidth *
+
+description %global
+
+no ~ %global
+~ %global
+
+# vim: set syntax=annrulebook:

annet/rulebook/texts/nokia.rul

@@ -0,0 +1,31 @@
+# Операторы:
+#   *  Один аргумент в undo
+#   ~  Несколько аргументов (минимум один) в undo
+#
+# Параметры:
+#   %global         Команда действует на любом уровне ниже
+#   %logic=...      Кастомная функция обработки правила
+#   %diff_logic=... Кастомная функция построения диффа.
+#                   данная функция работает для подблоков (в отличие от %logic)
+#   %comment=...    Добавить коммент после строки который будет видно с опцией patch --add-comments
+#                   Сделано в основном для того чтобы генерировать специальные команды для наливки
+# -----
+
+system
+    name *
+    dns
+        ~
+    time
+        ~
+
+policy-options
+    policy-statement *
+        ~       %ordered
+            ~   %global
+
+
+router *
+    isis *
+        overload
+
+~ %global

annet/rulebook/texts/pc.order

@@ -0,0 +1,5 @@
+######################################################
+######################################################
+### THIS IS A STUB FILE PLEASE DO NOT ADD ANYTHING ###
+######################################################
+######################################################

annet/rulebook/texts/pc.rul

@@ -0,0 +1,9 @@
+######################################################
+######################################################
+### THIS IS A STUB FILE PLEASE DO NOT ADD ANYTHING ###
+######################################################
+######################################################
+
+
+undo ~ %global
+~ %global

annet/rulebook/texts/ribbon.deploy

@@ -0,0 +1,22 @@
+# Рулбук деплоя на устройства
+#
+# Операторы:
+#   *  Один аргумент
+#   ~  Несколько аргументов (минимум один)
+#
+# Параметры:
+#   %timeout=...  Таймаут выполнения команды (в секундах, по умолчанию 30)
+#
+# Ответы на вопросы
+#
+# <команда>
+#   dialog: <вопрос> ::: <ответ> <параметры>
+#
+# Если <вопрос> заключён в слеши (//), то воспринимается как регулярка, иначе - точное совпадение.
+# Параметы:
+#   %send_nl=...  Посылать ли перевод строки после ответа (bool, по умолчанию true)
+# -----
+
+
+exit
+    dialog: Exit configure exclusive mode? [yes,no] (no) ::: yes %send_nl=1

annet/rulebook/texts/ribbon.rul

@@ -0,0 +1,77 @@
+# Операторы:
+#   *  Один аргумент в undo
+#   ~  Несколько аргументов (минимум один) в undo
+#
+# Параметры:
+#   %global         Команда действует на любом уровне ниже
+#   %logic=...      Кастомная функция обработки правила
+#   %diff_logic=... Кастомная функция построения диффа.
+#                   данная функция работает для подблоков (в отличие от %logic)
+#   %comment=...    Добавить коммент после строки который будет видно с опцией patch --add-comments
+#                   Сделано в основном для того чтобы генерировать специальные команды для наливки
+# -----
+
+system
+    host-name
+
+    time-zone
+
+    tacplus-server
+        * secret
+
+    event-log
+        files
+        size
+
+    ntp
+        server ~
+
+    services
+        ssh
+            root-login
+
+    management-network
+        network-bridge
+            allow-6to4-tunnel-packets
+
+    root-authentication
+        encrypted-password
+
+    login
+        user *
+            authentication
+                user-encrypted-password
+            class
+            full-name
+
+interfaces
+    *
+        description
+
+chassis
+    slot * *
+        port *
+            port-type
+            otuc-options
+                line-rate
+            transceiver-options
+                exp-transceiver-type
+                tx-wavelength
+            fiber-connectivity (internal|external) (uni-in|uni-out|bidirectional)
+                peer-ne
+                peer-slot
+                peer-port
+                fiber-length
+                input-fiber-loss
+                output-fiber-loss
+            ots-options
+                los-threshold
+        oa-options (booster|preamp|amp)
+            edfa-mode
+            initial-gain
+            exp-raman-gain
+            max-number-channels
+            output-pwr-per-channel
+            tilt
+
+~ %global

annet/rulebook/texts/routeros.order

@@ -0,0 +1,38 @@
+# В этом файле определяется порядок команд, в котором их следует подавать на устройство.
+# - Если порядок команды не важен - ее можно не писать сюда совсем.
+# - Если команда начинается с undo и прописан параметр %order_reverse - команда считается
+#   обратной, но занимает место между прямыми там, где указано (т.е. undo vlan batch
+#   будет стоять после блоков interface).
+
+file
+    print
+    set
+
+snmp
+    community
+        set
+        add
+
+snmp
+    set
+
+system
+    logging
+        action
+            set
+            add
+        set
+        add
+
+interface
+    gre
+        add
+
+interface
+    list
+        member
+            add
+
+ip
+    address
+        add

annet/rulebook/texts/routeros.rul

@@ -0,0 +1,45 @@
+# Операторы:
+#   *  Один аргумент в undo
+#   ~  Несколько аргументов (минимум один) в undo
+#
+# Параметры:
+#   %global         Команда действует на любом уровне ниже
+#   %logic=...      Кастомная функция обработки правила
+#   %diff_logic=... Кастомная функция построения диффа.
+#                   данная функция работает для подблоков (в отличие от %logic)
+#   %comment=...    Добавить коммент после строки который будет видно с опцией patch --add-comments
+#                   Сделано в основном для того чтобы генерировать специальные команды для наливки
+# -----
+
+
+user
+    ~
+    group
+        add ~
+
+file
+    print file=*
+    set * %logic=routeros.file.change
+
+system
+    logging
+        action
+            set ~
+            add ~
+        set ~
+        add ~
+
+interface
+    gre
+        add
+
+interface
+    list
+        member
+            add
+
+ip
+    address
+        add ~
+
+~ %global

annet/storage.py

@@ -0,0 +1,121 @@
+import abc
+from typing import Any, Iterable, Optional, Type, Union
+
+
+try:
+    from annet.connectors import Connector
+except ImportError:
+    from noc.annushka.annet.connectors import Connector  # noqa: F401
+
+
+class _StorageConnector(Connector["StorageProvider"]):
+    name = "Storage"
+    ep_name = "storage"
+
+
+storage_connector = _StorageConnector()
+
+
+class StorageProvider(abc.ABC):
+    @abc.abstractmethod
+    def storage(self) -> Type["Storage"]:
+        pass
+
+    @abc.abstractmethod
+    def opts(self) -> Type["StorageOpts"]:
+        pass
+
+    @abc.abstractmethod
+    def query(self) -> Type["Query"]:
+        pass
+
+
+class Storage(abc.ABC):
+    @abc.abstractmethod
+    def __enter__(self):
+        pass
+
+    @abc.abstractmethod
+    def __exit__(self, _, __, ___):
+        pass
+
+    @abc.abstractmethod
+    def resolve_object_ids_by_query(self, query: Any):
+        pass
+
+    @abc.abstractmethod
+    def resolve_fdnds_by_query(self, query: Any):
+        pass
+
+    @abc.abstractmethod
+    def make_devices(
+        self,
+        query: Any,
+        preload_neighbors: bool = False,
+        use_mesh: bool = None,
+        preload_extra_fields=False,
+        **kwargs,
+    ):
+        pass
+
+    @abc.abstractmethod
+    def get_device(self, obj_id, preload_neighbors=False, use_mesh=None, **kwargs) -> "Device":
+        pass
+
+    @abc.abstractmethod
+    def flush_perf(self):
+        pass
+
+
+class StorageOpts(abc.ABC):
+    @classmethod
+    @abc.abstractmethod
+    def from_cli_opts(cls, cli_opts) -> "StorageOpts":
+        pass
+
+
+class Query(abc.ABC):
+    @classmethod
+    @abc.abstractclassmethod
+    def new(cls, query: Union[str, Iterable[str]], hosts_range: Optional[slice] = None) -> "Query":
+        pass
+
+
+class Device(abc.ABC):
+    @abc.abstractmethod
+    def __hash__(self):
+        pass
+
+    @abc.abstractmethod
+    def is_pc(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def hw(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def id(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def fqdn(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def hostname(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def neighbours_ids(self):
+        pass
+
+    @property
+    @abc.abstractmethod
+    def breed(self):
+        pass

annet/tabparser.py

@@ -0,0 +1,36 @@
+from annet.annlib.tabparser import (  # pylint: disable=unused-import
+    AsrFormatter,
+    CiscoFormatter,
+    CommonFormatter,
+    HuaweiFormatter,
+    JuniperFormatter,
+    JuniperList,
+    NokiaFormatter,
+    ParserError,
+    RibbonFormatter,
+    RosFormatter,
+    parse_to_tree,
+)
+
+
+def make_formatter(hw, **kwargs):
+    if hw.Huawei:
+        cls = HuaweiFormatter
+    elif hw.Cisco.ASR or hw.Cisco.XRV:
+        cls = AsrFormatter
+    elif hw.Nexus or hw.Cisco or hw.Arista or hw.Aruba:
+        cls = CiscoFormatter
+    elif hw.Juniper:
+        cls = JuniperFormatter
+    elif hw.Nokia:
+        cls = NokiaFormatter
+    elif hw.RouterOS:
+        cls = RosFormatter
+    elif hw.PC:
+        cls = CommonFormatter
+    elif hw.Ribbon:
+        cls = RibbonFormatter
+    else:
+        raise NotImplementedError("Unknown formatter for hw '%s'" % hw)
+
+    return cls(**kwargs)

annet/text_term_format.py

@@ -0,0 +1,95 @@
+from itertools import groupby
+from operator import itemgetter
+from typing import Dict, List
+
+from pygments import lex
+from pygments.formatter import Formatter
+from pygments.lexer import RegexLexer
+from pygments.lexers import DiffLexer, YamlLexer  # pylint: disable=no-name-in-module
+from pygments.token import Token
+
+from .output import TextArgs
+
+
+# =====
+Warning = Token.Warning  # pylint: disable=redefined-builtin
+Error = Token.Error
+
+YAML_TERMINAL_COLORS = {
+    Token.Literal.String: "green",
+    Token.Literal.Scalar.Plain: "darkblue",
+    Token.Punctuation.Indicator: "darkblue",
+}
+
+DIFF_TERMINAL_COLORS = {
+    Token.Generic.Inserted: "green",
+    Token.Generic.Deleted: "red",
+    Token.Generic.Heading: "cyan_blue",
+}
+
+SWITCH_OUTPUT_TERMINAL_COLORS = {
+    Warning: "yellow",
+    Error: "red",
+}
+
+
+class SwitchOutputLexer(RegexLexer):
+    name = "SwitchOutputLexer"
+    aliases = ["switch_output_lexer"]
+    tokens = {
+        "root": [
+            (r"[wW]arning.*\n", Warning),
+            (r"Info.*\n", Warning),
+            (r"Error.*\n", Error),
+            (r".*\n", Token.Text),
+        ]
+    }
+
+
+class CursesFormatter(Formatter):
+    def __init__(self, **options):
+        self.colorscheme = options.pop("scheme")
+        Formatter.__init__(self, **options)
+
+    def format(self, tokensource, outfile="") -> Dict[int, List[TextArgs]]:
+        res = {}
+        tokensource = list(tokensource)
+        tmp_res = {}
+        line_no = 0
+        for ttype, values in groupby(tokensource, itemgetter(0)):
+            color = self.colorscheme.get(ttype)
+            for value in values:
+                if line_no not in tmp_res:
+                    tmp_res[line_no] = []
+                if value[1].endswith("\n"):
+                    if len(value[1]) > 1:
+                        tmp_res[line_no].append([color, value[1].rstrip()])
+                    line_no += 1
+                else:
+                    tmp_res[line_no].append([color, value[1]])
+
+        for line_no, color_values in tmp_res.items():
+            res[line_no] = []
+            for color, values in groupby(color_values, itemgetter(0)):
+                str_values = "".join([v[1] for v in values])
+                res[line_no].append(TextArgs(str_values, color))
+        return res
+
+
+def format_yaml(txt):
+    return CursesFormatter(scheme=YAML_TERMINAL_COLORS).format(lex(txt, YamlLexer()))
+
+
+def format_diff(txt):
+    return CursesFormatter(scheme=DIFF_TERMINAL_COLORS).format(lex(txt, DiffLexer()))
+
+
+LEXERS = {
+    "diff": (DiffLexer, DIFF_TERMINAL_COLORS),
+    "yaml": (YamlLexer, YAML_TERMINAL_COLORS),
+    "switch_out": (SwitchOutputLexer, SWITCH_OUTPUT_TERMINAL_COLORS),
+}
+
+
+def curses_format(txt, lexer) -> Dict[int, List[TextArgs]]:
+    return CursesFormatter(scheme=LEXERS[lexer][1]).format(lex(txt, LEXERS[lexer][0]()))