regnets 0.1.0__tar.gz

regnets-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 Ivan Slepovichev
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

regnets-0.1.0/PKG-INFO

@@ -0,0 +1,232 @@
+Metadata-Version: 2.4
+Name: regnets
+Version: 0.1.0
+Summary: Topology and PyTorch models for self-similar modular neural networks
+Author: Ivan Slepovichev
+License-Expression: MIT
+Project-URL: Repository, https://gitverse.ru/gurgutan/self-similar-nets
+Project-URL: Documentation, https://gitverse.ru/gurgutan/self-similar-nets
+Classifier: Development Status :: 3 - Alpha
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
+Requires-Python: >=3.13
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: matplotlib>=3.10.7
+Requires-Dist: networkx>=3.6.1
+Requires-Dist: torch>=2.11.0
+Dynamic: license-file
+
+# Regnets — самоподобные сети
+
+Regnets задаёт топологию модульных нейронных сетей числовыми словами, строит
+перестановки контактов и вычисляет самоподобные сети в PyTorch. Топологию можно
+сохранить в JSON и визуализировать в SVG или PNG.
+
+Построение топологий и чтение JSON используют только стандартную библиотеку
+Python; вычисление выходов выполняет модуль `modular`, статическую визуализацию —
+`topology.viz` через Matplotlib. При установке пакета зависимости PyTorch,
+Matplotlib и NetworkX устанавливаются вместе с ним.
+
+## Установка
+
+Требуется Python 3.13 или новее. После публикации пакета на PyPI:
+
+```bash
+python -m pip install regnets
+```
+
+## Быстрый старт
+
+```python
+from topology.lib import cooley_tukey
+
+topology = cooley_tukey((2, 2, 2))
+permutations = topology.permutations()
+print(len(permutations))  # 4
+```
+
+Основные модули: `topology` — построение и сохранение топологий, `modular` и
+`kernels` — модели и ядра PyTorch, `topology.viz` — визуализация.
+Исходный код и подробная документация доступны в
+[репозитории проекта](https://gitverse.ru/gurgutan/self-similar-nets).
+Лицензия проекта — [MIT](https://gitverse.ru/gurgutan/self-similar-nets/content/master/LICENSE).
+
+## Топология
+
+Теоретические материалы по модульным сетям: [dorogov.su](http://dorogov.su/).
+
+**Основной формат хранения и обмена топологиями — JSON версии 1**:
+числовые слова `words`, размерности входов `p` и выходов `g` каждого слоя,
+свободное имя и признак двойственности. Полное описание полей, пример и правила
+проверки закреплены в [документе дизайна](https://gitverse.ru/gurgutan/self-similar-nets/content/master/DESIGN.md).
+
+```python
+from topology.lib import cooley_tukey, good, haar
+
+p = (2,) * 10  # 1024 входа, десять слоёв
+topology = cooley_tukey(p)
+permutations = topology.permutations()
+
+good_topology = good(p)
+haar_topology = haar(p)
+frequency_topology = cooley_tukey(p, decimation="frequency")
+```
+
+Стандартные функции возвращают объект `Topology` со словами и размерностями
+модулей. Число слоёв определяется длиной `p`. Если `g` не указано, выходная
+размерность каждого модуля равна его входной размерности.
+
+Топологию можно создать вручную:
+
+```python
+from topology import Topology
+
+topology = Topology(
+    [
+        [1, 2, 3],
+        [-1, 2, 3],
+        [-1, -2, 3],
+        [-1, -2, -3],
+    ],
+    p=(2, 2, 2),
+)
+```
+
+Положительное число `i + 1` обозначает `u_i`, отрицательное `-(i + 1)` — `v_i`.
+Первый элемент слова соответствует младшему разряду. Для `n` слоёв задаётся
+`n + 1` слов; выходное поле предыдущего слоя совпадает со входным полем следующего.
+
+Подробные соглашения, примеры индексов и границы поддерживаемых схем описаны
+в [описании модуля топологии](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology.md).
+
+## Сохранение и загрузка топологии
+
+Топологию и размерности модулей можно сохранить в JSON-файл и затем загрузить:
+
+```python
+from topology.io import load_topology, save_topology
+from topology.lib import cooley_tukey
+
+p = (2, 2, 2)
+g = (2, 2, 2)
+topology = cooley_tukey(p, g=g)
+path = save_topology(topology, "topology.json", name="Моя топология")
+loaded = load_topology(path)
+assert loaded.name == "Моя топология"
+assert loaded.topology == topology
+assert (loaded.topology.p, loaded.topology.g) == (p, g)
+permutations = loaded.topology.permutations()
+```
+
+`name` — произвольное имя, которое не влияет на связи. `save_topology`
+записывает JSON версии 1 в UTF-8, перезаписывает существующий файл и
+возвращает путь к нему. `load_topology` проверяет файл и возвращает
+спецификацию с топологией и её метаданными.
+Если передать сохранению эту спецификацию, исходные имя и флаг `dual`
+сохранятся; необязательный `name` позволяет заменить имя. При сохранении
+самого `Topology` записывается его текущее состояние с `dual: false`.
+Файл не содержит весов нейронной сети.
+
+## Модель PyTorch
+
+```python
+from modular import ModularNet, Layer
+from kernels import MLP
+from topology.lib import cooley_tukey
+
+net = ModularNet(
+    cooley_tukey((2,) * 8),
+    layers=Layer(kernel=MLP(hidden=(64, 32)), shared=False, residual=True, in_size=16),
+    device="cpu",
+)
+# net(x): [..., 256, 16] → [..., 256, 16]
+```
+
+`shared=True` разделяет параметры между позициями внутри слоя;
+`shared=False` хранит независимые параметры упакованными тензорами.
+Вычисления всех позиций выполняются пакетно. Параметры разных слоёв независимы.
+Для скалярных контактов пропустите `in_size`; для разных слоёв передайте список `Layer`.
+Описание блоков, остаточных связей и сохранения: [вычислительная модель](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/modular-nn.md).
+
+Исполняемый пример одного синтетического шага обучения на CPU из клонированного
+репозитория (после `uv sync`):
+
+```bash
+CUDA_VISIBLE_DEVICES='' uv run python examples/modular_cpu.py
+```
+
+## SVG и PNG из JSON
+
+```python
+from topology.viz import render_topology
+
+render_topology("topology.json")  # создаёт topology.svg рядом с JSON
+render_topology("topology.json", "network.png", mode="modules")
+```
+
+Отдельная утилита командной строки из клонированного репозитория:
+
+```bash
+uv run python tools/render_topology.py examples/topology.json -o build/topology.svg
+uv run python tools/render_topology.py examples/topology.json -m modules -o build/modules.png
+```
+
+По умолчанию рисуются контакты; `-m modules` выбирает модули.
+Формат выбирается расширением `.svg` или `.png`, `--dpi` задаёт разрешение PNG.
+Web App и экспорт используют одно построение графа; браузер для экспорта не нужен.
+Подробности: [модуль визуализации и CLI](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology-viz.md).
+
+## Web UI
+
+[Открыть визуализатор на GitVerse Pages](https://gurgutan.gitverse.site/self-similar-nets/).
+
+Браузерная версия для GitVerse Pages работает без Python-сервера; исходники
+находятся в `apps/topology_pages`. Она сохраняет стандартные и ручные топологии,
+оба представления графа, инспектор, поиск, диапазон слоёв и обмен JSON/PNG.
+
+```bash
+npm ci
+npm test
+npm run build
+python3 -m http.server 8051 --bind 127.0.0.1 --directory build/pages
+```
+
+Сборка включает фиксированную версию Cytoscape из npm, общий CSS и базовые
+стили графа из приложения Dash. Обращения к внешнему CDN не нужны.
+Для сборки нужен Python 3.12+ со стандартной библиотекой; зависимости Dash
+и PyTorch не устанавливаются. Проверки `npm test` сравнивают браузерные
+графы с Python для 112 сочетаний схем, размерностей и диапазонов,
+включая двойственные модели.
+Инструкция публикации: [GitVerse Pages](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/gitverse-pages.md).
+
+Отдельное приложение на Dash и Dash Cytoscape находится в
+`apps/topology_explorer`. Запуск из корня проекта:
+
+```bash
+uv run --group ui python -m apps.topology_explorer
+```
+
+Откройте <http://127.0.0.1:8050>. По умолчанию показаны все контакты и связи
+сети на 16 входов. Кнопки `16`, `64` и `256` строят соответствующие сети целиком.
+Можно выбрать стандартную схему, изменить размерности ядер, задать собственные
+слова, включить двойственную модель, перейти к контакту по номеру,
+переключиться на модули, сохранить JSON
+или рисунок PNG. Настройки каждого сеанса хранятся в его странице браузера.
+
+Порядок работы, формат файлов и ограничения описаны в
+[руководстве визуализатора](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology-explorer.md).
+
+## Разработка и проверки
+
+Исходники находятся в `src`, топологии собраны в пакет `src/topology`.
+После клонирования репозитория создайте окружение командой `uv sync`.
+Проверки выполняются из корня проекта:
+
+```bash
+uv run --group ui python -m pytest -q
+uv run --group ui python -m ruff check src apps tests tools examples --extend-select I
+uv run --group ui python -m ruff format --check src apps tests tools examples
+uv run --group ui python -m pyright src apps tests tools examples
+```

regnets-0.1.0/README.md

@@ -0,0 +1,212 @@
+# Regnets — самоподобные сети
+
+Regnets задаёт топологию модульных нейронных сетей числовыми словами, строит
+перестановки контактов и вычисляет самоподобные сети в PyTorch. Топологию можно
+сохранить в JSON и визуализировать в SVG или PNG.
+
+Построение топологий и чтение JSON используют только стандартную библиотеку
+Python; вычисление выходов выполняет модуль `modular`, статическую визуализацию —
+`topology.viz` через Matplotlib. При установке пакета зависимости PyTorch,
+Matplotlib и NetworkX устанавливаются вместе с ним.
+
+## Установка
+
+Требуется Python 3.13 или новее. После публикации пакета на PyPI:
+
+```bash
+python -m pip install regnets
+```
+
+## Быстрый старт
+
+```python
+from topology.lib import cooley_tukey
+
+topology = cooley_tukey((2, 2, 2))
+permutations = topology.permutations()
+print(len(permutations))  # 4
+```
+
+Основные модули: `topology` — построение и сохранение топологий, `modular` и
+`kernels` — модели и ядра PyTorch, `topology.viz` — визуализация.
+Исходный код и подробная документация доступны в
+[репозитории проекта](https://gitverse.ru/gurgutan/self-similar-nets).
+Лицензия проекта — [MIT](https://gitverse.ru/gurgutan/self-similar-nets/content/master/LICENSE).
+
+## Топология
+
+Теоретические материалы по модульным сетям: [dorogov.su](http://dorogov.su/).
+
+**Основной формат хранения и обмена топологиями — JSON версии 1**:
+числовые слова `words`, размерности входов `p` и выходов `g` каждого слоя,
+свободное имя и признак двойственности. Полное описание полей, пример и правила
+проверки закреплены в [документе дизайна](https://gitverse.ru/gurgutan/self-similar-nets/content/master/DESIGN.md).
+
+```python
+from topology.lib import cooley_tukey, good, haar
+
+p = (2,) * 10  # 1024 входа, десять слоёв
+topology = cooley_tukey(p)
+permutations = topology.permutations()
+
+good_topology = good(p)
+haar_topology = haar(p)
+frequency_topology = cooley_tukey(p, decimation="frequency")
+```
+
+Стандартные функции возвращают объект `Topology` со словами и размерностями
+модулей. Число слоёв определяется длиной `p`. Если `g` не указано, выходная
+размерность каждого модуля равна его входной размерности.
+
+Топологию можно создать вручную:
+
+```python
+from topology import Topology
+
+topology = Topology(
+    [
+        [1, 2, 3],
+        [-1, 2, 3],
+        [-1, -2, 3],
+        [-1, -2, -3],
+    ],
+    p=(2, 2, 2),
+)
+```
+
+Положительное число `i + 1` обозначает `u_i`, отрицательное `-(i + 1)` — `v_i`.
+Первый элемент слова соответствует младшему разряду. Для `n` слоёв задаётся
+`n + 1` слов; выходное поле предыдущего слоя совпадает со входным полем следующего.
+
+Подробные соглашения, примеры индексов и границы поддерживаемых схем описаны
+в [описании модуля топологии](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology.md).
+
+## Сохранение и загрузка топологии
+
+Топологию и размерности модулей можно сохранить в JSON-файл и затем загрузить:
+
+```python
+from topology.io import load_topology, save_topology
+from topology.lib import cooley_tukey
+
+p = (2, 2, 2)
+g = (2, 2, 2)
+topology = cooley_tukey(p, g=g)
+path = save_topology(topology, "topology.json", name="Моя топология")
+loaded = load_topology(path)
+assert loaded.name == "Моя топология"
+assert loaded.topology == topology
+assert (loaded.topology.p, loaded.topology.g) == (p, g)
+permutations = loaded.topology.permutations()
+```
+
+`name` — произвольное имя, которое не влияет на связи. `save_topology`
+записывает JSON версии 1 в UTF-8, перезаписывает существующий файл и
+возвращает путь к нему. `load_topology` проверяет файл и возвращает
+спецификацию с топологией и её метаданными.
+Если передать сохранению эту спецификацию, исходные имя и флаг `dual`
+сохранятся; необязательный `name` позволяет заменить имя. При сохранении
+самого `Topology` записывается его текущее состояние с `dual: false`.
+Файл не содержит весов нейронной сети.
+
+## Модель PyTorch
+
+```python
+from modular import ModularNet, Layer
+from kernels import MLP
+from topology.lib import cooley_tukey
+
+net = ModularNet(
+    cooley_tukey((2,) * 8),
+    layers=Layer(kernel=MLP(hidden=(64, 32)), shared=False, residual=True, in_size=16),
+    device="cpu",
+)
+# net(x): [..., 256, 16] → [..., 256, 16]
+```
+
+`shared=True` разделяет параметры между позициями внутри слоя;
+`shared=False` хранит независимые параметры упакованными тензорами.
+Вычисления всех позиций выполняются пакетно. Параметры разных слоёв независимы.
+Для скалярных контактов пропустите `in_size`; для разных слоёв передайте список `Layer`.
+Описание блоков, остаточных связей и сохранения: [вычислительная модель](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/modular-nn.md).
+
+Исполняемый пример одного синтетического шага обучения на CPU из клонированного
+репозитория (после `uv sync`):
+
+```bash
+CUDA_VISIBLE_DEVICES='' uv run python examples/modular_cpu.py
+```
+
+## SVG и PNG из JSON
+
+```python
+from topology.viz import render_topology
+
+render_topology("topology.json")  # создаёт topology.svg рядом с JSON
+render_topology("topology.json", "network.png", mode="modules")
+```
+
+Отдельная утилита командной строки из клонированного репозитория:
+
+```bash
+uv run python tools/render_topology.py examples/topology.json -o build/topology.svg
+uv run python tools/render_topology.py examples/topology.json -m modules -o build/modules.png
+```
+
+По умолчанию рисуются контакты; `-m modules` выбирает модули.
+Формат выбирается расширением `.svg` или `.png`, `--dpi` задаёт разрешение PNG.
+Web App и экспорт используют одно построение графа; браузер для экспорта не нужен.
+Подробности: [модуль визуализации и CLI](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology-viz.md).
+
+## Web UI
+
+[Открыть визуализатор на GitVerse Pages](https://gurgutan.gitverse.site/self-similar-nets/).
+
+Браузерная версия для GitVerse Pages работает без Python-сервера; исходники
+находятся в `apps/topology_pages`. Она сохраняет стандартные и ручные топологии,
+оба представления графа, инспектор, поиск, диапазон слоёв и обмен JSON/PNG.
+
+```bash
+npm ci
+npm test
+npm run build
+python3 -m http.server 8051 --bind 127.0.0.1 --directory build/pages
+```
+
+Сборка включает фиксированную версию Cytoscape из npm, общий CSS и базовые
+стили графа из приложения Dash. Обращения к внешнему CDN не нужны.
+Для сборки нужен Python 3.12+ со стандартной библиотекой; зависимости Dash
+и PyTorch не устанавливаются. Проверки `npm test` сравнивают браузерные
+графы с Python для 112 сочетаний схем, размерностей и диапазонов,
+включая двойственные модели.
+Инструкция публикации: [GitVerse Pages](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/gitverse-pages.md).
+
+Отдельное приложение на Dash и Dash Cytoscape находится в
+`apps/topology_explorer`. Запуск из корня проекта:
+
+```bash
+uv run --group ui python -m apps.topology_explorer
+```
+
+Откройте <http://127.0.0.1:8050>. По умолчанию показаны все контакты и связи
+сети на 16 входов. Кнопки `16`, `64` и `256` строят соответствующие сети целиком.
+Можно выбрать стандартную схему, изменить размерности ядер, задать собственные
+слова, включить двойственную модель, перейти к контакту по номеру,
+переключиться на модули, сохранить JSON
+или рисунок PNG. Настройки каждого сеанса хранятся в его странице браузера.
+
+Порядок работы, формат файлов и ограничения описаны в
+[руководстве визуализатора](https://gitverse.ru/gurgutan/self-similar-nets/content/master/docs/topology-explorer.md).
+
+## Разработка и проверки
+
+Исходники находятся в `src`, топологии собраны в пакет `src/topology`.
+После клонирования репозитория создайте окружение командой `uv sync`.
+Проверки выполняются из корня проекта:
+
+```bash
+uv run --group ui python -m pytest -q
+uv run --group ui python -m ruff check src apps tests tools examples --extend-select I
+uv run --group ui python -m ruff format --check src apps tests tools examples
+uv run --group ui python -m pyright src apps tests tools examples
+```

regnets-0.1.0/pyproject.toml

@@ -0,0 +1,51 @@
+[build-system]
+requires = ["setuptools>=77"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "regnets"
+version = "0.1.0"
+description = "Topology and PyTorch models for self-similar modular neural networks"
+readme = "README.md"
+requires-python = ">=3.13"
+license = "MIT"
+license-files = ["LICENSE"]
+authors = [{ name = "Ivan Slepovichev" }]
+classifiers = [
+    "Development Status :: 3 - Alpha",
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3.13",
+    "Topic :: Scientific/Engineering :: Artificial Intelligence",
+]
+dependencies = [
+    "matplotlib>=3.10.7",
+    "networkx>=3.6.1",
+    "torch>=2.11.0",
+]
+
+[project.urls]
+Repository = "https://gitverse.ru/gurgutan/self-similar-nets"
+Documentation = "https://gitverse.ru/gurgutan/self-similar-nets"
+
+[dependency-groups]
+dev = [
+    "ipykernel>=7.2.0",
+    "ipywidgets>=8.1.8",
+    "pyright>=1.1.408",
+    "pytest>=9.0.2",
+    "ruff>=0.15.8",
+]
+ui = [
+    "dash>=4.4.1",
+    "dash-cytoscape>=1.0.2",
+]
+
+[tool.pyright]
+pythonVersion = "3.13"
+venvPath = "."
+venv = ".venv"
+
+[tool.setuptools]
+package-dir = {"" = "src"}
+packages = ["topology"]
+py-modules = ["modular", "kernels", "_kernel_ops"]

regnets-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

regnets-0.1.0/src/_kernel_ops.py

@@ -0,0 +1,144 @@
+"""Packed tensor operations used by neural kernel descriptions."""
+
+from dataclasses import dataclass
+from math import isfinite
+
+import torch
+from torch import Tensor, nn
+from torch.nn import functional as F
+
+
+def positive_int(value: int, name: str) -> None:
+    """Отклонить размерности, смысл которых изменился бы при приведении типа."""
+    if type(value) is not int or value < 1:
+        raise ValueError(f"{name} must be a positive integer.")
+
+
+def boolean(value: bool, name: str) -> None:
+    """Требовать явно заданное логическое значение."""
+    if type(value) is not bool:
+        raise ValueError(f"{name} must be a boolean.")
+
+
+def positive_real(value: float, name: str) -> None:
+    """Проверить, что числовой параметр конечен и положителен."""
+    if type(value) not in (int, float) or not isfinite(value) or value <= 0:
+        raise ValueError(f"{name} must be positive and finite.")
+
+
+@dataclass(frozen=True)
+class KernelShape:
+    """Размерности и правила работы с параметрами для метода build ядра."""
+
+    in_features: int
+    out_features: int
+    positions: int
+    shared: bool
+    device: torch.device | str | None = None
+    dtype: torch.dtype | None = None
+
+    def __post_init__(self) -> None:
+        for name in ("in_features", "out_features", "positions"):
+            positive_int(getattr(self, name), name)
+        boolean(self.shared, "shared")
+
+
+class PackedLinear(nn.Module):
+    """Применить одно аффинное преобразование параллельно ко всем позициям модулей."""
+
+    def __init__(self, shape: KernelShape, bias: bool = True) -> None:
+        super().__init__()
+        self.in_features = shape.in_features
+        self.out_features = shape.out_features
+        self.positions = shape.positions
+        self.shared = shape.shared
+        prefix = () if shape.shared else (shape.positions,)
+        self.weight = nn.Parameter(
+            torch.empty(
+                (*prefix, shape.out_features, shape.in_features),
+                device=shape.device,
+                dtype=shape.dtype,
+            )
+        )
+        self.bias = (
+            nn.Parameter(
+                torch.empty(
+                    (*prefix, shape.out_features),
+                    device=shape.device,
+                    dtype=shape.dtype,
+                )
+            )
+            if bias
+            else None
+        )
+        self.reset_parameters()
+
+    def reset_parameters(self) -> None:
+        """Инициализировать параметры по локальному числу входов независимо от числа позиций."""
+        bound = self.in_features**-0.5
+        nn.init.uniform_(self.weight, -bound, bound)
+        if self.bias is not None:
+            nn.init.uniform_(self.bias, -bound, bound)
+
+    def forward(self, x: Tensor) -> Tensor:
+        """Преобразовать [..., positions, in_features] без цикла по позициям."""
+        if self.shared:
+            return F.linear(x, self.weight, self.bias)
+        batch_shape = x.shape[:-2]
+        matrices = x.reshape(-1, self.positions, self.in_features).transpose(0, 1)
+        y = torch.bmm(matrices, self.weight.transpose(1, 2)).transpose(0, 1)
+        y = y.reshape(*batch_shape, self.positions, self.out_features)
+        return y if self.bias is None else y + self.bias
+
+    def extra_repr(self) -> str:
+        return (
+            f"in_features={self.in_features}, out_features={self.out_features}, "
+            f"positions={self.positions}, shared={self.shared}, bias={self.bias is not None}"
+        )
+
+
+class PackedNorm(nn.Module):
+    """Нормализовать локальные признаки независимо для позиций и элементов пакета."""
+
+    def __init__(
+        self, shape: KernelShape, *, rms: bool, eps: float, affine: bool, bias: bool
+    ) -> None:
+        super().__init__()
+        self.features = shape.in_features
+        self.rms = rms
+        self.eps = eps
+        dimensions = (
+            (shape.in_features,)
+            if shape.shared
+            else (shape.positions, shape.in_features)
+        )
+        self.weight = (
+            nn.Parameter(torch.ones(dimensions, device=shape.device, dtype=shape.dtype))
+            if affine
+            else None
+        )
+        self.bias = (
+            nn.Parameter(
+                torch.zeros(dimensions, device=shape.device, dtype=shape.dtype)
+            )
+            if affine and bias
+            else None
+        )
+
+    def forward(self, x: Tensor) -> Tensor:
+        """Сохранить тип активации, если параметры имеют большую точность."""
+        if self.rms:
+            y = F.rms_norm(x, (self.features,), eps=self.eps)
+        else:
+            y = F.layer_norm(x, (self.features,), eps=self.eps)
+        if self.weight is not None:
+            y = y * self.weight.to(dtype=y.dtype)
+        if self.bias is not None:
+            y = y + self.bias.to(dtype=y.dtype)
+        return y
+
+    def extra_repr(self) -> str:
+        return (
+            f"features={self.features}, rms={self.rms}, eps={self.eps}, "
+            f"affine={self.weight is not None}, bias={self.bias is not None}"
+        )