pytinytensor 0.1.3__tar.gz → 0.1.5__tar.gz

{pytinytensor-0.1.3/pytinytensor.egg-info → pytinytensor-0.1.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.3
+Version: 0.1.5
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
@@ -33,6 +33,7 @@ Dynamic: summary
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -59,6 +60,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/README.md

@@ -10,6 +10,7 @@
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -36,6 +37,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.3 → pytinytensor-0.1.5/pytinytensor.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.3
+Version: 0.1.5
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
@@ -33,6 +33,7 @@ Dynamic: summary
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -59,6 +60,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/pytinytensor.egg-info/SOURCES.txt

@@ -33,8 +33,11 @@ tinytensor/nn/dropout.py
 tinytensor/nn/linear.py
 tinytensor/nn/losses.py
 tinytensor/nn/modules.py
+tinytensor/nn/utils.py
 tinytensor/optim/__init__.py
+tinytensor/optim/lr_scheduler.py
 tinytensor/optim/optimizer.py
 tinytensor/utils/__init__.py
 tinytensor/utils/bar.py
-tinytensor/utils/early_stopping.py
+tinytensor/utils/early_stopping.py
+tinytensor/utils/summary.py

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/setup.py

@@ -35,7 +35,6 @@ def find_cuda_lib_dirs():
             found.append(lib_dir)
     return found
 
-
 def check_cuda():
     try:
         subprocess.check_output(["nvcc", "--version"])
@@ -113,7 +112,7 @@ else:
 
 setup(
     name="pytinytensor",
-    version="0.1.3",
+    version="0.1.5",
     description="мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )",
     long_description=long_description,
     long_description_content_type="text/markdown",

pytinytensor-0.1.5/tinytensor/nn/__init__.py

@@ -0,0 +1,14 @@
+from tinytensor.nn.modules import Module, Sequential
+from tinytensor.nn.linear import Linear 
+from tinytensor.nn.activations import ReLU, LeReLU, Sigmod, Tanh, GELU
+from tinytensor.nn.dropout import Dropout
+from tinytensor.nn.losses import MSELoss
+
+__all__ = [
+    "Module",
+    "Sequential",
+    "Linear",
+    "ReLU", "LeReLU", "Sigmod", "Tanh", "GELU",
+    "Dropout",
+    "MSELoss"
+]

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/tinytensor/nn/modules.py

@@ -37,7 +37,7 @@ class Module:
         sdict = {}
         for name, param in self._get_named_params().items():
             sdict[name] = param.data
-        return sdict
+        return sdict           
         
     def load_state_dict(self, sdict):
         #запихиваем обратно
@@ -63,3 +63,34 @@ class Module:
         with open(filepath, "rb") as f:
             sd = pickle.load(f)
             self.load_state_dict(sd)
+        
+
+class Sequential(Module):
+    def __init__(self, *args):
+        super().__init__()
+        self.layers = list(args)
+
+    def parameters(self):
+        params = []
+        for layer in self.layers:
+            params.extend(layer.parameters())
+        return params
+
+    def _get_named_params(self, prefix=""):
+        named = {}
+        for i, layer in enumerate(self.layers):
+            key = f"{prefix}.layers.{i}" if prefix else f"layers.{i}"
+            named.update(layer._get_named_params(prefix=key))
+        return named
+
+    def forward(self, x):
+        # закидываем x по слоям
+        for layer in self.layers:
+            x = layer(x)
+        return x
+
+    def __getitem__(self, idx):
+        return self.layers[idx]
+
+    def __len__(self):
+        return len(self.layers)

pytinytensor-0.1.5/tinytensor/nn/utils.py

@@ -0,0 +1,23 @@
+import numpy as np
+
+def clip_grad_norm_(parameters, max_norm=1.0):
+    if isinstance(parameters, Exception): # тп защита
+        return
+    
+    params = [p for p in parameters if p.grad is not None]
+    if len(params) == 0:
+        return 0.0
+    
+    total_norm_sq = 0.0
+    for p in params:
+        total_norm_sq += np.sum(p.grad ** 2)
+
+    total_norm = np.sqrt(total_norm_sq)
+
+    clip_coef = max_norm / (total_norm + 1e-6)
+
+    if clip_coef < 1.0:
+        for p in params:
+            p.grad *= clip_coef
+
+    return total_norm

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/tinytensor/optim/__init__.py

@@ -1,6 +1,9 @@
 from tinytensor.optim.optimizer import Optimizer, SGD, AdamW
-
-__all__ = ["Optimizer", "SGD", "AdamW"]
+from tinytensor.optim.lr_scheduler import StepLR
+__all__ = [
+    "Optimizer", "SGD", "AdamW",
+    "StepLR"
+]
 
 #эт для удобства
 #чтоб можно было писать вот так:
@@ -8,4 +11,4 @@ __all__ = ["Optimizer", "SGD", "AdamW"]
 from tinytensor.optim import AdamW
 
 optimizer = AdamW(model.parameters(), lr=1e-3)
-"""
+"""

pytinytensor-0.1.5/tinytensor/optim/lr_scheduler.py

@@ -0,0 +1,13 @@
+#уменьшаем lr каждые n эпох чтоб модель обучилась более плавно
+class StepLR:
+    def __init__(self, optimizer, step_size: int, gamma: float = 0.1):
+        self.optimizer = optimizer
+        self.step_size = step_size
+        self.gamma = gamma
+        self.last_epoch = 0
+
+    def step(self):
+        self.last_epoch += 1 
+        if self.last_epoch % self.step_size == 0:
+            # уменьшаем условно в 10 раз
+            self.optimizer.lr *= self.gamma

{pytinytensor-0.1.3 → pytinytensor-0.1.5}/tinytensor/utils/__init__.py

@@ -1,4 +1,5 @@
 from tinytensor.utils.bar import progress_bar, train_bar
 from tinytensor.utils.early_stopping import EarlyStopping
-__all__ = ["progress_bar", "train_bar",
-           "EarlyStopping"]
+from tinytensor.utils.summary import summary
+
+__all__ = ["progress_bar", "train_bar", "EarlyStopping", "summary"]

pytinytensor-0.1.5/tinytensor/utils/summary.py

@@ -0,0 +1,49 @@
+import numpy as np
+from tinytensor.core.tensor import Tensor
+from tinytensor.nn.modules import Module 
+
+def summary(model: Module, input_shape: tuple):
+    # печает инфу о модели
+    print("\n" + "=" * 50)
+    print(f"{'layer (type)':<20} {'output shape':<18} {'param #':<10}")
+    print("-" * 50)
+
+    total_params = 0
+    trainable_params = 0
+
+    dummy_input = Tensor(np.zeros(input_shape), requires_grad=False)
+    x = dummy_input
+
+    layers = []
+    for attr in model.__dict__.values():
+        if isinstance(attr, Module):
+            layers.append(attr)
+        elif isinstance(attr, (list, tuple)):
+            for item in attr:
+                if isinstance(item, Module):
+                    layers.append(item)
+
+    for layer in layers:
+        layer_name = layer.__class__.__name__
+
+        layer_params = 0
+        for p in layer.parameters():
+            num_params = int(np.prod(p.data.shape))
+            layer_params += num_params
+            if p.requires_grad:
+                trainable_params += num_params
+            total_params += num_params
+
+        try:
+            x = layer(x)
+            out_shape = str(tuple(x.data.shape))
+        except Exception as e:
+            out_shape = "Ошибка"
+
+        print(f"{layer_name:<20} {out_shape:<18} {layer_params:<10,}")
+
+    print("-" * 50)
+    print(f"Total params: {total_params:,}")
+    print(f"Trainable params: {trainable_params:,}")
+    print(f"Non-trainable params: {total_params - trainable_params:,}")
+    print("=" * 50 + "\n")