pytinytensor 0.1.2__tar.gz → 0.1.4__tar.gz

{pytinytensor-0.1.2/pytinytensor.egg-info → pytinytensor-0.1.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.2
+Version: 0.1.4
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
@@ -33,6 +33,7 @@ Dynamic: summary
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -59,6 +60,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.2 → pytinytensor-0.1.4}/README.md

@@ -10,6 +10,7 @@
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -36,6 +37,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.2 → pytinytensor-0.1.4/pytinytensor.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.2
+Version: 0.1.4
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
@@ -33,6 +33,7 @@ Dynamic: summary
 ## Содержание
 
 - [Установка](#установка)
+- [Документация](#документация)
 - [Быстрый старт](#быстрый-старт)
 - [Как работает autograd](#как-работает-autograd)
 - [API](#api)
@@ -59,6 +60,20 @@ pip install -r requirements.txt
 
 Зависимость одна - numpy.
 
+## Документация
+
+Все подробности разложены по [`docs/`](docs/), README тут больше как входная дверь:
+
+- [docs/getting_started.md](docs/getting_started.md) - установка, quickstart
+- [docs/tensor_and_autograd.md](docs/tensor_and_autograd.md) - как устроен Tensor и backward
+- [docs/nn.md](docs/nn.md) - Module, Linear, активации, Dropout, MSELoss
+- [docs/optim.md](docs/optim.md) - SGD, AdamW
+- [docs/data.md](docs/data.md) - Dataset, DataLoader
+- [docs/utils.md](docs/utils.md) - progress_bar, EarlyStopping
+- [docs/model_saving.md](docs/model_saving.md) - save/load модели
+- [docs/cuda.md](docs/cuda.md) - опциональный cuda-бэкенд
+- [docs/faq.md](docs/faq.md) - грабли, на которые уже наступили
+
 ## Быстрый старт
 
 ```python

{pytinytensor-0.1.2 → pytinytensor-0.1.4}/pytinytensor.egg-info/SOURCES.txt

@@ -15,7 +15,6 @@ tests/test_optim.py
 tests/test_tensor_math.py
 tinytensor/__init__.py
 tinytensor/config.py
-tinytensor/setup.py
 tinytensor/backends/__init__.py
 tinytensor/backends/cpu_numpy.py
 tinytensor/backends/cuda_binding.cpp
@@ -30,32 +29,13 @@ tinytensor/data/dataloader.py
 tinytensor/data/dataset.py
 tinytensor/nn/__init__.py
 tinytensor/nn/activations.py
+tinytensor/nn/dropout.py
 tinytensor/nn/linear.py
 tinytensor/nn/losses.py
 tinytensor/nn/modules.py
 tinytensor/optim/__init__.py
 tinytensor/optim/optimizer.py
-tinytensor/tinytensor/__init__.py
-tinytensor/tinytensor/config.py
-tinytensor/tinytensor/backends/__init__.py
-tinytensor/tinytensor/backends/cpu_numpy.py
-tinytensor/tinytensor/core/__init__.py
-tinytensor/tinytensor/core/autograd.py
-tinytensor/tinytensor/core/ops.py
-tinytensor/tinytensor/core/tensor.py
-tinytensor/tinytensor/data/__init__.py
-tinytensor/tinytensor/data/dataloader.py
-tinytensor/tinytensor/data/dataset.py
-tinytensor/tinytensor/nn/__init__.py
-tinytensor/tinytensor/nn/activations.py
-tinytensor/tinytensor/nn/linear.py
-tinytensor/tinytensor/nn/losses.py
-tinytensor/tinytensor/nn/modules.py
-tinytensor/tinytensor/optim/__init__.py
-tinytensor/tinytensor/optim/optimizer.py
-tinytensor/tinytensor/utils/__init__.py
-tinytensor/tinytensor/utils/bar.py
-tinytensor/tinytensor/utils/early_stopping.py
 tinytensor/utils/__init__.py
 tinytensor/utils/bar.py
-tinytensor/utils/early_stopping.py
+tinytensor/utils/early_stopping.py
+tinytensor/utils/summary.py

{pytinytensor-0.1.2 → pytinytensor-0.1.4}/setup.py

@@ -113,7 +113,7 @@ else:
 
 setup(
     name="pytinytensor",
-    version="0.1.2",
+    version="0.1.4",
     description="мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )",
     long_description=long_description,
     long_description_content_type="text/markdown",

{pytinytensor-0.1.2/tinytensor → pytinytensor-0.1.4}/tinytensor/nn/activations.py

@@ -7,6 +7,7 @@ class ReLU(Module):
 class LeReLU(Module):
     # у нас есть тут альфа
     def __init__(self, alpha=0.01):
+        super().__init__()
         self.alpha = alpha
     
     def forward(self, x):

pytinytensor-0.1.4/tinytensor/nn/dropout.py

@@ -0,0 +1,23 @@
+#функция дропаута это короче нужно чтоб вырубать нейроны во время обучения чтоб остальные нейроны обучились хорошо тоже
+
+import numpy as np
+from tinytensor.nn.modules import Module
+from tinytensor.core.tensor import Tensor
+
+class Dropout(Module):
+    def __init__(self, p=0.5):
+        super().__init__()
+        # p это вероятност типа 0.5 это половина нейронов вырубается
+        self.p = p
+
+    def forward(self, x):
+        # если не обучаемся то скип
+        if not self.training or self.p == 0:
+            return x
+        mask_data = (np.random.rand(*x.data.shape) > self.p) / (1.0 - self.p)
+        
+        #маску в тензор превращаем
+        mask = Tensor(mask_data, requires_grad=False)
+
+        #тк маска состоит из 0 и 1 умножение как раз некоторые нейроны вырубит
+        return x * mask

{pytinytensor-0.1.2/tinytensor → pytinytensor-0.1.4}/tinytensor/nn/modules.py

@@ -1,6 +1,5 @@
 from tinytensor.core.tensor import Tensor
 import pickle
-
 #кароч модуль от которого будут наследоваться все слои
 class Module:
     def __init__(self):
@@ -8,27 +7,31 @@ class Module:
     
     def __call__(self, *args, **kwargs):
         return self.forward(*args, **kwargs)
-
     #щас это просто заглушка для прямого вызова, а в реале у всех должны быть свои реализации forward, так что это роль не играет
     def forward(self, *args, **kwargs):
         raise NotImplementedError(...)
-
     # сохраняет обучаемые веса, и если в модуле есть еще какие то модули то он их тоже открывает 
     def parameters(self):
         params = []
         for atr in self.__dict__.values():
             if isinstance(atr, Tensor) and atr.requires_grad == True:
                 params.append(atr)
-
             elif isinstance(atr, Module):
                 params.extend(atr.parameters())
         return params
-
     #обнуляет градиенты
     def zero_grad(self):
         for atr in self.parameters():
             atr.grad = None
         
+    def train(self, mode=True):
+        self.training = mode
+        for atr in self.__dict__.values():
+            if isinstance(atr, Module):
+                atr.train(mode)
+        return self
+    def eval(self):
+        return self.train(False)
     def state_dict(self):
         #вытащим все веса параметров
         sdict = {}
@@ -41,7 +44,6 @@ class Module:
         for name, param in self._get_named_params().items():
             if name in sdict:
                 param.data = sdict[name] 
-
     def _get_named_params(self, prefix=""):
         named = {}
         for attr_name, attr in self.__dict__.items():
@@ -56,7 +58,6 @@ class Module:
     def save(self,filepath):
         with open(filepath, "wb") as f:
             pickle.dump(self.state_dict(), f)
-
     # загрузка весов обратно
     def load(self, filepath):
         with open(filepath, "rb") as f:

{pytinytensor-0.1.2/tinytensor → pytinytensor-0.1.4}/tinytensor/optim/optimizer.py

@@ -17,27 +17,30 @@ class Optimizer:
 # SGD 
 # w = w - lr*dw
 class SGD(Optimizer):
-    def __init__(self, parameters, lr = 0.01, momentum = 0.0):
+    def __init__(self, parameters, lr = 0.01, momentum = 0.0, weight_decay = 0.0):
         super().__init__(parameters)
         self.lr = lr
         self.momentum = momentum
+        self.weight_decay = weight_decay
         # буфера
         self.velocities = [np.zeros_like(p.data) for p in self.parameters] if momentum > 0 else None
 
     def step(self):
-        for i,p in enumerate(self.parameters):
+        for i, p in enumerate(self.parameters):
             if p.grad is None:
                 continue
-            grad = p.grad
+            grad = p.grad  
+            if self.weight_decay != 0:
+                grad = grad + self.weight_decay * p.data
 
-            if self.momentum>0:
+            if self.momentum > 0:
                 self.velocities[i] = self.momentum * self.velocities[i] + grad
                 grad = self.velocities[i]
+
             # шаг
             p.data -= self.lr * grad
 
 
-
 #Adamw
 # слишком много формул мне впадлу писать
 class AdamW(Optimizer):
@@ -69,4 +72,8 @@ class AdamW(Optimizer):
             v_hat = self.v[i] / (1.0 - self.beta2 ** self.t)
             # адапт шаг и разделение затухания весов
             denom = np.sqrt(v_hat) + self.eps
-            p.data -= self.lr * (m_hat / denom + self.weight_decay * p.data)
+            
+            if self.weight_decay != 0:
+                p.data -= self.lr * self.weight_decay * p.data
+
+            p.data -= self.lr * (m_hat / denom)

{pytinytensor-0.1.2/tinytensor → pytinytensor-0.1.4}/tinytensor/utils/__init__.py

@@ -1,4 +1,5 @@
 from tinytensor.utils.bar import progress_bar, train_bar
 from tinytensor.utils.early_stopping import EarlyStopping
-__all__ = ["progress_bar", "train_bar",
-           "EarlyStopping"]
+from tinytensor.utils.summary import summary
+
+__all__ = ["progress_bar", "train_bar", "EarlyStopping", "summary"]

pytinytensor-0.1.4/tinytensor/utils/summary.py

@@ -0,0 +1,49 @@
+import numpy as np
+from tinytensor.core.tensor import Tensor
+from tinytensor.nn.modules import Module 
+
+def summary(model: Module, input_shape: tuple):
+    # печает инфу о модели
+    print("\n" + "=" * 50)
+    print(f"{'layer (type)':<20} {'output shape':<18} {'param #':<10}")
+    print("-" * 50)
+
+    total_params = 0
+    trainable_params = 0
+
+    dummy_input = Tensor(np.zeros(input_shape), requires_grad=False)
+    x = dummy_input
+
+    layers = []
+    for attr in model.__dict__.values():
+        if isinstance(attr, Module):
+            layers.append(attr)
+        elif isinstance(attr, (list, tuple)):
+            for item in attr:
+                if isinstance(item, Module):
+                    layers.append(item)
+
+    for layer in layers:
+        layer_name = layer.__class__.__name__
+
+        layer_params = 0
+        for p in layer.parameters():
+            num_params = int(np.prod(p.data.shape))
+            layer_params += num_params
+            if p.requires_grad:
+                trainable_params += num_params
+            total_params += num_params
+
+        try:
+            x = layer(x)
+            out_shape = str(tuple(x.data.shape))
+        except Exception as e:
+            out_shape = "Ошибка"
+
+        print(f"{layer_name:<20} {out_shape:<18} {layer_params:<10,}")
+
+    print("-" * 50)
+    print(f"Total params: {total_params:,}")
+    print(f"Trainable params: {trainable_params:,}")
+    print(f"Non-trainable params: {total_params - trainable_params:,}")
+    print("=" * 50 + "\n")

pytinytensor-0.1.2/tinytensor/nn/activations.py

@@ -1,36 +0,0 @@
-from tinytensor.nn.modules import Module
-
-class ReLU(Module):
-    def forward(self, x):
-        return x.relu()
-
-class LeReLU(Module):
-    # у нас есть тут альфа
-    def __init__(self, alpha=0.01):
-        self.alpha = alpha
-    
-    def forward(self, x):
-        return x.leaky_relu(alpha=self.alpha)
-    
-class Sigmod(Module):
-    def forward(self, x):
-        return x.sigmoid()
-    
-class Tanh(Module):
-    def forward(self, x):
-        return x.tanh()
-    
-class GELU(Module):
-    def forward(self, x):
-        return x.gelu()
-
-
-
-
-# ToDo:
-# ReLU       [x]
-# LeReLU     [x]
-# Sigmoid    [x]
-# Tanh       [x]
-# GELU       [x]
-# kama soska

pytinytensor-0.1.2/tinytensor/nn/modules.py

@@ -1,63 +0,0 @@
-from tinytensor.core.tensor import Tensor
-import pickle
-
-#кароч модуль от которого будут наследоваться все слои
-class Module:
-    def __init__(self):
-        self.training = True
-    
-    def __call__(self, *args, **kwargs):
-        return self.forward(*args, **kwargs)
-
-    #щас это просто заглушка для прямого вызова, а в реале у всех должны быть свои реализации forward, так что это роль не играет
-    def forward(self, *args, **kwargs):
-        raise NotImplementedError(...)
-
-    # сохраняет обучаемые веса, и если в модуле есть еще какие то модули то он их тоже открывает 
-    def parameters(self):
-        params = []
-        for atr in self.__dict__.values():
-            if isinstance(atr, Tensor) and atr.requires_grad == True:
-                params.append(atr)
-
-            elif isinstance(atr, Module):
-                params.extend(atr.parameters())
-        return params
-
-    #обнуляет градиенты
-    def zero_grad(self):
-        for atr in self.parameters():
-            atr.grad = None
-        
-    def state_dict(self):
-        #вытащим все веса параметров
-        sdict = {}
-        for name, param in self._get_named_params().items():
-            sdict[name] = param.data
-        
-    def load_state_dict(self, sdict):
-        #запихиваем обратно
-        for name, param in self._get_named_params().items():
-            if name in sdict:
-                param.data = sdict[name] 
-
-    def _get_named_params(self, prefix=""):
-        named = {}
-        for attr_name, attr in self.__dict__.items():
-            key = f"{prefix}.{attr_name}" if prefix else attr_name
-            if isinstance(attr, Tensor):
-                named[key] = attr
-            elif isinstance(attr, Module):
-                named.update(attr._get_named_params(prefix=key))
-        return named 
-    
-    #сохранение модели
-    def save(self,filepath):
-        with open(filepath, "wb") as f:
-            pickle.dump(self.state_dict(), f)
-
-    # загрузка весов обратно
-    def load(self, filepath):
-        with open(filepath, "wb") as f:
-            sd = pickle.load(f)
-            self.load_state_dict(sd)

pytinytensor-0.1.2/tinytensor/optim/optimizer.py

@@ -1,72 +0,0 @@
-# я допил свой чай, теперь хочу еще но мне лень вставать
-import numpy as np
-
-class Optimizer:
-    def __init__ (self, parameters):
-        # в лист если через генератор model параметры выдано
-        self.parameters = list(parameters)
-
-    def step(self):
-        #у каждого свой
-        raise NotImplementedError
-
-    def zero_grad(self):
-        for p in self.parameters:
-            p.grad = None
-
-# SGD 
-# w = w - lr*dw
-class SGD(Optimizer):
-    def __init__(self, parameters, lr = 0.01, momentum = 0.0):
-        super().__init__(parameters)
-        self.lr = lr
-        self.momentum = momentum
-        # буфера
-        self.velocities = [np.zeros_like(p.data) for p in self.parameters] if momentum > 0 else None
-
-    def step(self):
-        for i,p in enumerate(self.parameters):
-            if p.grad is None:
-                continue
-            grad = p.grad
-
-            if self.momentum>0:
-                self.velocities[i] = self.momentum * self.velocities[i] + grad
-                grad = self.velocities[i]
-            # шаг
-            p.data -= self.lr * grad
-
-
-
-#Adamw
-# слишком много формул мне впадлу писать
-class AdamW(Optimizer):
-    def __init__(self, parameters, lr=0.001, betas=(0.9, 0.999), eps=1e-8, weight_decay=0.01):
-        super().__init__(parameters)
-        self.lr = lr
-        self.beta1, self.beta2 = betas
-        self.eps = eps
-        self.weight_decay = weight_decay
-        
-        self.t = 0
-
-        self.m = [np.zeros_like(p.data) for p in self.parameters]
-        self.v = [np.zeros_like(p.data) for p in self.parameters]
-    
-    def step(self):
-        self.t += 1
-
-        for i, p in enumerate(self.parameters):
-            if p.grad is None:
-                continue
-
-            grad = p.grad
-            # обновка m и v мометы
-            self.m[i] = self.beta1 * self.m[i] + (1.0 - self.beta1) * grad
-            self.v[i] = self.beta2 * self.v[i] + (1.0 - self.beta2) * (grad ** 2)
-            # корекция баяса
-            m_hat = self.m[i] / (1.0 - self.beta1 ** self.t)
-            v_hat = self.v[i] / (1.0 - self.beta2 ** self.t)
-            # адапт шаг и разделение затухания весов
-            denom = np.sqrt(v_hat) + self.eps
-            p.data -= self.lr * (m_hat / denom + self.weight_decay * p.data)

pytinytensor-0.1.2/tinytensor/setup.py

@@ -1,81 +0,0 @@
-import os
-import subprocess
-import pybind11
-from setuptools import setup, find_packages, Extension
-from setuptools.command.build_ext import build_ext
-
-def check_cuda():
-    try:
-        subprocess.check_output(["nvcc", "--version"])
-        return True
-    except (FileNotFoundError, subprocess.CalledProcessError):
-        return False
-
-class CUDABuildExt(build_ext):
-    def build_extensions(self):
-        self.compiler.src_extensions.append('.cu')
-        original_compile = self.compiler._compile
-
-        def custom_compile(obj, src, ext, cc_args, extra_postargs, pp_opts):
-            # extra_postargs может приходить как список или словарь — обрабатываем оба случая
-            if isinstance(extra_postargs, dict):
-                gcc_postargs = extra_postargs.get('gcc', [])
-                nvcc_postargs = extra_postargs.get('nvcc', [])
-            else:
-                gcc_postargs = extra_postargs or []
-                nvcc_postargs = []
-
-            if os.path.splitext(src)[1] == '.cu':
-                # nvcc собирает .cu файл
-                inc_flags = [f"-I{inc}" for inc in self.compiler.include_dirs]
-                cmd = ['nvcc', '-c', src, '-o', obj] + inc_flags + nvcc_postargs
-                self.spawn(cmd)
-            else:
-                # g++ собирает .cpp файл (с pybind11)
-                original_compile(obj, src, ext, cc_args, gcc_postargs, pp_opts)
-
-        self.compiler._compile = custom_compile
-        super().build_extensions()
-
-ext_modules = []
-
-if check_cuda():
-    cuda_module = Extension(
-        'tinytensor.cuda_ops',
-        sources=[
-            'tinytensor/backends/cuda_gpu.cu',       # Компилируется nvcc
-            'tinytensor/backends/cuda_binding.cpp'    # Компилируется g++
-        ],
-        include_dirs=[
-            pybind11.get_include(),
-            '/usr/local/cuda/include',
-            os.path.expanduser('~/.local/include')
-        ],
-        library_dirs=['/usr/local/cuda/lib64'],
-        libraries=['cudart', 'cublas'],
-        extra_compile_args={
-            'gcc': ['-O3', '-fPIC', '-std=c++17'],
-            'nvcc': ['-O3', '-Xcompiler', '-fPIC']
-        }
-    )
-    ext_modules.append(cuda_module)
-    print("🔥 CUDA найдена! Собираем cuBLAS бэкенд...")
-else:
-    print("⚠️ CUDA не найдена. Сборка продолжится на CPU (NumPy).")
-
-setup(
-    name="tinytensor",
-    version="0.1.0",
-    description="мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )",
-    packages=find_packages(include=["tinytensor", "tinytensor.*"]),
-    ext_modules=ext_modules,
-    cmdclass={'build_ext': CUDABuildExt},
-    install_requires=[
-        "numpy>=1.23",
-        "pybind11>=2.10",
-    ],
-    extras_require={
-        "dev": ["pytest>=7.0"],
-    },
-    python_requires=">=3.9",
-)

pytinytensor-0.1.2/tinytensor/tinytensor/config.py

@@ -1,20 +0,0 @@
-from dataclasses import dataclass
-import numpy as np
-
-
-@dataclass
-class Config:
-    # базовый сид будет 67
-    seed: int = 67
-
-
-config = Config()
-
-
-def set_seed(seed: int):
-    # автоматически устанавливаем сид для воспроизведения и тд
-    config.seed = seed
-    np.random.seed(seed)
-
-# ну все при импорте будет устанавливаться
-np.random.seed(config.seed)

pytinytensor-0.1.2/tinytensor/tinytensor/core/autograd.py

@@ -1,22 +0,0 @@
-import numpy as np
-
-
-def backward(target_tensor):
-    # эт я вообще сделал чтоб файл не пустовал, но это архитектура micrograd как у Андрея Карпатова,
-    # если кто то шарит за нормальный движок autograd, то PRните
-    topo = []
-    visited = set()
-
-    def build_topo(v):
-        if v not in visited:
-            visited.add(v)
-            for child in v._prev:
-                build_topo(child)
-            topo.append(v)
-
-    build_topo(target_tensor)
-
-    target_tensor.grad = np.ones_like(target_tensor.data, dtype=np.float32)
-
-    for v in reversed(topo):
-        v._backward()

pytinytensor-0.1.2/tinytensor/tinytensor/core/ops.py

@@ -1 +0,0 @@
-# пока что побудет пустым