pytinytensor 0.1.1__tar.gz → 0.1.3__tar.gz

pytinytensor-0.1.3/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 IbrokhimN
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/PKG-INFO

@@ -1,11 +1,12 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.1
+Version: 0.1.3
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
+License-File: LICENSE
 Requires-Dist: numpy>=1.23
 Requires-Dist: pybind11>=2.10
 Provides-Extra: dev
@@ -14,6 +15,7 @@ Dynamic: author
 Dynamic: description
 Dynamic: description-content-type
 Dynamic: home-page
+Dynamic: license-file
 Dynamic: provides-extra
 Dynamic: requires-dist
 Dynamic: requires-python

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/pytinytensor.egg-info/PKG-INFO

@@ -1,11 +1,12 @@
 Metadata-Version: 2.4
 Name: pytinytensor
-Version: 0.1.1
+Version: 0.1.3
 Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
 Home-page: https://github.com/IbrokhimN/tinytensor
 Author: IbrokhimN
 Requires-Python: >=3.9
 Description-Content-Type: text/markdown
+License-File: LICENSE
 Requires-Dist: numpy>=1.23
 Requires-Dist: pybind11>=2.10
 Provides-Extra: dev
@@ -14,6 +15,7 @@ Dynamic: author
 Dynamic: description
 Dynamic: description-content-type
 Dynamic: home-page
+Dynamic: license-file
 Dynamic: provides-extra
 Dynamic: requires-dist
 Dynamic: requires-python

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/pytinytensor.egg-info/SOURCES.txt

@@ -1,3 +1,4 @@
+LICENSE
 README.md
 pyproject.toml
 setup.py
@@ -18,6 +19,7 @@ tinytensor/backends/__init__.py
 tinytensor/backends/cpu_numpy.py
 tinytensor/backends/cuda_binding.cpp
 tinytensor/backends/cuda_gpu.cu
+tinytensor/backends/cuda_gpu.py
 tinytensor/core/__init__.py
 tinytensor/core/autograd.py
 tinytensor/core/ops.py
@@ -27,6 +29,7 @@ tinytensor/data/dataloader.py
 tinytensor/data/dataset.py
 tinytensor/nn/__init__.py
 tinytensor/nn/activations.py
+tinytensor/nn/dropout.py
 tinytensor/nn/linear.py
 tinytensor/nn/losses.py
 tinytensor/nn/modules.py

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/setup.py

@@ -8,19 +8,56 @@ from setuptools.command.build_ext import build_ext
 long_description = Path(__file__).parent / "README.md"
 long_description = long_description.read_text(encoding="utf-8") if long_description.exists() else ""
 
+def find_cuda_lib_dirs():
+    candidates = [
+        os.environ.get("CUDA_HOME"),
+        os.environ.get("CUDA_PATH"),
+        "/usr/local/cuda",
+    ]
+    conda_prefix = os.environ.get("CONDA_PREFIX")
+    if conda_prefix:
+        candidates.append(conda_prefix)
+
+    found = []
+    for base in candidates:
+        if not base:
+            continue
+        lib_dir = os.path.join(base, "lib64")
+        if not os.path.isdir(lib_dir):
+            lib_dir = os.path.join(base, "lib")
+        has_cudart = any(
+            f.startswith("libcudart.so") for f in os.listdir(lib_dir)
+        ) if os.path.isdir(lib_dir) else False
+        has_cublas = any(
+            f.startswith("libcublas.so") for f in os.listdir(lib_dir)
+        ) if os.path.isdir(lib_dir) else False
+        if has_cudart and has_cublas:
+            found.append(lib_dir)
+    return found
+
+
 def check_cuda():
     try:
         subprocess.check_output(["nvcc", "--version"])
-        return True
     except (FileNotFoundError, subprocess.CalledProcessError):
-        return False
+        return False, []
+
+    lib_dirs = find_cuda_lib_dirs()
+    if not lib_dirs:
+        print("nvcc есть но libcudart/libcublas не найдены рядом. Сборка пойдет на CPU.")
+        return False, []
+    return True, lib_dirs
+
 
 class CUDABuildExt(build_ext):
+    # если cuda-сборка все равно упадет (например линковка) - не роняем весь pip install,
+    # а просто откатываемся на чистый cpu-пакет
     def build_extensions(self):
         self.compiler.src_extensions.append('.cu')
         original_compile = self.compiler._compile
 
         def custom_compile(obj, src, ext, cc_args, extra_postargs, pp_opts):
+            # extra_postargs может приходить как список или словарь — обрабатываем оба случая
             if isinstance(extra_postargs, dict):
                 gcc_postargs = extra_postargs.get('gcc', [])
                 nvcc_postargs = extra_postargs.get('nvcc', [])
@@ -29,44 +66,54 @@ class CUDABuildExt(build_ext):
                 nvcc_postargs = []
 
             if os.path.splitext(src)[1] == '.cu':
+                # nvcc собирает .cu файл
                 inc_flags = [f"-I{inc}" for inc in self.compiler.include_dirs]
                 cmd = ['nvcc', '-c', src, '-o', obj] + inc_flags + nvcc_postargs
                 self.spawn(cmd)
             else:
+                # g++ собирает .cpp файл (с pybind11)
                 original_compile(obj, src, ext, cc_args, gcc_postargs, pp_opts)
 
         self.compiler._compile = custom_compile
-        super().build_extensions()
+
+        try:
+            super().build_extensions()
+        except Exception as e:
+            print(f"сборка cuda-расширения не удалась ({e}), продолжаем без него (cpu-only).")
+            self.extensions = []
 
 ext_modules = []
 
-if check_cuda():
+cuda_ok, cuda_lib_dirs = check_cuda()
+
+if cuda_ok:
     cuda_module = Extension(
         'tinytensor.cuda_ops',
         sources=[
-            'tinytensor/backends/cuda_gpu.cu',       
-            'tinytensor/backends/cuda_binding.cpp'   
+            'tinytensor/backends/cuda_gpu.cu',       # nvcc
+            'tinytensor/backends/cuda_binding.cpp'   # g++
         ],
         include_dirs=[
             pybind11.get_include(),
             '/usr/local/cuda/include',
             os.path.expanduser('~/.local/include')
         ],
-        library_dirs=['/usr/local/cuda/lib64'],
+        library_dirs=cuda_lib_dirs,
         libraries=['cudart', 'cublas'],
         extra_compile_args={
             'gcc': ['-O3', '-fPIC', '-std=c++17'],
             'nvcc': ['-O3', '-Xcompiler', '-fPIC']
-        }
+        },
+        optional=True,
     )
     ext_modules.append(cuda_module)
-    print("CUDA найдена! Собираем cuBLAS бэкенд...")
+    print("cublas")
 else:
-    print("CUDA не найдена. Сборка продолжится на CPU (NumPy).")
+    print("cpu")
 
 setup(
     name="pytinytensor",
-    version="0.1.1",
+    version="0.1.3",
     description="мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )",
     long_description=long_description,
     long_description_content_type="text/markdown",

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/tinytensor/nn/activations.py

@@ -7,6 +7,7 @@ class ReLU(Module):
 class LeReLU(Module):
     # у нас есть тут альфа
     def __init__(self, alpha=0.01):
+        super().__init__()
         self.alpha = alpha
     
     def forward(self, x):

pytinytensor-0.1.3/tinytensor/nn/dropout.py

@@ -0,0 +1,23 @@
+#функция дропаута это короче нужно чтоб вырубать нейроны во время обучения чтоб остальные нейроны обучились хорошо тоже
+
+import numpy as np
+from tinytensor.nn.modules import Module
+from tinytensor.core.tensor import Tensor
+
+class Dropout(Module):
+    def __init__(self, p=0.5):
+        super().__init__()
+        # p это вероятност типа 0.5 это половина нейронов вырубается
+        self.p = p
+
+    def forward(self, x):
+        # если не обучаемся то скип
+        if not self.training or self.p == 0:
+            return x
+        mask_data = (np.random.rand(*x.data.shape) > self.p) / (1.0 - self.p)
+        
+        #маску в тензор превращаем
+        mask = Tensor(mask_data, requires_grad=False)
+
+        #тк маска состоит из 0 и 1 умножение как раз некоторые нейроны вырубит
+        return x * mask

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/tinytensor/nn/modules.py

@@ -1,6 +1,5 @@
 from tinytensor.core.tensor import Tensor
 import pickle
-
 #кароч модуль от которого будут наследоваться все слои
 class Module:
     def __init__(self):
@@ -8,39 +7,43 @@ class Module:
     
     def __call__(self, *args, **kwargs):
         return self.forward(*args, **kwargs)
-
     #щас это просто заглушка для прямого вызова, а в реале у всех должны быть свои реализации forward, так что это роль не играет
     def forward(self, *args, **kwargs):
         raise NotImplementedError(...)
-
     # сохраняет обучаемые веса, и если в модуле есть еще какие то модули то он их тоже открывает 
     def parameters(self):
         params = []
         for atr in self.__dict__.values():
             if isinstance(atr, Tensor) and atr.requires_grad == True:
                 params.append(atr)
-
             elif isinstance(atr, Module):
                 params.extend(atr.parameters())
         return params
-
     #обнуляет градиенты
     def zero_grad(self):
         for atr in self.parameters():
             atr.grad = None
         
+    def train(self, mode=True):
+        self.training = mode
+        for atr in self.__dict__.values():
+            if isinstance(atr, Module):
+                atr.train(mode)
+        return self
+    def eval(self):
+        return self.train(False)
     def state_dict(self):
         #вытащим все веса параметров
         sdict = {}
         for name, param in self._get_named_params().items():
             sdict[name] = param.data
+        return sdict
         
     def load_state_dict(self, sdict):
         #запихиваем обратно
         for name, param in self._get_named_params().items():
             if name in sdict:
                 param.data = sdict[name] 
-
     def _get_named_params(self, prefix=""):
         named = {}
         for attr_name, attr in self.__dict__.items():
@@ -55,9 +58,8 @@ class Module:
     def save(self,filepath):
         with open(filepath, "wb") as f:
             pickle.dump(self.state_dict(), f)
-
     # загрузка весов обратно
     def load(self, filepath):
-        with open(filepath, "wb") as f:
+        with open(filepath, "rb") as f:
             sd = pickle.load(f)
-            self.load_state_dict(sd)
+            self.load_state_dict(sd)

{pytinytensor-0.1.1 → pytinytensor-0.1.3}/tinytensor/optim/optimizer.py

@@ -17,27 +17,30 @@ class Optimizer:
 # SGD 
 # w = w - lr*dw
 class SGD(Optimizer):
-    def __init__(self, parameters, lr = 0.01, momentum = 0.0):
+    def __init__(self, parameters, lr = 0.01, momentum = 0.0, weight_decay = 0.0):
         super().__init__(parameters)
         self.lr = lr
         self.momentum = momentum
+        self.weight_decay = weight_decay
         # буфера
         self.velocities = [np.zeros_like(p.data) for p in self.parameters] if momentum > 0 else None
 
     def step(self):
-        for i,p in enumerate(self.parameters):
+        for i, p in enumerate(self.parameters):
             if p.grad is None:
                 continue
-            grad = p.grad
+            grad = p.grad  
+            if self.weight_decay != 0:
+                grad = grad + self.weight_decay * p.data
 
-            if self.momentum>0:
+            if self.momentum > 0:
                 self.velocities[i] = self.momentum * self.velocities[i] + grad
                 grad = self.velocities[i]
+
             # шаг
             p.data -= self.lr * grad
 
 
-
 #Adamw
 # слишком много формул мне впадлу писать
 class AdamW(Optimizer):
@@ -69,4 +72,8 @@ class AdamW(Optimizer):
             v_hat = self.v[i] / (1.0 - self.beta2 ** self.t)
             # адапт шаг и разделение затухания весов
             denom = np.sqrt(v_hat) + self.eps
-            p.data -= self.lr * (m_hat / denom + self.weight_decay * p.data)
+            
+            if self.weight_decay != 0:
+                p.data -= self.lr * self.weight_decay * p.data
+
+            p.data -= self.lr * (m_hat / denom)