pytinytensor 0.1.0__tar.gz → 0.1.2__tar.gz

pytinytensor-0.1.2/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 IbrokhimN
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

pytinytensor-0.1.2/PKG-INFO

@@ -0,0 +1,226 @@
+Metadata-Version: 2.4
+Name: pytinytensor
+Version: 0.1.2
+Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
+Home-page: https://github.com/IbrokhimN/tinytensor
+Author: IbrokhimN
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: numpy>=1.23
+Requires-Dist: pybind11>=2.10
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Dynamic: author
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: license-file
+Dynamic: provides-extra
+Dynamic: requires-dist
+Dynamic: requires-python
+Dynamic: summary
+
+# tinytensor
+
+Маленький самописный autograd на numpy. Тензоры, backprop, пара слоев,
+лоссы, оптимизаторы и даталоадер. По сути свой мини-pytorch, только без
+плюшек и без cuda (пока).
+
+Никакой производительности тут не ищите, тут просто видно как все
+устроено внутри, без магии.
+
+## Содержание
+
+- [Установка](#установка)
+- [Быстрый старт](#быстрый-старт)
+- [Как работает autograd](#как-работает-autograd)
+- [API](#api)
+- [Примеры](#примеры)
+- [Тесты](#тесты)
+- [Структура](#структура)
+- [Чего нет](#чего-нет)
+- [Ссылки](#ссылки)
+
+## Установка
+
+```bash
+git clone https://github.com/IbrokhimN/tinytensor
+cd tinytensor
+pip install -e .          # обычная установка
+pip install -e .[dev]     # плюс pytest, если хотите гонять тесты
+```
+
+Или руками:
+
+```bash
+pip install -r requirements.txt
+```
+
+Зависимость одна - numpy.
+
+## Быстрый старт
+
+```python
+from tinytensor.core.tensor import Tensor
+from tinytensor.nn.linear import Linear
+from tinytensor.nn.losses import MSELoss
+from tinytensor.optim import SGD
+
+model = Linear(in_features=1, out_features=1)
+loss_fn = MSELoss()
+optimizer = SGD(model.parameters(), lr=0.01)
+
+x = Tensor([[1.0], [2.0], [3.0]])
+y = Tensor([[3.0], [5.0], [7.0]])   # y = 2x + 1
+
+for epoch in range(100):
+    optimizer.zero_grad()
+    pred = model(x)
+    loss = loss_fn(pred, y)
+    loss.backward()
+    optimizer.step()
+
+print(model.weight.data, model.bias.data)  # ~2.0, ~1.0
+```
+
+Рабочие примеры целиком лежат в [`examples/`](examples/).
+
+## Как работает autograd
+
+У каждого `Tensor` есть:
+
+- `data` - сами значения (numpy-массив, всегда float32);
+- `grad` - градиент, пока не посчитан - None;
+- `_prev` - от каких тензоров он произошел (родители в графе);
+- `_backward` - функция которая знает как раскидать градиент на родителей.
+
+Когда считаете `z = f(x, y)`, по цепному правилу:
+
+```
+dL/dx = dL/dz * dz/dx
+dL/dy = dL/dz * dz/dy
+```
+
+`backward()` строит топологический порядок графа (`tinytensor/core/autograd.py`),
+ставит корню градиент = 1 и идет в обратном порядке, вызывая `_backward()`
+у каждого узла. Ровно так же устроен micrograd Карпатова, только у него
+даже покомпактнее:
+
+- [Karpathy - micrograd](https://github.com/karpathy/micrograd) - реализация того же самого на ~100 строк, must see
+- [CS231n: Backpropagation, Intuitions](https://cs231n.github.io/optimization-2/) - если нужно разложить backprop по полочкам
+- [colah - Calculus on Computational Graphs](https://colah.github.io/posts/2015-08-Backprop/)
+
+Если совсем в тему - есть видос Карпатова где он с нуля пишет micrograd и
+объясняет каждую строчку: ["The spelled-out intro to neural networks and backpropagation"](https://www.youtube.com/watch?v=VMj-3S1tku0).
+Собственно тут все то же самое, только на numpy и чуть пошире.
+
+### Формулы, которые реализованы в Tensor
+
+| операция | вперед | производная |
+|---|---|---|
+| `a + b` | `a + b` | `dL/da += dL/dz`, `dL/db += dL/dz` (плюс схлопывание по broadcast-осям) |
+| `a * b` | `a * b` | `dL/da += dL/dz * b`, `dL/db += dL/dz * a` |
+| `a @ b` | matmul | `dL/da += dL/dz @ bᵀ`, `dL/db += aᵀ @ dL/dz` |
+| `a ** p` | `aᵖ` | `dL/da += dL/dz * p * a^(p-1)` |
+| ReLU | `max(0, x)` | 1 при x>0, иначе 0 |
+| LeakyReLU | x или αx | 1 при x>0, иначе α |
+| sigmoid | `1/(1+e⁻ˣ)` | `σ(x)*(1-σ(x))` |
+| tanh | `tanh(x)` | `1 - tanh²(x)` |
+| GELU | `0.5x(1+tanh(√(2/π)(x+0.044715x³)))` | см. [статью по GELU](https://arxiv.org/abs/1606.08415), формула там не самая короткая |
+
+Про broadcasting и почему градиент иногда надо досуммировать обратно
+(`_unbroadcast`) норм объясняют [правила broadcasting в numpy](https://numpy.org/doc/stable/user/basics.broadcasting.html).
+
+## API
+
+### Tensor
+
+`tinytensor.core.tensor.Tensor` - главный класс. Есть `+ - * @ **`, `.sum()`,
+активации `relu / leaky_relu / sigmoid / tanh / gelu`, ну и `.backward()`.
+
+### nn
+
+- `Module` - от него наследуются все слои, `forward / parameters() / zero_grad()`, по духу как [`torch.nn.Module`](https://pytorch.org/docs/stable/generated/torch.nn.Module.html);
+- `Linear(in_features, out_features)` - обычный `y = xW + b`, веса инициализируются по [He/Kaiming init](https://arxiv.org/abs/1502.01852) (`std = sqrt(2/in_features)`);
+- `ReLU, LeReLU, Sigmod, Tanh, GELU` - тонкие обертки над методами Tensor;
+- `MSELoss` - `mean((pred - target)^2)`, банальщина.
+
+### optim
+
+- `SGD(params, lr, momentum=0.0)` - обычный градиентный спуск, можно с моментом;
+- `AdamW(params, lr, betas, eps, weight_decay)` - Adam с отдельным weight decay, см. [Loshchilov & Hutter](https://arxiv.org/abs/1711.05101) (в отличие от обычного [Adam](https://arxiv.org/abs/1412.6980), decay тут не лезет в градиент, а сразу режет веса).
+
+### data
+
+- `Dataset / TensorDataset` - обертка над (x, y);
+- `DataLoader` - бьет на батчи, можно с shuffle, мини-версия [`torch.utils.data.DataLoader`](https://pytorch.org/docs/stable/data.html).
+
+## Примеры
+
+- [`examples/01_linear_regression.py`](examples/01_linear_regression.py) - линейная регрессия, Linear + MSELoss + SGD на `y = 3x + 2 + шум`.
+- [`examples/02_mnist_mlp.py`](examples/02_mnist_mlp.py) - MLP (Linear -> ReLU -> Linear) с AdamW и DataLoader на синтетике в формате mnist (784 фичи, 10 классов). Настоящего mnist и загрузчиков датасетов тут нет, лень было тащить.
+
+Как выглядит запуск вживую:
+
+```
+$ python3 01_linear_regression.py
+epoch   0 | loss 30.8016
+epoch 180 | loss 0.2365
+выученные параметры: weight ~ 2.995, bias ~ 1.996
+
+$ python3 02_mnist_mlp.py
+epoch 1/5 | avg loss 2.0998
+epoch 5/5 | avg loss 0.0481
+```
+
+## Тесты
+
+```bash
+pip install -e .[dev]
+python3 -m pytest tests/ -v
+```
+
+47 штук, гоняют арифметику тензоров и broadcasting, autograd (накопление
+градиента, топология, повторный backward), лоссы, оптимизаторы и
+Dataset/DataLoader.
+
+> Важно: запускать через pytest из корня репы (или после `pip install -e .`),
+> а не `python3 test_x.py` из папки tests - иначе tinytensor просто не найдется.
+
+## Структура
+
+```
+tinytensor/
+├── tinytensor/
+│   ├── core/        # Tensor, autograd, ops
+│   ├── nn/          # Module, Linear, активации, MSELoss
+│   ├── optim/        # SGD, AdamW
+│   ├── data/         # Dataset, DataLoader
+│   ├── backends/     # заготовка под cuda, пока пусто
+│   └── config.py     # сид рандома
+├── examples/
+├── tests/
+├── setup.py
+└── requirements.txt
+```
+
+## Чего нет
+
+- Только numpy-backend, cuda_gpu.py пустой файл-заглушка.
+- Нет кросс-энтропии, сверток, рекуррентных слоев, сохранения модели (см. ToDo в исходном плане проекта).
+- backward не кэширует граф между вызовами, каждый раз строит топологию заново, как и в micrograd - никакой лени в духе pytorch тут нет.
+
+## Ссылки
+
+- [Andrej Karpathy - micrograd (GitHub)](https://github.com/karpathy/micrograd) - основной референс для всего autograd
+- [Andrej Karpathy - видео про backprop и micrograd](https://www.youtube.com/watch?v=VMj-3S1tku0)
+- [CS231n - Backpropagation, Intuitions](https://cs231n.github.io/optimization-2/)
+- [colah - Calculus on Computational Graphs](https://colah.github.io/posts/2015-08-Backprop/)
+- [NumPy broadcasting rules](https://numpy.org/doc/stable/user/basics.broadcasting.html)
+- [He et al. - инициализация весов](https://arxiv.org/abs/1502.01852)
+- [Kingma & Ba - Adam](https://arxiv.org/abs/1412.6980)
+- [Loshchilov & Hutter - AdamW](https://arxiv.org/abs/1711.05101)
+- [Hendrycks & Gimpel - GELU](https://arxiv.org/abs/1606.08415)
+- [PyTorch - torch.nn.Module](https://pytorch.org/docs/stable/generated/torch.nn.Module.html)
+- [PyTorch - torch.utils.data.DataLoader](https://pytorch.org/docs/stable/data.html)

pytinytensor-0.1.2/pytinytensor.egg-info/PKG-INFO

@@ -0,0 +1,226 @@
+Metadata-Version: 2.4
+Name: pytinytensor
+Version: 0.1.2
+Summary: мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )
+Home-page: https://github.com/IbrokhimN/tinytensor
+Author: IbrokhimN
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: numpy>=1.23
+Requires-Dist: pybind11>=2.10
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Dynamic: author
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: license-file
+Dynamic: provides-extra
+Dynamic: requires-dist
+Dynamic: requires-python
+Dynamic: summary
+
+# tinytensor
+
+Маленький самописный autograd на numpy. Тензоры, backprop, пара слоев,
+лоссы, оптимизаторы и даталоадер. По сути свой мини-pytorch, только без
+плюшек и без cuda (пока).
+
+Никакой производительности тут не ищите, тут просто видно как все
+устроено внутри, без магии.
+
+## Содержание
+
+- [Установка](#установка)
+- [Быстрый старт](#быстрый-старт)
+- [Как работает autograd](#как-работает-autograd)
+- [API](#api)
+- [Примеры](#примеры)
+- [Тесты](#тесты)
+- [Структура](#структура)
+- [Чего нет](#чего-нет)
+- [Ссылки](#ссылки)
+
+## Установка
+
+```bash
+git clone https://github.com/IbrokhimN/tinytensor
+cd tinytensor
+pip install -e .          # обычная установка
+pip install -e .[dev]     # плюс pytest, если хотите гонять тесты
+```
+
+Или руками:
+
+```bash
+pip install -r requirements.txt
+```
+
+Зависимость одна - numpy.
+
+## Быстрый старт
+
+```python
+from tinytensor.core.tensor import Tensor
+from tinytensor.nn.linear import Linear
+from tinytensor.nn.losses import MSELoss
+from tinytensor.optim import SGD
+
+model = Linear(in_features=1, out_features=1)
+loss_fn = MSELoss()
+optimizer = SGD(model.parameters(), lr=0.01)
+
+x = Tensor([[1.0], [2.0], [3.0]])
+y = Tensor([[3.0], [5.0], [7.0]])   # y = 2x + 1
+
+for epoch in range(100):
+    optimizer.zero_grad()
+    pred = model(x)
+    loss = loss_fn(pred, y)
+    loss.backward()
+    optimizer.step()
+
+print(model.weight.data, model.bias.data)  # ~2.0, ~1.0
+```
+
+Рабочие примеры целиком лежат в [`examples/`](examples/).
+
+## Как работает autograd
+
+У каждого `Tensor` есть:
+
+- `data` - сами значения (numpy-массив, всегда float32);
+- `grad` - градиент, пока не посчитан - None;
+- `_prev` - от каких тензоров он произошел (родители в графе);
+- `_backward` - функция которая знает как раскидать градиент на родителей.
+
+Когда считаете `z = f(x, y)`, по цепному правилу:
+
+```
+dL/dx = dL/dz * dz/dx
+dL/dy = dL/dz * dz/dy
+```
+
+`backward()` строит топологический порядок графа (`tinytensor/core/autograd.py`),
+ставит корню градиент = 1 и идет в обратном порядке, вызывая `_backward()`
+у каждого узла. Ровно так же устроен micrograd Карпатова, только у него
+даже покомпактнее:
+
+- [Karpathy - micrograd](https://github.com/karpathy/micrograd) - реализация того же самого на ~100 строк, must see
+- [CS231n: Backpropagation, Intuitions](https://cs231n.github.io/optimization-2/) - если нужно разложить backprop по полочкам
+- [colah - Calculus on Computational Graphs](https://colah.github.io/posts/2015-08-Backprop/)
+
+Если совсем в тему - есть видос Карпатова где он с нуля пишет micrograd и
+объясняет каждую строчку: ["The spelled-out intro to neural networks and backpropagation"](https://www.youtube.com/watch?v=VMj-3S1tku0).
+Собственно тут все то же самое, только на numpy и чуть пошире.
+
+### Формулы, которые реализованы в Tensor
+
+| операция | вперед | производная |
+|---|---|---|
+| `a + b` | `a + b` | `dL/da += dL/dz`, `dL/db += dL/dz` (плюс схлопывание по broadcast-осям) |
+| `a * b` | `a * b` | `dL/da += dL/dz * b`, `dL/db += dL/dz * a` |
+| `a @ b` | matmul | `dL/da += dL/dz @ bᵀ`, `dL/db += aᵀ @ dL/dz` |
+| `a ** p` | `aᵖ` | `dL/da += dL/dz * p * a^(p-1)` |
+| ReLU | `max(0, x)` | 1 при x>0, иначе 0 |
+| LeakyReLU | x или αx | 1 при x>0, иначе α |
+| sigmoid | `1/(1+e⁻ˣ)` | `σ(x)*(1-σ(x))` |
+| tanh | `tanh(x)` | `1 - tanh²(x)` |
+| GELU | `0.5x(1+tanh(√(2/π)(x+0.044715x³)))` | см. [статью по GELU](https://arxiv.org/abs/1606.08415), формула там не самая короткая |
+
+Про broadcasting и почему градиент иногда надо досуммировать обратно
+(`_unbroadcast`) норм объясняют [правила broadcasting в numpy](https://numpy.org/doc/stable/user/basics.broadcasting.html).
+
+## API
+
+### Tensor
+
+`tinytensor.core.tensor.Tensor` - главный класс. Есть `+ - * @ **`, `.sum()`,
+активации `relu / leaky_relu / sigmoid / tanh / gelu`, ну и `.backward()`.
+
+### nn
+
+- `Module` - от него наследуются все слои, `forward / parameters() / zero_grad()`, по духу как [`torch.nn.Module`](https://pytorch.org/docs/stable/generated/torch.nn.Module.html);
+- `Linear(in_features, out_features)` - обычный `y = xW + b`, веса инициализируются по [He/Kaiming init](https://arxiv.org/abs/1502.01852) (`std = sqrt(2/in_features)`);
+- `ReLU, LeReLU, Sigmod, Tanh, GELU` - тонкие обертки над методами Tensor;
+- `MSELoss` - `mean((pred - target)^2)`, банальщина.
+
+### optim
+
+- `SGD(params, lr, momentum=0.0)` - обычный градиентный спуск, можно с моментом;
+- `AdamW(params, lr, betas, eps, weight_decay)` - Adam с отдельным weight decay, см. [Loshchilov & Hutter](https://arxiv.org/abs/1711.05101) (в отличие от обычного [Adam](https://arxiv.org/abs/1412.6980), decay тут не лезет в градиент, а сразу режет веса).
+
+### data
+
+- `Dataset / TensorDataset` - обертка над (x, y);
+- `DataLoader` - бьет на батчи, можно с shuffle, мини-версия [`torch.utils.data.DataLoader`](https://pytorch.org/docs/stable/data.html).
+
+## Примеры
+
+- [`examples/01_linear_regression.py`](examples/01_linear_regression.py) - линейная регрессия, Linear + MSELoss + SGD на `y = 3x + 2 + шум`.
+- [`examples/02_mnist_mlp.py`](examples/02_mnist_mlp.py) - MLP (Linear -> ReLU -> Linear) с AdamW и DataLoader на синтетике в формате mnist (784 фичи, 10 классов). Настоящего mnist и загрузчиков датасетов тут нет, лень было тащить.
+
+Как выглядит запуск вживую:
+
+```
+$ python3 01_linear_regression.py
+epoch   0 | loss 30.8016
+epoch 180 | loss 0.2365
+выученные параметры: weight ~ 2.995, bias ~ 1.996
+
+$ python3 02_mnist_mlp.py
+epoch 1/5 | avg loss 2.0998
+epoch 5/5 | avg loss 0.0481
+```
+
+## Тесты
+
+```bash
+pip install -e .[dev]
+python3 -m pytest tests/ -v
+```
+
+47 штук, гоняют арифметику тензоров и broadcasting, autograd (накопление
+градиента, топология, повторный backward), лоссы, оптимизаторы и
+Dataset/DataLoader.
+
+> Важно: запускать через pytest из корня репы (или после `pip install -e .`),
+> а не `python3 test_x.py` из папки tests - иначе tinytensor просто не найдется.
+
+## Структура
+
+```
+tinytensor/
+├── tinytensor/
+│   ├── core/        # Tensor, autograd, ops
+│   ├── nn/          # Module, Linear, активации, MSELoss
+│   ├── optim/        # SGD, AdamW
+│   ├── data/         # Dataset, DataLoader
+│   ├── backends/     # заготовка под cuda, пока пусто
+│   └── config.py     # сид рандома
+├── examples/
+├── tests/
+├── setup.py
+└── requirements.txt
+```
+
+## Чего нет
+
+- Только numpy-backend, cuda_gpu.py пустой файл-заглушка.
+- Нет кросс-энтропии, сверток, рекуррентных слоев, сохранения модели (см. ToDo в исходном плане проекта).
+- backward не кэширует граф между вызовами, каждый раз строит топологию заново, как и в micrograd - никакой лени в духе pytorch тут нет.
+
+## Ссылки
+
+- [Andrej Karpathy - micrograd (GitHub)](https://github.com/karpathy/micrograd) - основной референс для всего autograd
+- [Andrej Karpathy - видео про backprop и micrograd](https://www.youtube.com/watch?v=VMj-3S1tku0)
+- [CS231n - Backpropagation, Intuitions](https://cs231n.github.io/optimization-2/)
+- [colah - Calculus on Computational Graphs](https://colah.github.io/posts/2015-08-Backprop/)
+- [NumPy broadcasting rules](https://numpy.org/doc/stable/user/basics.broadcasting.html)
+- [He et al. - инициализация весов](https://arxiv.org/abs/1502.01852)
+- [Kingma & Ba - Adam](https://arxiv.org/abs/1412.6980)
+- [Loshchilov & Hutter - AdamW](https://arxiv.org/abs/1711.05101)
+- [Hendrycks & Gimpel - GELU](https://arxiv.org/abs/1606.08415)
+- [PyTorch - torch.nn.Module](https://pytorch.org/docs/stable/generated/torch.nn.Module.html)
+- [PyTorch - torch.utils.data.DataLoader](https://pytorch.org/docs/stable/data.html)

{pytinytensor-0.1.0 → pytinytensor-0.1.2}/pytinytensor.egg-info/SOURCES.txt

@@ -1,3 +1,4 @@
+LICENSE
 README.md
 pyproject.toml
 setup.py
@@ -14,10 +15,12 @@ tests/test_optim.py
 tests/test_tensor_math.py
 tinytensor/__init__.py
 tinytensor/config.py
+tinytensor/setup.py
 tinytensor/backends/__init__.py
 tinytensor/backends/cpu_numpy.py
 tinytensor/backends/cuda_binding.cpp
 tinytensor/backends/cuda_gpu.cu
+tinytensor/backends/cuda_gpu.py
 tinytensor/core/__init__.py
 tinytensor/core/autograd.py
 tinytensor/core/ops.py
@@ -32,6 +35,27 @@ tinytensor/nn/losses.py
 tinytensor/nn/modules.py
 tinytensor/optim/__init__.py
 tinytensor/optim/optimizer.py
+tinytensor/tinytensor/__init__.py
+tinytensor/tinytensor/config.py
+tinytensor/tinytensor/backends/__init__.py
+tinytensor/tinytensor/backends/cpu_numpy.py
+tinytensor/tinytensor/core/__init__.py
+tinytensor/tinytensor/core/autograd.py
+tinytensor/tinytensor/core/ops.py
+tinytensor/tinytensor/core/tensor.py
+tinytensor/tinytensor/data/__init__.py
+tinytensor/tinytensor/data/dataloader.py
+tinytensor/tinytensor/data/dataset.py
+tinytensor/tinytensor/nn/__init__.py
+tinytensor/tinytensor/nn/activations.py
+tinytensor/tinytensor/nn/linear.py
+tinytensor/tinytensor/nn/losses.py
+tinytensor/tinytensor/nn/modules.py
+tinytensor/tinytensor/optim/__init__.py
+tinytensor/tinytensor/optim/optimizer.py
+tinytensor/tinytensor/utils/__init__.py
+tinytensor/tinytensor/utils/bar.py
+tinytensor/tinytensor/utils/early_stopping.py
 tinytensor/utils/__init__.py
 tinytensor/utils/bar.py
 tinytensor/utils/early_stopping.py

pytinytensor-0.1.2/setup.py

@@ -0,0 +1,133 @@
+import os
+import subprocess
+import pybind11
+from pathlib import Path
+from setuptools import setup, find_packages, Extension
+from setuptools.command.build_ext import build_ext
+
+long_description = Path(__file__).parent / "README.md"
+long_description = long_description.read_text(encoding="utf-8") if long_description.exists() else ""
+
+def find_cuda_lib_dirs():
+    candidates = [
+        os.environ.get("CUDA_HOME"),
+        os.environ.get("CUDA_PATH"),
+        "/usr/local/cuda",
+    ]
+    conda_prefix = os.environ.get("CONDA_PREFIX")
+    if conda_prefix:
+        candidates.append(conda_prefix)
+
+    found = []
+    for base in candidates:
+        if not base:
+            continue
+        lib_dir = os.path.join(base, "lib64")
+        if not os.path.isdir(lib_dir):
+            lib_dir = os.path.join(base, "lib")
+        has_cudart = any(
+            f.startswith("libcudart.so") for f in os.listdir(lib_dir)
+        ) if os.path.isdir(lib_dir) else False
+        has_cublas = any(
+            f.startswith("libcublas.so") for f in os.listdir(lib_dir)
+        ) if os.path.isdir(lib_dir) else False
+        if has_cudart and has_cublas:
+            found.append(lib_dir)
+    return found
+
+
+def check_cuda():
+    try:
+        subprocess.check_output(["nvcc", "--version"])
+    except (FileNotFoundError, subprocess.CalledProcessError):
+        return False, []
+
+    lib_dirs = find_cuda_lib_dirs()
+    if not lib_dirs:
+        print("nvcc есть но libcudart/libcublas не найдены рядом. Сборка пойдет на CPU.")
+        return False, []
+    return True, lib_dirs
+
+
+class CUDABuildExt(build_ext):
+    # если cuda-сборка все равно упадет (например линковка) - не роняем весь pip install,
+    # а просто откатываемся на чистый cpu-пакет
+    def build_extensions(self):
+        self.compiler.src_extensions.append('.cu')
+        original_compile = self.compiler._compile
+
+        def custom_compile(obj, src, ext, cc_args, extra_postargs, pp_opts):
+            # extra_postargs может приходить как список или словарь — обрабатываем оба случая
+            if isinstance(extra_postargs, dict):
+                gcc_postargs = extra_postargs.get('gcc', [])
+                nvcc_postargs = extra_postargs.get('nvcc', [])
+            else:
+                gcc_postargs = extra_postargs or []
+                nvcc_postargs = []
+
+            if os.path.splitext(src)[1] == '.cu':
+                # nvcc собирает .cu файл
+                inc_flags = [f"-I{inc}" for inc in self.compiler.include_dirs]
+                cmd = ['nvcc', '-c', src, '-o', obj] + inc_flags + nvcc_postargs
+                self.spawn(cmd)
+            else:
+                # g++ собирает .cpp файл (с pybind11)
+                original_compile(obj, src, ext, cc_args, gcc_postargs, pp_opts)
+
+        self.compiler._compile = custom_compile
+
+        try:
+            super().build_extensions()
+        except Exception as e:
+            print(f"сборка cuda-расширения не удалась ({e}), продолжаем без него (cpu-only).")
+            self.extensions = []
+
+ext_modules = []
+
+cuda_ok, cuda_lib_dirs = check_cuda()
+
+if cuda_ok:
+    cuda_module = Extension(
+        'tinytensor.cuda_ops',
+        sources=[
+            'tinytensor/backends/cuda_gpu.cu',       # nvcc
+            'tinytensor/backends/cuda_binding.cpp'   # g++
+        ],
+        include_dirs=[
+            pybind11.get_include(),
+            '/usr/local/cuda/include',
+            os.path.expanduser('~/.local/include')
+        ],
+        library_dirs=cuda_lib_dirs,
+        libraries=['cudart', 'cublas'],
+        extra_compile_args={
+            'gcc': ['-O3', '-fPIC', '-std=c++17'],
+            'nvcc': ['-O3', '-Xcompiler', '-fPIC']
+        },
+        optional=True,
+    )
+    ext_modules.append(cuda_module)
+    print("cublas")
+else:
+    print("cpu")
+
+setup(
+    name="pytinytensor",
+    version="0.1.2",
+    description="мини ИИ фреймворк от IbrokimN ( github/IbrokhimN )",
+    long_description=long_description,
+    long_description_content_type="text/markdown",
+    author="IbrokhimN",
+    url="https://github.com/IbrokhimN/tinytensor",
+    packages=find_packages(include=["tinytensor", "tinytensor.*"]),
+    ext_modules=ext_modules,
+    cmdclass={'build_ext': CUDABuildExt},
+    install_requires=[
+        "numpy>=1.23",
+        "pybind11>=2.10",
+    ],
+    extras_require={
+        "dev": ["pytest>=7.0"],
+    },
+    python_requires=">=3.9",
+)