NeuralNetworks 0.2.0__py3-none-any.whl → 0.2.3__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- NeuralNetworks/Dependances/__init__.py +75 -0
- NeuralNetworks/Dependances/matplot.py +25 -0
- NeuralNetworks/Dependances/pytorch.py +111 -0
- NeuralNetworks/MLP/FourierFeatures.py +89 -0
- NeuralNetworks/MLP/Layers.py +31 -0
- NeuralNetworks/MLP/__init__.py +99 -0
- NeuralNetworks/MLP/inference.py +26 -0
- NeuralNetworks/Trainer/__init__.py +51 -0
- NeuralNetworks/Trainer/dynamic_learning_rate.py +79 -0
- NeuralNetworks/Trainer/sample_data.py +19 -0
- NeuralNetworks/Trainer/train.py +75 -0
- NeuralNetworks/UI/Learnings.py +45 -0
- NeuralNetworks/UI/Losses.py +45 -0
- NeuralNetworks/{tools/VKI-LS59.py → UI/__init__.py} +4 -2
- NeuralNetworks/__init__.py +6 -115
- neuralnetworks-0.2.3.dist-info/METADATA +172 -0
- neuralnetworks-0.2.3.dist-info/RECORD +20 -0
- NeuralNetworks/Dependances.py +0 -319
- NeuralNetworks/Latent.py +0 -51
- NeuralNetworks/MLP.py +0 -601
- NeuralNetworks/tools/AirfRANS.py +0 -36
- NeuralNetworks/tools/MNIST.py +0 -118
- NeuralNetworks/tools/image.py +0 -249
- neuralnetworks-0.2.0.dist-info/METADATA +0 -190
- neuralnetworks-0.2.0.dist-info/RECORD +0 -13
- {neuralnetworks-0.2.0.dist-info → neuralnetworks-0.2.3.dist-info}/WHEEL +0 -0
- {neuralnetworks-0.2.0.dist-info → neuralnetworks-0.2.3.dist-info}/licenses/LICENSE +0 -0
- {neuralnetworks-0.2.0.dist-info → neuralnetworks-0.2.3.dist-info}/top_level.txt +0 -0
|
@@ -0,0 +1,45 @@
|
|
|
1
|
+
# NeuralNetworks - Multi-Layer Perceptrons avec encodage Fourier
|
|
2
|
+
# Copyright (C) 2026 Alexandre Brun
|
|
3
|
+
# This program is free software: you can redistribute it and/or modify
|
|
4
|
+
# it under the terms of the GNU General Public License as published by
|
|
5
|
+
# the Free Software Foundation, either version 3 of the License, or
|
|
6
|
+
# (at your option) any later version.
|
|
7
|
+
|
|
8
|
+
from ..Dependances import plt, np
|
|
9
|
+
|
|
10
|
+
def learnings(*nets):
|
|
11
|
+
|
|
12
|
+
# --- Initialisation de la figure ---
|
|
13
|
+
fig, ax1 = plt.subplots()
|
|
14
|
+
fig.set_figheight(5)
|
|
15
|
+
fig.set_figwidth(5)
|
|
16
|
+
|
|
17
|
+
# --- Définition des limites des axes ---
|
|
18
|
+
all_learnings = [[lr for lr in net.learnings] for net in nets]
|
|
19
|
+
if max(len(lst) for lst in all_learnings) == 1:
|
|
20
|
+
lenlearnings = 2
|
|
21
|
+
else:
|
|
22
|
+
lenlearnings = max(len(lst) for lst in all_learnings)
|
|
23
|
+
plt.xlim(1, lenlearnings)
|
|
24
|
+
|
|
25
|
+
# --- Tracé des courbes de pertes pour chaque réseau ---
|
|
26
|
+
for k, net in enumerate(nets):
|
|
27
|
+
ax1.plot(
|
|
28
|
+
np.arange(1, len(all_learnings[k]) + 1),
|
|
29
|
+
all_learnings[k],
|
|
30
|
+
label=net.name
|
|
31
|
+
)
|
|
32
|
+
ax1.set_xlabel("Epochs")
|
|
33
|
+
ax1.set_ylabel("Learning rate")
|
|
34
|
+
ax1.legend(loc="upper left")
|
|
35
|
+
ax1.grid(True)
|
|
36
|
+
|
|
37
|
+
plt.yscale('log', nonpositive='mask')
|
|
38
|
+
# --- Affichage ---
|
|
39
|
+
plt.legend()
|
|
40
|
+
plt.xlabel("Epoch")
|
|
41
|
+
plt.ylabel("Learning rate")
|
|
42
|
+
fig.canvas.draw_idle()
|
|
43
|
+
plt.tight_layout()
|
|
44
|
+
plt.ion() # mode interactif
|
|
45
|
+
plt.show()
|
|
@@ -0,0 +1,45 @@
|
|
|
1
|
+
# NeuralNetworks - Multi-Layer Perceptrons avec encodage Fourier
|
|
2
|
+
# Copyright (C) 2026 Alexandre Brun
|
|
3
|
+
# This program is free software: you can redistribute it and/or modify
|
|
4
|
+
# it under the terms of the GNU General Public License as published by
|
|
5
|
+
# the Free Software Foundation, either version 3 of the License, or
|
|
6
|
+
# (at your option) any later version.
|
|
7
|
+
|
|
8
|
+
from ..Dependances import plt, np
|
|
9
|
+
|
|
10
|
+
def losses(*nets):
|
|
11
|
+
|
|
12
|
+
# --- Initialisation de la figure ---
|
|
13
|
+
fig, ax1 = plt.subplots()
|
|
14
|
+
fig.set_figheight(5)
|
|
15
|
+
fig.set_figwidth(5)
|
|
16
|
+
|
|
17
|
+
# --- Définition des limites des axes ---
|
|
18
|
+
all_losses = [[loss for loss in net.losses] for net in nets]
|
|
19
|
+
if max(len(lst) for lst in all_losses) == 1:
|
|
20
|
+
lenlosses = 2
|
|
21
|
+
else:
|
|
22
|
+
lenlosses = max(len(lst) for lst in all_losses)
|
|
23
|
+
plt.xlim(1, lenlosses)
|
|
24
|
+
|
|
25
|
+
# --- Tracé des courbes de pertes pour chaque réseau ---
|
|
26
|
+
for k, net in enumerate(nets):
|
|
27
|
+
ax1.plot(
|
|
28
|
+
np.arange(1, len(all_losses[k]) + 1),
|
|
29
|
+
all_losses[k],
|
|
30
|
+
label=net.name
|
|
31
|
+
)
|
|
32
|
+
ax1.set_xlabel("Epochs")
|
|
33
|
+
ax1.set_ylabel("Loss")
|
|
34
|
+
ax1.legend(loc="upper left")
|
|
35
|
+
ax1.grid(True)
|
|
36
|
+
|
|
37
|
+
plt.yscale('log', nonpositive='mask')
|
|
38
|
+
# --- Affichage ---
|
|
39
|
+
plt.legend()
|
|
40
|
+
plt.xlabel("Epoch")
|
|
41
|
+
plt.ylabel("Résidus")
|
|
42
|
+
fig.canvas.draw_idle()
|
|
43
|
+
plt.tight_layout()
|
|
44
|
+
plt.ion() # mode interactif
|
|
45
|
+
plt.show()
|
|
@@ -1,7 +1,9 @@
|
|
|
1
|
-
#
|
|
2
|
-
# Copyright (C)
|
|
1
|
+
# NeuralNetworks - Multi-Layer Perceptrons avec encodage Fourier
|
|
2
|
+
# Copyright (C) 2026 Alexandre Brun
|
|
3
3
|
# This program is free software: you can redistribute it and/or modify
|
|
4
4
|
# it under the terms of the GNU General Public License as published by
|
|
5
5
|
# the Free Software Foundation, either version 3 of the License, or
|
|
6
6
|
# (at your option) any later version.
|
|
7
7
|
|
|
8
|
+
from .Losses import losses
|
|
9
|
+
from .Learnings import learnings
|
NeuralNetworks/__init__.py
CHANGED
|
@@ -1,127 +1,18 @@
|
|
|
1
|
-
#
|
|
2
|
-
# Copyright (C)
|
|
1
|
+
# NeuralNetworks - Multi-Layer Perceptrons avec encodage Fourier
|
|
2
|
+
# Copyright (C) 2026 Alexandre Brun
|
|
3
3
|
# This program is free software: you can redistribute it and/or modify
|
|
4
4
|
# it under the terms of the GNU General Public License as published by
|
|
5
5
|
# the Free Software Foundation, either version 3 of the License, or
|
|
6
6
|
# (at your option) any later version.
|
|
7
7
|
|
|
8
|
-
"""
|
|
9
|
-
NeuralNetworks Module
|
|
10
|
-
====================
|
|
11
|
-
|
|
12
|
-
Module complet pour la création, l'entraînement et la visualisation de Multi-Layer Perceptrons (MLP)
|
|
13
|
-
avec encodage optionnel Fourier, gestion automatique des pertes, compilation Torch et outils
|
|
14
|
-
de traitement d'images pour l'apprentissage sur des images RGB.
|
|
15
|
-
|
|
16
|
-
Contenu principal
|
|
17
|
-
-----------------
|
|
18
|
-
|
|
19
|
-
Classes
|
|
20
|
-
-------
|
|
21
|
-
|
|
22
|
-
MLP
|
|
23
|
-
Multi-Layer Perceptron (MLP) avec options avancées :
|
|
24
|
-
- Encodage Fourier gaussien (RFF) optionnel.
|
|
25
|
-
- Stockage automatique des pertes.
|
|
26
|
-
- Compilation Torch optionnelle pour accélérer l’inférence.
|
|
27
|
-
- Gestion flexible de l’optimiseur, de la fonction de perte et de la normalisation.
|
|
28
|
-
|
|
29
|
-
Méthodes principales :
|
|
30
|
-
- __init__(layers, learning_rate, Fourier, optimizer, criterion, normalizer, name, Iscompiled)
|
|
31
|
-
Initialise le réseau avec toutes les options.
|
|
32
|
-
- train(inputs, outputs, num_epochs, batch_size)
|
|
33
|
-
Entraîne le MLP sur des données (inputs → outputs) en utilisant AMP et mini-batchs.
|
|
34
|
-
- plot(inputs, img_array)
|
|
35
|
-
Affiche l'image originale, la prédiction du MLP et la courbe des pertes.
|
|
36
|
-
- __call__(x)
|
|
37
|
-
Applique l’encodage puis le MLP pour produire une prédiction.
|
|
38
|
-
- Create_MLP(layers)
|
|
39
|
-
Construit le MLP avec normalisation/activation et Sigmoid finale.
|
|
40
|
-
- params()
|
|
41
|
-
Retourne tous les poids du MLP (ligne par ligne) sous forme de liste de numpy.ndarray.
|
|
42
|
-
- nb_params()
|
|
43
|
-
Calcule le nombre total de poids dans le MLP.
|
|
44
|
-
- neurons()
|
|
45
|
-
Retourne la liste des biais (neurones) de toutes les couches linéaires.
|
|
46
|
-
- __repr__()
|
|
47
|
-
Affiche un schéma visuel du MLP via visualtorch et print des dimensions.
|
|
48
|
-
|
|
49
|
-
Fonctions utilitaires
|
|
50
|
-
--------------------
|
|
51
|
-
|
|
52
|
-
tensorise(obj)
|
|
53
|
-
Convertit un objet array-like ou tensor en torch.Tensor float32 sur le device actif.
|
|
54
|
-
|
|
55
|
-
list_to_cpu(cuda_tensors)
|
|
56
|
-
Copie une liste de tenseurs CUDA et les transfère sur le CPU.
|
|
57
|
-
|
|
58
|
-
rglen(list)
|
|
59
|
-
Renvoie un range correspondant aux indices d'une liste.
|
|
60
|
-
|
|
61
|
-
fPrintDoc(obj)
|
|
62
|
-
Crée une fonction lambda qui affiche le docstring d'un objet.
|
|
63
|
-
|
|
64
|
-
image_from_url(url, img_size)
|
|
65
|
-
Télécharge une image depuis une URL, la redimensionne et génère :
|
|
66
|
-
- img_array : np.ndarray (H, W, 3) pour affichage.
|
|
67
|
-
- inputs : tenseur (H*W, 2) coordonnées normalisées.
|
|
68
|
-
- outputs : tenseur (H*W, 3) valeurs RGB cibles.
|
|
69
|
-
|
|
70
|
-
Visualisation et comparaison
|
|
71
|
-
----------------------------
|
|
72
|
-
|
|
73
|
-
plot(img_array, inputs, *nets)
|
|
74
|
-
Affiche pour chaque réseau l'image reconstruite à partir des entrées.
|
|
75
|
-
|
|
76
|
-
compare(img_array, inputs, *nets)
|
|
77
|
-
Affiche pour chaque réseau l'erreur absolue entre l'image originale et la prédiction,
|
|
78
|
-
et trace également les pertes cumulées. Chaque réseau doit posséder :
|
|
79
|
-
- encoding(x) si RFF activé
|
|
80
|
-
- model() retournant un tenseur (N, 3)
|
|
81
|
-
- attribute losses
|
|
82
|
-
|
|
83
|
-
Objets et dictionnaires
|
|
84
|
-
-----------------------
|
|
85
|
-
|
|
86
|
-
Norm_list : dict
|
|
87
|
-
Contient les modules PyTorch correspondant aux fonctions de normalisation/activation
|
|
88
|
-
disponibles (ReLU, GELU, Sigmoid, Tanh, etc.)
|
|
89
|
-
|
|
90
|
-
Criterion_list : dict
|
|
91
|
-
Contient les fonctions de perte PyTorch disponibles (MSE, L1, SmoothL1, BCE, CrossEntropy, etc.)
|
|
92
|
-
|
|
93
|
-
Optim_list(self, learning_rate)
|
|
94
|
-
Retourne un dictionnaire d’optimiseurs PyTorch initialisés avec `self.model.parameters()`.
|
|
95
|
-
|
|
96
|
-
Device et configuration
|
|
97
|
-
-----------------------
|
|
98
|
-
|
|
99
|
-
device
|
|
100
|
-
Device par défaut (GPU si disponible, sinon CPU).
|
|
101
|
-
|
|
102
|
-
Paramètres matplotlib et PyTorch
|
|
103
|
-
- Style global pour fond transparent et texte gris.
|
|
104
|
-
- Optimisations CUDA activées pour TF32, matmul et convolutions.
|
|
105
|
-
- Autograd configuré pour privilégier les performances.
|
|
106
|
-
|
|
107
|
-
Notes générales
|
|
108
|
-
---------------
|
|
109
|
-
|
|
110
|
-
- Toutes les méthodes de MLP utilisent les tenseurs sur le device global (CPU ou GPU).
|
|
111
|
-
- Les images doivent être normalisées entre 0 et 1.
|
|
112
|
-
- Les fonctions interactives (plot, compare) utilisent matplotlib en mode interactif.
|
|
113
|
-
- Le module est conçu pour fonctionner dans Jupyter et scripts Python classiques.
|
|
114
|
-
"""
|
|
115
|
-
|
|
116
8
|
# Import des dépendances et utilitaires globaux (device, settings, tensorise, etc.)
|
|
117
9
|
from .Dependances import norms, crits, optims, rglen, device, pi, e, tensorise
|
|
118
10
|
|
|
119
11
|
# Modèle MLP principal + fonction d'entraînement associée
|
|
120
|
-
from .MLP import MLP
|
|
12
|
+
from .MLP import MLP
|
|
121
13
|
|
|
122
|
-
from .
|
|
14
|
+
from .Trainer import Trainer
|
|
123
15
|
|
|
124
|
-
|
|
125
|
-
from .tools import image, MNIST, AirfRANS
|
|
16
|
+
from .UI import *
|
|
126
17
|
|
|
127
|
-
__version__ = "0.2.
|
|
18
|
+
__version__ = "0.2.3"
|
|
@@ -0,0 +1,172 @@
|
|
|
1
|
+
Metadata-Version: 2.4
|
|
2
|
+
Name: NeuralNetworks
|
|
3
|
+
Version: 0.2.3
|
|
4
|
+
Summary: Multi-Layer Perceptrons with multi-Fourier encoding, variable learning rate, visualization and PyTorch compilation
|
|
5
|
+
Author-email: Alexandre Brun <alexandre51160@gmail.com>
|
|
6
|
+
License: GPL-3.0-or-later
|
|
7
|
+
Project-URL: Documentation, https://xxxfetraxxx.github.io/NeuralNetworks/
|
|
8
|
+
Project-URL: Source, https://github.com/xXxFetraxXx/NeuralNetworks
|
|
9
|
+
Classifier: Programming Language :: Python :: 3
|
|
10
|
+
Classifier: License :: OSI Approved :: GNU General Public License v3 or later (GPLv3+)
|
|
11
|
+
Classifier: Operating System :: OS Independent
|
|
12
|
+
Requires-Python: >=3.9
|
|
13
|
+
Description-Content-Type: text/markdown
|
|
14
|
+
License-File: LICENSE
|
|
15
|
+
Requires-Dist: numpy>=1.25
|
|
16
|
+
Requires-Dist: matplotlib>=3.10
|
|
17
|
+
Requires-Dist: tqdm>=4.66
|
|
18
|
+
Requires-Dist: torch<3.0,>=2.9.1
|
|
19
|
+
Requires-Dist: torchvision<1.0,>=0.24
|
|
20
|
+
Requires-Dist: torchaudio<3.0,>=2.9
|
|
21
|
+
Requires-Dist: torchmetrics>=1.8
|
|
22
|
+
Requires-Dist: visualtorch>=0.2
|
|
23
|
+
Requires-Dist: random-fourier-features-pytorch>=1.0
|
|
24
|
+
Requires-Dist: IPython>=8.16
|
|
25
|
+
Requires-Dist: requests
|
|
26
|
+
Requires-Dist: airfrans
|
|
27
|
+
Requires-Dist: scipy
|
|
28
|
+
Requires-Dist: pandas
|
|
29
|
+
Dynamic: license-file
|
|
30
|
+
|
|
31
|
+
# NeuralNetworks Module
|
|
32
|
+
|
|
33
|
+
Module complet pour la création et l'entraînement de [MultiLayer Perceptrons](https://en.wikipedia.org/wiki/Multilayer_perceptron) (MLP)
|
|
34
|
+
avec encodage optionnel [Fourier Features](https://en.wikipedia.org/wiki/Random_feature#Random_Fourier_feature) et gestion automatique des pertes.
|
|
35
|
+
|
|
36
|
+
---
|
|
37
|
+
|
|
38
|
+
## Contenu principal
|
|
39
|
+
|
|
40
|
+
### Classes
|
|
41
|
+
|
|
42
|
+
#### `MLP` {#MLP}
|
|
43
|
+
|
|
44
|
+
Cette classe fournit :
|
|
45
|
+
|
|
46
|
+
- Un [MLP](https://en.wikipedia.org/wiki/Multilayer_perceptron) entièrement configurable (dimensions, activation).
|
|
47
|
+
- Option d'encodage [Fourier Features](https://en.wikipedia.org/wiki/Random_feature#Random_Fourier_feature) sur les entrées.
|
|
48
|
+
|
|
49
|
+
---
|
|
50
|
+
|
|
51
|
+
##### Paramètres
|
|
52
|
+
|
|
53
|
+
| **Paramètres** | **Type** | **Optionnel** | **Description** |
|
|
54
|
+
|----------------------|--------------------------------------------------------------------------------------------------|---------------|--------------------------------------------------------------------------------|
|
|
55
|
+
| `input_size` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Taille des données en entrée au réseau. Default: `1` |
|
|
56
|
+
| `output_size` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Taille des données en sortie au réseau. Default: `1` |
|
|
57
|
+
| `hidden_layers` | [`list[int]`](https://docs.python.org/3/library/stdtypes.html#sequence-types-list-tuple-range) | Oui | Dimensions successives des couches intermédiaires du réseau. Default: `[1]` |
|
|
58
|
+
| `sigmas` | [`list[float]`](https://docs.python.org/3/library/stdtypes.html#sequence-types-list-tuple-range) | Oui | Liste de sigma pour encodages RFF. Si None : passthrough. Default: `None` |
|
|
59
|
+
| `fourier_input_size` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | WIP. Default: `2` |
|
|
60
|
+
| `nb_fourier` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Nombre de fréquences utilisées pour les Fourier Features. Default: `8` |
|
|
61
|
+
| `norm` | [`norm`](#norms) | Oui | Type de normalisation / activation pour les couches cachées. Default: `'Relu'` |
|
|
62
|
+
| `name` | [`str`](https://docs.python.org/3/library/stdtypes.html#text-sequence-type-str) | Oui | Nom du réseau pour identification ou affichage. Default: `'Net'` |
|
|
63
|
+
|
|
64
|
+
##### Attributs
|
|
65
|
+
|
|
66
|
+
- `losses : list[float]` — Historique des pertes cumulées lors de l'entraînement
|
|
67
|
+
- `learnings : list[float]` — Historique des taux d'apprentissage utilisées lors de l'entraînement
|
|
68
|
+
- `model : nn.Sequential` — MLP complet construit dynamiquement
|
|
69
|
+
- `name : str` — Nom du réseau
|
|
70
|
+
|
|
71
|
+
---
|
|
72
|
+
|
|
73
|
+
#### `Trainer`
|
|
74
|
+
|
|
75
|
+
Cette classe fournit :
|
|
76
|
+
|
|
77
|
+
- Méthode pour entraîner des réseaux avec mini-batchs et [Automatic Mixed Precision](https://docs.pytorch.org/tutorials/recipes/recipes/amp_recipe.html)
|
|
78
|
+
|
|
79
|
+
##### Paramètres
|
|
80
|
+
|
|
81
|
+
| **Paramètres** | **Type** | **Optionnel** | **Description** |
|
|
82
|
+
|----------------|-------------------------------------------------------------------------------------------------|---------------|-----------------------------------------------------------------------------------------------------------------|
|
|
83
|
+
| `*nets` | [`MLP`](#MLP) | Non | Réseaux pour lesquels le trainer va entrainer. |
|
|
84
|
+
| `inputs` | [`numpy.array(list[float])`](https://numpy.org/doc/stable/reference/generated/numpy.array.html) | Non | Données en entrée au réseau. |
|
|
85
|
+
| `outputs` | [`numpy.array(list[float])`](https://numpy.org/doc/stable/reference/generated/numpy.array.html) | Non | Données en sortie au réseau. |
|
|
86
|
+
| `test_size` | [`float`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Proportion des données à utiliser pendant l'entrainement. Si None : utilise toutes les données. Default: `None` |
|
|
87
|
+
| `optim` | [`optim`](#optims) | Oui | Nom de l’optimiseur à utiliser (doit exister dans `optims()`). Default: `'Adam'` |
|
|
88
|
+
| `init_lr` | [`float`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Taux d’apprentissage initial pour l’optimiseur. Default: `1e-3` |
|
|
89
|
+
| `crit` | [`crit`](#crits) | Oui | Fonction de perte à utiliser (doit exister dans `crits()`). Default: `MSE'` |
|
|
90
|
+
| `batch_size` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Taille des minibatchs. Default: `1024` |
|
|
91
|
+
|
|
92
|
+
##### `Trainer.train`
|
|
93
|
+
|
|
94
|
+
Lancement d'un entrainement avec le trainer définit
|
|
95
|
+
|
|
96
|
+
| **Paramètres** | **Type** | **Optionnel** | **Description** |
|
|
97
|
+
|-----------------|------------------------------------------------------------------------------------------|---------------|-----------------------------------------|
|
|
98
|
+
| `num_epochs` | [`int`](https://docs.python.org/3/library/stdtypes.html#numeric-types-int-float-complex) | Oui | Nombres d'itérations à effectuer. |
|
|
99
|
+
| `activate_tqdm` | [`boolean`](https://docs.python.org/3/library/stdtypes.html#boolean-type-bool) | Oui | Utilisation d'une barre de progression. |
|
|
100
|
+
|
|
101
|
+
---
|
|
102
|
+
|
|
103
|
+
### Dictionnaires
|
|
104
|
+
|
|
105
|
+
#### `norms()` {#norms}
|
|
106
|
+
|
|
107
|
+
| **Valeurs** | **Module PyTorch** | **Description** |
|
|
108
|
+
|---------------|--------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------|
|
|
109
|
+
| `'ReLU'` | [`nn.ReLU()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.ReLU.html) | Fonction d'activation ReLU classique (Rectified Linear Unit). |
|
|
110
|
+
| `'LeakyReLU'` | [`nn.LeakyReLU()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.LeakyReLU.html) | ReLU avec un petit coefficient pour les valeurs négatives (paramètre `negative_slope`). |
|
|
111
|
+
| `'ELU'` | [`nn.ELU()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.ELU.html) | Fonction d'activation ELU (Exponential Linear Unit), qui a une meilleure gestion des valeurs négatives. |
|
|
112
|
+
| `'SELU'` | [`nn.SELU()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.SELU.html) | SELU (Scaled Exponential Linear Unit), une version améliorée de l'ELU pour des réseaux auto-normalisants. |
|
|
113
|
+
| `'GELU'` | [`nn.GELU()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.GELU.html) | GELU (Gaussian Error Linear Unit), une activation probabiliste basée sur une fonction gaussienne. |
|
|
114
|
+
| `'Mish'` | [`nn.Mish()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Mish.html) | ReLU différentiable en tout points avec passage négatif. |
|
|
115
|
+
| `'Softplus'` | [`nn.Softplus()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Softplus.html) | Fonction d'activation qui approxime ReLU mais de manière lissée. |
|
|
116
|
+
| `'Sigmoid'` | [`nn.Sigmoid()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Sigmoid.html) | Fonction d'activation Sigmoid, qui produit une sortie entre 0 et 1. |
|
|
117
|
+
| `'Tanh'` | [`nn.Tanh()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Tanh.html) | Fonction d'activation Tanh, avec une sortie dans l'intervalle [-1, 1]. |
|
|
118
|
+
| `'Hardtanh'` | [`nn.Hardtanh()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Hardtanh.html) | Variante de Tanh, avec des sorties limitées entre une plage spécifiée. |
|
|
119
|
+
| `'Softsign'` | [`nn.Softsign()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.Softsign.html) | Fonction d'activation similaire à Tanh mais plus souple, avec des valeurs dans [-1, 1]. |
|
|
120
|
+
|
|
121
|
+
#### `crits()` {#crits}
|
|
122
|
+
|
|
123
|
+
| **Valeurs** | **Module PyTorch** | **Description** |
|
|
124
|
+
|--------------------------|--------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------|
|
|
125
|
+
| `'MSE'` | [`nn.MSELoss`](https://pytorch.org/docs/stable/generated/torch.nn.MSELoss.html) | Perte utilisée pour les régressions. |
|
|
126
|
+
| `'L1'` | [`nn.L1Loss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.L1Loss.html) | Perte utilisée pour la régularisation. |
|
|
127
|
+
| `'SmoothL1'` | [`nn.SmoothL1Loss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.SmoothL1Loss.html) | Perte moins sensible aux outliers. |
|
|
128
|
+
| `'Huber'` | [`nn.HuberLoss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.HuberLoss.html) | Perte moins affectée par les grands écarts. |
|
|
129
|
+
| `'CrossEntropy'` | [`nn.CrossEntropyLoss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html) | Perte utilisée pour les problèmes de classification multi-classes. |
|
|
130
|
+
| `'KLDiv'` | [`nn.KLDivLoss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html) | Perte utilisée pour des modèles probabilistes. |
|
|
131
|
+
| `'PoissonNLL'` | [`nn.PoissonNLLLoss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.PoissonNLLLoss.html) | Perte utilisée pour la modélisation de comptages. |
|
|
132
|
+
| `'MultiLabelSoftMargin'` | [`nn.MultiLabelSoftMarginLoss()`](https://docs.pytorch.org/docs/stable/generated/torch.nn.MultiLabelSoftMarginLoss.html) | Perte utilisée pour les problèmes de classification multi-étiquettes. |
|
|
133
|
+
|
|
134
|
+
#### `optims()` {#optims}
|
|
135
|
+
|
|
136
|
+
| **Valeurs** | **Module PyTorch** | **Description** |
|
|
137
|
+
|---------------|--------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------|
|
|
138
|
+
| `'Adadelta'` | [`optim.Adadelta()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.Adadelta.html) | Optimiseur basé sur les gradients adaptatifs, sans nécessité de réglage du taux d'apprentissage. |
|
|
139
|
+
| `'Adafactor'` | [`optim.Adafactor()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.Adafactor.html) | Optimiseur variant d'Adam avec une mise à jour plus efficace de la mémoire pour de grands modèles. |
|
|
140
|
+
| `'Adam'` | [`optim.Adam()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.Adam.html) | Optimiseur utilisant un gradient stochastique adaptatif avec des moyennes mobiles des gradients. |
|
|
141
|
+
| `'AdamW'` | [`optim.AdamW()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.AdamW.html) | Optimiseur avec une régularisation L2 (weight decay) distincte. |
|
|
142
|
+
| `'Adamax'` | [`optim.Adamax()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.Adamax.html) | Optimiseur utilisant une norme infinie pour les gradients, plus stable pour certaines configurations. |
|
|
143
|
+
| `'ASGD'` | [`optim.ASGD()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.ASGD.html) | Optimiseur utilisé pour de grandes données avec une moyenne des gradients. |
|
|
144
|
+
| `'NAdam'` | [`optim.NAdam()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.NAdam.html) | Optimiseur avec une adaptation des moments de second ordre. |
|
|
145
|
+
| `'RAdam'` | [`optim.RAdam()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.RAdam.html) | Optimiseur qui ajuste dynamiquement les moments pour stabiliser l'entraînement. |
|
|
146
|
+
| `'RMSprop'` | [`optim.RMSprop()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.RMSprop.html) | Optimiseur utilisant une moyenne mobile des carrés des gradients pour réduire les oscillations. |
|
|
147
|
+
| `'Rprop'` | [`optim.Rprop()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.Rprop.html) | Optimiseur basé sur les mises à jour des poids indépendantes des gradients. |
|
|
148
|
+
| `'SGD'` | [`optim.SGD()`](https://docs.pytorch.org/docs/stable/generated/torch.optim.SGD.html) | Optimiseur souvent utilisée avec un taux d'apprentissage constant ou ajusté. |
|
|
149
|
+
|
|
150
|
+
---
|
|
151
|
+
|
|
152
|
+
### `device`
|
|
153
|
+
|
|
154
|
+
variable principale d'allocation des performances
|
|
155
|
+
|
|
156
|
+
#### **Apple Silicon (macOS)**
|
|
157
|
+
- Si le système d'exploitation est macOS (nommé `darwin` dans `platform.system()`), la fonction vérifie si l'accélérateur **Metal Performance Shaders** (MPS) est disponible sur l'appareil.
|
|
158
|
+
- Si MPS est disponible (`torch.backends.mps.is_available()`), l'appareil cible sera défini sur `'MPS'` (c'est un équivalent de CUDA pour les appareils Apple Silicon).
|
|
159
|
+
|
|
160
|
+
#### **Windows**
|
|
161
|
+
- Si le système d'exploitation est Windows, la fonction vérifie d'abord si **CUDA** (NVIDIA) est disponible avec `torch.cuda.is_available()`. Si c'est le cas, le périphérique sera défini sur **CUDA**.
|
|
162
|
+
|
|
163
|
+
#### **Linux**
|
|
164
|
+
- Si le système d'exploitation est Linux, plusieurs vérifications sont effectuées :
|
|
165
|
+
1. **CUDA** (NVIDIA) : Si `torch.cuda.is_available()` renvoie `True`, le périphérique sera défini sur `'CUDA'`.
|
|
166
|
+
2. **ROCm** (AMD) : Si le système supporte **ROCm** via `torch.backends.hip.is_available()`, l'appareil sera défini sur `'CUDA'` (ROCm est utilisé pour les cartes AMD dans le cadre de l'API CUDA).
|
|
167
|
+
3. **Intel oneAPI / XPU** : Si le système prend en charge **Intel oneAPI** ou **XPU** via `torch.xpu.is_available()`, le périphérique sera défini sur **XPU**.
|
|
168
|
+
|
|
169
|
+
#### **Système non reconnu**
|
|
170
|
+
- Si aucune des conditions ci-dessus n'est remplie, la fonction retourne `'CPU'` comme périphérique par défaut.
|
|
171
|
+
|
|
172
|
+
---
|
|
@@ -0,0 +1,20 @@
|
|
|
1
|
+
NeuralNetworks/__init__.py,sha256=fheTarkDt5IAOzXWTYDY9Jt9jg4heUVbIQ6H7RgwrCc,668
|
|
2
|
+
NeuralNetworks/Dependances/__init__.py,sha256=qEpDbSD8cCq-E5XVisNUVf3kZOYopDnQWToyRefPgKE,1227
|
|
3
|
+
NeuralNetworks/Dependances/matplot.py,sha256=elS8u6DZHYP-8mHEpYNOw3jDzhCAWTld9tm3OAD46zw,957
|
|
4
|
+
NeuralNetworks/Dependances/pytorch.py,sha256=RQlSV3-8uHAoEgK0FBae7O4Mdug7h_MY--sN1fK59qw,3329
|
|
5
|
+
NeuralNetworks/MLP/FourierFeatures.py,sha256=klgRM1HK09oA2NRMDxQMjJJ-WoUd5hV1ip5hHe9rHjI,3250
|
|
6
|
+
NeuralNetworks/MLP/Layers.py,sha256=WAksXsiMxaClyYTxPhlyQbwwj9qTtXs3EWCO1RqjUHY,945
|
|
7
|
+
NeuralNetworks/MLP/__init__.py,sha256=Q9VvDPArSbxP1Idrog7FWh-qba3rDoVl_K6kw9sSnvk,3052
|
|
8
|
+
NeuralNetworks/MLP/inference.py,sha256=9aL7pUx1LTVvrc6UYHX049UjODTgHY6cweFcp2gequQ,853
|
|
9
|
+
NeuralNetworks/Trainer/__init__.py,sha256=v0qKqx9XkYWkuouNNy0jTHQ_cZqYhFj98qrwSXlDXy0,1711
|
|
10
|
+
NeuralNetworks/Trainer/dynamic_learning_rate.py,sha256=1JAD-k0cjdL_71zGeeCUFOa61H4PzFITDjZ2nK0TzXU,2340
|
|
11
|
+
NeuralNetworks/Trainer/sample_data.py,sha256=7waC9colb7DXU4yKMcgcCnPG3Guv-isipcgVHJPPCNE,673
|
|
12
|
+
NeuralNetworks/Trainer/train.py,sha256=NAbHFKg4hl96OXq_i63lcRYwrPHiuKu7ihexakhpgDY,3182
|
|
13
|
+
NeuralNetworks/UI/Learnings.py,sha256=4TBR5pcjyoBeL7eikNKM6xn25jnqL-mWT7hbrt9q-Gw,1418
|
|
14
|
+
NeuralNetworks/UI/Losses.py,sha256=Tu5xuDiutR9a4xcZKpyWN_tzSDu3_fImEf8FbAEehio,1378
|
|
15
|
+
NeuralNetworks/UI/__init__.py,sha256=L96xwQZJ-HoqqOGxaheosiDKHR3mRopuXkif--rO1J4,409
|
|
16
|
+
neuralnetworks-0.2.3.dist-info/licenses/LICENSE,sha256=OXLcl0T2SZ8Pmy2_dmlvKuetivmyPd5m1q-Gyd-zaYY,35149
|
|
17
|
+
neuralnetworks-0.2.3.dist-info/METADATA,sha256=NBOkoMO48dNjlelcIFSt5n7MAQ6wFCVHjcLZNoBZmvw,17339
|
|
18
|
+
neuralnetworks-0.2.3.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
|
|
19
|
+
neuralnetworks-0.2.3.dist-info/top_level.txt,sha256=h18nmC1BX7avyAAwKh0OQWezxgXmOpmVtbFq-8Mcbms,15
|
|
20
|
+
neuralnetworks-0.2.3.dist-info/RECORD,,
|