scilens 0.4.3__py3-none-any.whl → 0.4.5__py3-none-any.whl

scilens/components/compare_2_files.py

@@ -2,31 +2,45 @@ import os,re
 from scilens.run.task_context import TaskContext
 from scilens.readers.reader_interface import ReaderInterface
 from scilens.components.file_reader import FileReader
-from scilens.components.compare_models import SEVERITY_ERROR
+from scilens.components.compare_models import SEVERITY_ERROR,SEVERITY_WARNING
 from scilens.components.compare_errors import CompareErrors
 from scilens.components.compare_floats import CompareFloats
 class Compare2Files:
 	def __init__(A,context):A.context=context
 	def compare(B,path_test,path_ref):
-		W='comparison_errors';V='comparison';S=path_ref;R=path_test;Q='reader';P='skipped';N='error';M=True;L='ref';G='path';F='test';A={F:{},L:{},V:None,W:None};D={F:{G:R},L:{G:S}};O=B.context.config.compare.sources.not_matching_source_ignore_pattern
-		for(H,I)in D.items():
-			if not I.get(G)or not os.path.exists(I[G]):
-				if O:
-					if O=='*':A[P]=M;return A
+		i='status';h='severity';g='comparison_errors';f='comparison';Y=path_ref;X=path_test;W='err_index';V='reader';U='skipped';T=None;R='metrics';Q='error';P=True;O='ref';K='path';J='test';A={J:{},O:{},f:T,g:T};H={J:{K:X},O:{K:Y}};S=B.context.config.compare.sources.not_matching_source_ignore_pattern
+		for(C,L)in H.items():
+			if not L.get(K)or not os.path.exists(L[K]):
+				if S:
+					if S=='*':A[U]=P;return A
 					else:
-						X=os.path.basename(S if H==F else R);Y=re.search(O,X)
-						if Y:A[P]=M;return A
-				A[N]=f"file {H} does not exist";return A
-		Z=FileReader(B.context.working_dir,B.context.config.file_reader,B.context.config.readers,config_alternate_path=B.context.origin_working_dir)
-		for(H,I)in D.items():D[H][Q]=Z.read(I[G])
-		C=D[F][Q];J=D[L][Q]
-		if not C or not J:A[P]=M;return A
-		A[F]=C.info();A[L]=J.info()
-		if C.read_error:A[N]=C.read_error;return A
-		K=CompareErrors(B.context.config.compare.errors_limit,B.context.config.compare.ignore_warnings);a=CompareFloats(K,B.context.config.compare.float_thresholds);C.compare(a,J,param_is_ref=M);E=K.root_group;T={'total_diffs':E.total_diffs}
-		if E.info:T.update(E.info)
-		A[V]=T;A[W]=K.get_data()
-		if E.error:A[N]=E.error;return A
-		C.close();J.close();U=len(K.errors[SEVERITY_ERROR])
-		if U>0:b=f"{U} comparison errors";A[N]=b
+						j=os.path.basename(Y if C==J else X);k=re.search(S,j)
+						if k:A[U]=P;return A
+				A[Q]=f"file {C} does not exist";return A
+		l=FileReader(B.context.working_dir,B.context.config.file_reader,B.context.config.readers,config_alternate_path=B.context.origin_working_dir)
+		for(C,L)in H.items():H[C][V]=l.read(L[K])
+		D=H[J][V];F=H[O][V]
+		if not D or not F:A[U]=P;return A
+		A[J]=D.info();A[O]=F.info()
+		if D.read_error:A[Q]=D.read_error;return A
+		E=CompareErrors(B.context.config.compare.errors_limit,B.context.config.compare.ignore_warnings);Z=CompareFloats(E,B.context.config.compare.float_thresholds);a=D.compare(Z,F,param_is_ref=P);G=E.root_group;M=T
+		if B.context.config.compare.metrics_compare and(D.metrics or F.metrics):
+			o,M=E.add_group(R,R,parent=G)
+			if B.context.config.compare.metrics_thresholds:b=CompareFloats(E,B.context.config.compare.metrics_thresholds)
+			else:b=Z
+			b.compare_dicts(D.metrics,F.metrics,M)
+		I={'total_diffs':G.total_diffs}
+		if G.info:I.update(G.info)
+		if a:I.update(a)
+		if M:
+			N={}
+			for c in[SEVERITY_ERROR,SEVERITY_WARNING]:
+				for(m,d)in enumerate(E.errors[c]):
+					if d.group==M.id:N[d.info['key']]={h:c,W:m}
+			I[R]={}
+			for C in D.metrics.keys():I[R][C]={i:N[C][h],W:N[C][W]}if C in N else{i:'success'}
+		A[f]=I;A[g]=E.get_data()
+		if G.error:A[Q]=G.error;return A
+		D.close();F.close();e=len(E.errors[SEVERITY_ERROR])
+		if e>0:n=f"{e} comparison errors";A[Q]=n
 		return A

scilens/components/compare_floats.py

@@ -1,4 +1,5 @@
-_C='amplitude'
+_D='amplitude'
+_C='diff'
 _B=False
 _A=None
 import logging
@@ -7,7 +8,7 @@ from scilens.components.compare_errors import CompareErrors
 from scilens.config.models import CompareFloatThresholdsConfig
 try:from scilens_compare import vectors as CheckVectors
 except ModuleNotFoundError:pass
-def vector_get_amplitude(vector):min_val=min(vector);max_val=max(vector);return{'min':min_val,'max':max_val,_C:abs(max_val-min_val)}
+def vector_get_amplitude(vector):min_val=min(vector);max_val=max(vector);return{'min':min_val,'max':max_val,_D:abs(max_val-min_val)}
 class CompareFloats:
 	def __init__(self,compare_errors,config):self.compare_errors=compare_errors;self.thresholds=config
 	def compare_2_values(self,test,reference):
@@ -22,6 +23,14 @@ class CompareFloats:
 			if err<thr.absolute_error_max:
 				if err>thr.absolute_error_min:return Compare2ValuesResults(SEVERITY_WARNING,f"Abs. err. > {thr.absolute_error_min} and < {thr.absolute_error_max}",comp_err)
 			else:return Compare2ValuesResults(SEVERITY_ERROR,f"Abs. err. > {thr.absolute_error_max}",comp_err)
+	def compare_dicts(self,test_dict,reference_dict,group):
+		diffs_count=0;err_limit_reached=_B
+		if set(test_dict.keys())!=set(reference_dict.keys()):raise Exception('Dictionaries have different keys')
+		for key in test_dict:
+			test_value=test_dict[key];reference_value=reference_dict[key];res_compare=self.compare_2_values(test_value,reference_value)
+			if res_compare:err_limit_reached=self.compare_errors.add(group,res_compare,info={'key':key});diffs_count+=1;group.incr(_C)
+			if err_limit_reached:break
+		return err_limit_reached,diffs_count
 	def compare_vectors(self,test_vector,reference_vector,group,info_vector=_A):
 		B='ignore';A='RIAE_trapezoid'
 		if len(test_vector)!=len(reference_vector):raise Exception('Vectors have different lengths')
@@ -29,7 +38,7 @@ class CompareFloats:
 		if ponderation_method=='RIAE':ponderation_method=A
 		if ponderation_method:logging.debug(f"Using ponderation method: {ponderation_method} with reduction_method {self.thresholds.vectors.reduction_method}")
 		amplitude_compare=_A
-		if self.thresholds.vectors and ponderation_method=='amplitude_moderation':amplitude=vector_get_amplitude(test_vector)[_C];amplitude_compare=amplitude*self.thresholds.vectors.amplitude_moderation_multiplier;reduction_method=self.thresholds.vectors.reduction_method
+		if self.thresholds.vectors and ponderation_method=='amplitude_moderation':amplitude=vector_get_amplitude(test_vector)[_D];amplitude_compare=amplitude*self.thresholds.vectors.amplitude_moderation_multiplier;reduction_method=self.thresholds.vectors.reduction_method
 		RIAE_force_severity=_A
 		if self.thresholds.vectors and ponderation_method in[A,'RIAE_midpoint']:
 			if'CheckVectors'not in globals():raise Exception('scilens_compare not found. Please install scilens-compare package with `pip install scilens-compare`.')
@@ -42,7 +51,7 @@ class CompareFloats:
 		for idx in range(nb):
 			diff=test_vector[idx]-reference_vector[idx]
 			if diff==0:continue
-			else:diffs_count+=1;group.incr('diff')
+			else:diffs_count+=1;group.incr(_C)
 			if err_limit_reached:continue
 			if RIAE_force_severity==B:continue
 			if amplitude_compare is not _A and abs(diff)<amplitude_compare:
@@ -66,7 +75,7 @@ class CompareFloats:
 			for j in range(test_nb_columns):
 				diff=test_mat[i][j]-ref_mat[i][j]
 				if diff==0:continue
-				else:diffs_count+=1;group.incr('diff')
+				else:diffs_count+=1;group.incr(_C)
 				if err_limit_reached:continue
 				res_compare=self.compare_2_values(test_mat[i][j],ref_mat[i][j])
 				if res_compare:

scilens/components/compare_models.py

@@ -9,7 +9,7 @@ class CompareFloatsErr:is_relative:bool;value:float;test:float|_A=_A;reference:f
 @dataclass
 class Compare2ValuesResults:severity:str;message:str;comp_err:CompareFloatsErr|_A=_A
 class CompareErr(BaseModel):err:CompareFloatsErr|_A;msg:int;group:int|_A=_A;info:dict|_A=_A
-COMPARE_GROUP_TYPE=Literal['node','lines','vectors',' matrix']
+COMPARE_GROUP_TYPE=Literal['node','lines','vectors',' matrix','metrics','pixels']
 @dataclass
 class CompareGroup:
 	id:int;type:COMPARE_GROUP_TYPE;name:str;parent:Optional['CompareGroup']=_A;error:str|_A=_A;total_diffs:int=0;total_warnings:int=0;total_errors:int=0;data:dict|_A=_A;info:dict|_A=_A

scilens/config/models/app.py

@@ -6,4 +6,4 @@ from scilens.config.models.execute_and_compare import ExecuteAndCompareConfig
 from scilens.config.models.file_reader import FileReaderConfig
 from scilens.config.models.readers import ReadersConfig
 from scilens.config.models.report import ReportConfig
-class AppConfig(BaseModel):processor:str=Field(description='Nom du processeur à utiliser. `Compare` ou `ExecuteAndCompare`.');variables:dict[str,str]=Field(default={},description='Variables Utilisateur.');tags:list[str]|None=Field(default=None,description="Utilisé dans un contexte ligne de commande, utilisé en conjonction avec l'option `--discover` pour filtrer les cas à éxécuter.");execute:ExecuteConfig=Field(default=ExecuteConfig(),description=_A);execute_and_compare:ExecuteAndCompareConfig=Field(default=ExecuteAndCompareConfig(),description=_A);file_reader:FileReaderConfig=Field(default=FileReaderConfig(),description='Configuration des readers fichiers.');readers:ReadersConfig=Field(default=ReadersConfig(),description='Configuration des readers.');compare:CompareConfig=Field(default=CompareConfig(),description='Configuration utile aux processeurs `Compare` et `ExecuteAndCompare`');report:ReportConfig=Field(default=ReportConfig(),description='Configuration des Reports.')
+class AppConfig(BaseModel,extra='forbid'):processor:str=Field(description='Nom du processeur à utiliser. `Compare` ou `ExecuteAndCompare`.');variables:dict[str,str]=Field(default={},description='Variables Utilisateur.');tags:list[str]|None=Field(default=None,description="Utilisé dans un contexte ligne de commande, utilisé en conjonction avec l'option `--discover` pour filtrer les cas à éxécuter.");execute:ExecuteConfig=Field(default=ExecuteConfig(),description=_A);execute_and_compare:ExecuteAndCompareConfig=Field(default=ExecuteAndCompareConfig(),description=_A);file_reader:FileReaderConfig=Field(default=FileReaderConfig(),description='Configuration des readers fichiers.');readers:ReadersConfig=Field(default=ReadersConfig(),description='Configuration des readers.');compare:CompareConfig=Field(default=CompareConfig(),description='Configuration utile aux processeurs `Compare` et `ExecuteAndCompare`');report:ReportConfig=Field(default=ReportConfig(),description='Configuration des Reports.')

scilens/config/models/compare.py

@@ -1,5 +1,6 @@
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field
 from scilens.config.models.compare_float_thresholds import CompareFloatThresholdsConfig
-class CompareSourceFoldersConfig(BaseModel):not_matching_source_ignore_pattern:str|_A=Field(default=_A,description="Ignore les fichiers de test et de référence qui ne correspondent pas selon l'expression régulière défini (si = `*` ignore tout).");recursive:bool=Field(default=False,description='Recherche récursive dans les répertoires de test et de référence.');additional_path_suffixes:list[str]|_A=Field(default=_A,description='Additionals paths to add after test and reference folders.');test_folder_relative_path:str=Field(default='test',description='Relative path to the working directory for the test folder.');reference_folder_relative_path:str=Field(default='reference',description='Relative path to the working directory for the reference folder.');test_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier test à ignorer pour matcher les noms. Ex : `.test` or `test_`');reference_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier référence à ignorer pour matcher les noms. Ex : `.ref` or `ref_`')
-class CompareConfig(BaseModel):sources:CompareSourceFoldersConfig=Field(default=CompareSourceFoldersConfig(),description='Configuration pour les sources des données de test et de référence.');float_thresholds:CompareFloatThresholdsConfig=Field(default=CompareFloatThresholdsConfig(),description='Seuil de comparaison pour les valeurs flottantes.');ignore_warnings:bool=Field(default=False,description='Si `true`, ne lève pas les erreurs de sévérité `warning`.');errors_limit:int=Field(default=1000,description="Limite d'erreurs à atteindre avant de s'arrêter (Sévérité `warning` et `error`).")
+class CompareSourceFoldersConfig(BaseModel,extra=_B):not_matching_source_ignore_pattern:str|_A=Field(default=_A,description="Ignore les fichiers de test et de référence qui ne correspondent pas selon l'expression régulière défini (si = `*` ignore tout).");recursive:bool=Field(default=False,description='Recherche récursive dans les répertoires de test et de référence.');additional_path_suffixes:list[str]|_A=Field(default=_A,description='Additionals paths to add after test and reference folders.');test_folder_relative_path:str=Field(default='test',description='Relative path to the working directory for the test folder.');reference_folder_relative_path:str=Field(default='reference',description='Relative path to the working directory for the reference folder.');test_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier test à ignorer pour matcher les noms. Ex : `.test` or `test_`');reference_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier référence à ignorer pour matcher les noms. Ex : `.ref` or `ref_`')
+class CompareConfig(BaseModel,extra=_B):sources:CompareSourceFoldersConfig=Field(default=CompareSourceFoldersConfig(),description='Configuration pour les sources des données de test et de référence.');float_thresholds:CompareFloatThresholdsConfig=Field(default=CompareFloatThresholdsConfig(),description='Seuils de comparaison pour les valeurs flottantes.');ignore_warnings:bool=Field(default=False,description='Si `true`, ne lève pas les erreurs de sévérité `warning`.');errors_limit:int=Field(default=1000,description="Limite d'erreurs à atteindre avant de s'arrêter (Sévérité `warning` et `error`).");metrics_compare:bool=Field(default=True,description='Si `true`, compare les métriques entre les données de test et de référence.');metrics_thresholds:CompareFloatThresholdsConfig|_A=Field(default=_A,description='Seuils de comparaison pour les métriques.')

scilens/config/models/compare_float_thresholds.py

@@ -1,10 +1,11 @@
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field,model_validator
-class CompareFloatVectorsConfig(BaseModel):
+class CompareFloatVectorsConfig(BaseModel,extra=_B):
 	reduction_method:str=Field(default='soften',description="Méthode de réduction de sévérité des erreurs. Peut être `soften` ou `ignore`. Si `soften`, réduit la sévérité de l'erreur. Si `ignore`, ne lève pas d'erreur.");ponderation_method:str=Field(description='Méthode de calcul de reduction de sévérité. Peut être`amplitude_moderation`, `RIAE`, `RIAE_trapezoid` ou `RIAE_midpoint`.');amplitude_moderation_multiplier:float|_A=Field(default=_A,description="Multipler utilisé dans l'amplitude pondérée `multiplier * |Max(Vector)-Min(Vector)|` qui sera comparée à l'erreur absolue `|Test-Reference|`.");riae_threshold:float|_A=Field(default=_A,description="Seuil de l'erreur relative intégrale absolue. Si l'erreur est supérieure à ce seuil, on appliquera la reduction_method globalement.")
 	@model_validator(mode='after')
 	def check_value_required(self):
 		A=self
 		if A.ponderation_method.startswith('RIAE')and not A.riae_threshold:raise ValueError('riae_threshold is required when ponderation_method is "RIAE"')
 		return A
-class CompareFloatThresholdsConfig(BaseModel):relative_vs_absolute_min:float=Field(default=1e-12,description="Si la valeur de test est inférieure à ce seuil, calcul de l'erreur absolue.");relative_error_min:float=Field(default=.001,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `warning`.");relative_error_max:float=Field(default=.01,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `error`.");absolute_error_min:float=Field(default=1e-07,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `warning`.");absolute_error_max:float=Field(default=1e-06,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `error`.");vectors:CompareFloatVectorsConfig|_A=Field(default=_A,description='Paramètres pour la comparaison de vecteurs de flottants (csv, nc, ...).')
+class CompareFloatThresholdsConfig(BaseModel,extra=_B):relative_vs_absolute_min:float=Field(default=1e-12,description="Si la valeur de test est inférieure à ce seuil, calcul de l'erreur absolue.");relative_error_min:float=Field(default=.001,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `warning`.");relative_error_max:float=Field(default=.01,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `error`.");absolute_error_min:float=Field(default=1e-07,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `warning`.");absolute_error_max:float=Field(default=1e-06,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `error`.");vectors:CompareFloatVectorsConfig|_A=Field(default=_A,description='Paramètres pour la comparaison de vecteurs de flottants (csv, nc, ...).')

scilens/config/models/execute.py

@@ -1,3 +1,3 @@
 _A=None
 from pydantic import BaseModel,Field
-class ExecuteConfig(BaseModel):pre_files_delete:bool=Field(default=False,description="Si `true`, supprime les fichiers avant l'éxecution. (le fichier de configuration et les fichiers . ne seront pas supprimés)");pre_folder_delete:list[str]|_A=Field(default=_A,description='Liste de répertoire à supprimer avant l\'éxecution. Ex: `["DEBUG", "LOG", "OUT"]`');pre_folder_creation:list[str]|_A=Field(default=_A,description='Liste de répertoire à créeravant l\'éxecution. Ex : `["INI", "DAT"]`');exe_path:str|_A=Field(default=_A,description="Chemin de l'exécutable. Ex : `/absolute/path/executable` or `relative/path/executable`. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory` (exclusif avec `exe_url` et `exe_command`).");exe_url:str|_A=Field(default=_A,description="Url de l'exécutable à télécharger avant de l'exécuter. Ex : `https://github.com/org/app/releases/download/v3.31.5/app-2.12.2-linux-x86-64` (exclusif avec `exe_path` et `exe_command`).");exe_command:str|_A=Field(default=_A,description='Commande à exécuter sans résolution de chemin. Ex : `./app-2.12.2-linux-x86-64` ou `python3 app.py` (exclusif avec `exe_path` et `exe_url`).');exe_url_headers:dict[str,str]|_A=Field(default=_A,description='Si `exe_url` les en-têtes à ajouter à la requête de téléchargement de l\'exécutable. Ex : `{"Authorization":  "Bearer token"}`');exe_unzip_and_use:str|_A=Field(default=_A,description="Si l'exécutable (`exe_path` ou `exe_url`) est zippé, alors décompresse et utilise le fichier spécifié. Ex : `app-2.12.2-linux-x86-64`");exe_guess_os_extension:bool=Field(default=False,description="Si l'exécutable (`exe_path` ou `exe_url`) n'est pas trouvée, cherche avec des extensions en fonction de l'OS. Ex : `.exe`, `.bat` pour windows");command_suffix:str|_A=Field(default=_A,description='Suffixe à ajouter à la commande. Typiquemnt des secrets. Ex : ` --token DGDFGDFGDH`');working_dir:str|_A=Field(default=_A,description="Chemin relatif du répertoire de travail pour l'éxecution de la commande. Dans le contexte processeur `ExecuteAndCompare` si non défini, récupère respectivement la valeur de `compare.sources.test_folder_relative_path` ou `compare.sources.reference_folder_relative_path`")
+class ExecuteConfig(BaseModel,extra='forbid'):pre_files_delete:bool=Field(default=False,description="Si `true`, supprime les fichiers avant l'éxecution. (le fichier de configuration et les fichiers . ne seront pas supprimés)");pre_folder_delete:list[str]|_A=Field(default=_A,description='Liste de répertoire à supprimer avant l\'éxecution. Ex: `["DEBUG", "LOG", "OUT"]`');pre_folder_creation:list[str]|_A=Field(default=_A,description='Liste de répertoire à créeravant l\'éxecution. Ex : `["INI", "DAT"]`');exe_path:str|_A=Field(default=_A,description="Chemin de l'exécutable. Ex : `/absolute/path/executable` or `relative/path/executable`. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory` (exclusif avec `exe_url` et `exe_command`).");exe_url:str|_A=Field(default=_A,description="Url de l'exécutable à télécharger avant de l'exécuter. Ex : `https://github.com/org/app/releases/download/v3.31.5/app-2.12.2-linux-x86-64` (exclusif avec `exe_path` et `exe_command`).");exe_command:str|_A=Field(default=_A,description='Commande à exécuter sans résolution de chemin. Ex : `./app-2.12.2-linux-x86-64` ou `python3 app.py` (exclusif avec `exe_path` et `exe_url`).');exe_url_headers:dict[str,str]|_A=Field(default=_A,description='Si `exe_url` les en-têtes à ajouter à la requête de téléchargement de l\'exécutable. Ex : `{"Authorization":  "Bearer token"}`');exe_unzip_and_use:str|_A=Field(default=_A,description="Si l'exécutable (`exe_path` ou `exe_url`) est zippé, alors décompresse et utilise le fichier spécifié. Ex : `app-2.12.2-linux-x86-64`");exe_guess_os_extension:bool=Field(default=False,description="Si l'exécutable (`exe_path` ou `exe_url`) n'est pas trouvée, cherche avec des extensions en fonction de l'OS. Ex : `.exe`, `.bat` pour windows");command_suffix:str|_A=Field(default=_A,description='Suffixe à ajouter à la commande. Typiquemnt des secrets. Ex : ` --token DGDFGDFGDH`');working_dir:str|_A=Field(default=_A,description="Chemin relatif du répertoire de travail pour l'éxecution de la commande. Dans le contexte processeur `ExecuteAndCompare` si non défini, récupère respectivement la valeur de `compare.sources.test_folder_relative_path` ou `compare.sources.reference_folder_relative_path`")

scilens/config/models/execute_and_compare.py

@@ -1,4 +1,4 @@
 _A=None
 from pydantic import BaseModel,Field
 from scilens.config.models.execute import ExecuteConfig
-class ExecuteAndCompareConfig(BaseModel):test:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de test.');test_only:bool=Field(default=False,description='Si `true`, aucune éxécution faite pour la référence (les sorties de réferences pour comparaison existent déjà).');reference:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de référence.')
+class ExecuteAndCompareConfig(BaseModel,extra='forbid'):test:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de test.');test_only:bool=Field(default=False,description='Si `true`, aucune éxécution faite pour la référence (les sorties de réferences pour comparaison existent déjà).');reference:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de référence.')

scilens/config/models/file_reader.py

@@ -1,3 +1,3 @@
 _A=None
 from pydantic import BaseModel,Field
-class FileReaderConfig(BaseModel):encoding:str=Field(default='utf-8',description='Encodage utilisé pour lire les fichiers.');extension_unknown_ignore:bool=Field(default=False,description="Si aucun reader n'est trouvé pour une extension, passe au suivant sans générer d'erreur.");extension_mapping:dict|_A=Field(default=_A,description='Mapping d\'extensions source - cible. Ex `{"txt": "csv"}`.');extension_fallback:str|_A=Field(default=_A,description="Si aucun reader n'est trouvé pour une extension, utilise cette extension pour déterminer le reader.");extension_readers_catalog:dict[str,str]|_A=Field(default=_A,description="Mapping extension clé du catalogue de readers. Ex: `{'dat1': 'csv_comma', 'dat2': 'csv_semicolon'}`");custom_curve_parser:str|dict[str,str]|_A=Field(default=_A,description="Représente le chemin d'un fichier/module python suivi par :: suivi par le nom d'une fonction à appeller pour parser les courbes d'un fichier. Le chemin peut être absolu ou relatif. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory`. Ex: `custom_parser.py::parse_curves`")
+class FileReaderConfig(BaseModel,extra='forbid'):encoding:str=Field(default='utf-8',description='Encodage utilisé pour lire les fichiers.');extension_unknown_ignore:bool=Field(default=False,description="Si aucun reader n'est trouvé pour une extension, passe au suivant sans générer d'erreur.");extension_mapping:dict|_A=Field(default=_A,description='Mapping d\'extensions source - cible. Ex `{"txt": "csv"}`.');extension_fallback:str|_A=Field(default=_A,description="Si aucun reader n'est trouvé pour une extension, utilise cette extension pour déterminer le reader.");extension_readers_catalog:dict[str,str]|_A=Field(default=_A,description="Mapping extension clé du catalogue de readers. Ex: `{'dat1': 'csv_comma', 'dat2': 'csv_semicolon'}`");custom_curve_parser:str|dict[str,str]|_A=Field(default=_A,description="Représente le chemin d'un fichier/module python suivi par :: suivi par le nom d'une fonction à appeller pour parser les courbes d'un fichier. Le chemin peut être absolu ou relatif. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory`. Ex: `custom_parser.py::parse_curves`")

scilens/config/models/reader_format_cols.py

@@ -1,12 +1,13 @@
-_B='(Valide seulement si la première ligne est les en-têtes)'
+_C='(Valide seulement si la première ligne est les en-têtes)'
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field,model_validator
 from enum import Enum
 class ReaderCurveParserNameConfig(str,Enum):COL_X='col_x';COLS_COUPLE='cols_couple'
-class ReaderCurveParserColXConfig(BaseModel):x:int|str|list[str]=Field(default=1,description="Si `integer`, index de la colonne pour l'axe x (index `1` pour la première colonne)."+"Si `String`, nom de la colonne pour l'axe x. Si la colonne n'existe pas, il n'y aura pas de parsing."+_B+"Si `List[String] (utiles dans un contexte multi dataset), noms de la colonne pour l'axe x, noms des colonnes pour l'axe x , si plusieurs colonnes correspondent, la première trouvée sera utilisée. Si aucune colonne ne correspond, il n'y aura pas de parsing."+_B)
-class ReaderCurveParserColsCoupleConfig(BaseModel):x_index:int=Field(description='NOT IMPLEMENTED - Index Col x');y_index:int=Field(description='NOT IMPLEMENTED - Index Col y')
-class ReaderColsCurveParserConfig(BaseModel):
-	name:ReaderCurveParserNameConfig=Field(description='Le type de `paramètres` dépend de cette valeur');parameters:ReaderCurveParserColXConfig|ReaderCurveParserColsCoupleConfig=Field(description='Paramètres du parser de courbes')
+class ReaderCurveParserColXConfig(BaseModel,extra=_B):x:int|str|list[str]=Field(default=1,description="Si `integer`, index de la colonne pour l'axe x (index `1` pour la première colonne)."+"Si `String`, nom de la colonne pour l'axe x. Si la colonne n'existe pas, il n'y aura pas de parsing."+_C+"Si `List[String] (utiles dans un contexte multi dataset), noms de la colonne pour l'axe x, noms des colonnes pour l'axe x , si plusieurs colonnes correspondent, la première trouvée sera utilisée. Si aucune colonne ne correspond, il n'y aura pas de parsing."+_C)
+class ReaderCurveParserColsCoupleConfig(BaseModel,extra=_B):x_index:int=Field(description='NOT IMPLEMENTED - Index Col x');y_index:int=Field(description='NOT IMPLEMENTED - Index Col y')
+class ReaderColsCurveParserConfig(BaseModel,extra=_B):
+	name:ReaderCurveParserNameConfig=Field(description='Le type de `paramètres` dépend de cette valeur');parameters:ReaderCurveParserColXConfig|ReaderCurveParserColsCoupleConfig|_A=Field(default=_A,description='Paramètres du parser de courbes')
 	@model_validator(mode='after')
 	def validate_model(cls,model):
 		A=model
@@ -15,5 +16,5 @@ class ReaderColsCurveParserConfig(BaseModel):
 			if A.name==ReaderCurveParserNameConfig.COL_X:A.parameters=ReaderCurveParserColXConfig(**A.parameters)
 			elif A.name==ReaderCurveParserNameConfig.COLS_COUPLE:A.parameters=ReaderCurveParserColsCoupleConfig(**A.parameters)
 		return A
-class ReaderColsRowsConfig(BaseModel):ignore_patterns:list[str]|_A=Field(default=_A,description='Liste des patterns de lignes à ignorer. Ex: ["^#", "^//"]. Non applicable si `is_matrix` est vrai.');line_start:int|_A=Field(default=_A,description='Ligne de début pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, commence à la première ligne.');line_end:int|_A=Field(default=_A,description="Ligne de fin pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, lit jusqu'à la dernière ligne.");index_min_value:float|_A=Field(default=_A,description="Valeur minimale de l'index pour les lignes à lire (valeur incluses).");index_max_value:float|_A=Field(default=_A,description="Valeur maximale de l'index pour les lignes à lire (valeur incluses).")
-class ReaderColsConfig(BaseModel):ignore_columns:list[str]|list[int]|_A=Field(default=_A,description="Liste des colonnes à ignorer (nom de l'en tête ou numéro de colonne).");index_col:int|str|_A=Field(default=_A,description='Colonne à utiliser comme index (date/heure, itération, étape, ...) (Utilisé dans différentes règles). Numéro de colonne ou nom de colonne. (Valide seulement si non matrice)');rows:ReaderColsRowsConfig|_A=Field(default=_A,description='Configuration des lignes à lire.');curve_parser:ReaderColsCurveParserConfig|_A=Field(default=_A,description='Parseur de courbe à utiliser.')
+class ReaderColsRowsConfig(BaseModel,extra=_B):ignore_patterns:list[str]|_A=Field(default=_A,description='Liste des patterns de lignes à ignorer. Ex: ["^#", "^//"]. Non applicable si `is_matrix` est vrai.');line_start:int|_A=Field(default=_A,description='Ligne de début pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, commence à la première ligne.');line_end:int|_A=Field(default=_A,description="Ligne de fin pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, lit jusqu'à la dernière ligne.");index_min_value:float|_A=Field(default=_A,description="Valeur minimale de l'index pour les lignes à lire (valeur incluses).");index_max_value:float|_A=Field(default=_A,description="Valeur maximale de l'index pour les lignes à lire (valeur incluses).")
+class ReaderColsConfig(BaseModel,extra=_B):ignore_columns:list[str]|list[int]|_A=Field(default=_A,description="Liste des colonnes à ignorer (nom de l'en tête ou numéro de colonne).");index_col:int|str|list[str]|_A=Field(default=_A,description='Colonne(s) à utiliser comme index (date/heure, itération, étape, ...) (Utilisé dans différentes règles). Numéro de colonne ou nom(s) de colonne. (Valide seulement si non matrice)');rows:ReaderColsRowsConfig|_A=Field(default=_A,description='Configuration des lignes à lire.');curve_parser:ReaderColsCurveParserConfig|_A=Field(default=_A,description='Parseur de courbe à utiliser.')

scilens/config/models/reader_format_csv.py

@@ -1,7 +1,8 @@
+_C='forbid'
 _B=False
 _A=None
 from pydantic import BaseModel,Field
 from scilens.config.models.reader_format_cols import ReaderColsConfig
 from scilens.config.models.reader_metrics import ReaderColsMetricsConfig
-class ReaderCsvMatrixConfig(BaseModel):x_value_line:int|_A=Field(default=_A,description="Indique la ligne des valeurs x si applicable. Peut être la ligne d'en-tête (=1).");has_y:bool=Field(default=_B,description='Indique si la première colonne est la colonne des valeurs y.');x_name:str=Field(default='X',description='Nom de la colonne des valeurs x.');y_name:str=Field(default='Y',description='Nom de la colonne des valeurs y.');export_report:bool=Field(default=_B,description='Indique si les matrices doivent être exportées dans les rapports.')
-class ReaderCsvConfig(BaseModel):delimiter:str|_A=Field(default=',',description='Délimiteur de colonnes.');quotechar:str|_A=Field(default='"',description='Délimiteur de texte.');has_header:bool|_A=Field(default=_A,description="Indique si la 1ère ligne est une ligne d'en-tête. Si non spécifié, il y aura une détection automatique.");is_matrix:bool=Field(default=_B,description='Indique si le fichier est une matrice.');matrix:ReaderCsvMatrixConfig|_A=Field(default=_A,description='Configuration de la matrice. (Valide seulement si `is_matrix` est vrai)');cols:ReaderColsConfig|_A=Field(default=_A,description='Configuration des colonnes. (Valide seulement si non matrice)');metrics:list['ReaderColsMetricsConfig']|_A=Field(default=_A,description='Liste des métriques à calculer pour les colonnes. (Valide seulement si non matrice)')
+class ReaderCsvMatrixConfig(BaseModel,extra=_C):x_value_line:int|_A=Field(default=_A,description="Indique la ligne des valeurs x si applicable. Peut être la ligne d'en-tête (=1).");has_y:bool=Field(default=_B,description='Indique si la première colonne est la colonne des valeurs y.');x_name:str=Field(default='X',description='Nom de la colonne des valeurs x.');y_name:str=Field(default='Y',description='Nom de la colonne des valeurs y.');export_report:bool=Field(default=_B,description='Indique si les matrices doivent être exportées dans les rapports.')
+class ReaderCsvConfig(BaseModel,extra=_C):delimiter:str|_A=Field(default=',',description='Délimiteur de colonnes.');quotechar:str|_A=Field(default='"',description='Délimiteur de texte.');has_header:bool|_A=Field(default=_A,description="Indique si la 1ère ligne est une ligne d'en-tête. Si non spécifié, il y aura une détection automatique.");is_matrix:bool=Field(default=_B,description='Indique si le fichier est une matrice.');matrix:ReaderCsvMatrixConfig|_A=Field(default=_A,description='Configuration de la matrice. (Valide seulement si `is_matrix` est vrai)');cols:ReaderColsConfig|_A=Field(default=_A,description='Configuration des colonnes. (Valide seulement si non matrice)');metrics:list['ReaderColsMetricsConfig']|_A=Field(default=_A,description='Liste des métriques à calculer pour les colonnes. (Valide seulement si non matrice)')

scilens/config/models/reader_format_netcdf.py

@@ -3,4 +3,4 @@ _A=None
 from typing import Literal
 from pydantic import BaseModel,Field
 CurveParser=Literal['simple_1D','frameseries_2D']
-class ReaderNetcdfConfig(BaseModel):groups_depth:int|_A=Field(default=_A,description='Définit la profondeur de recherche des groupes. Si vide prendra tous les groupes.');units_attributes:list[str]|_A=Field(default=_A,description='Noms des attributs de variable qui spécifient les unités.');curve_parser:CurveParser|_A=Field(default=_A,description='Parser de courbes: `simple_1D` or `frameseries_2D`.');matrices_display_spectrogram:bool=Field(default=_B,description='Parseur de courbes les variables matricielles (`2D`).');curve_x_variable:str|_A=Field(default=_A,description='Nom de variable (`1D`) pour les axes X (tout parseur).');curve_y_variable:str|_A=Field(default=_A,description='Nom de variable (`1D`) pour les axes Y (`curve_parser_frameseries`).');curve_step_variable:str|_A=Field(default=_A,description='Nom de variable `Step` (`1D`) (`curve_parser_frameseries`).');compare_1D:bool=Field(default=_B,description='Pour les processeurs qui comparent, compare les variables vecteurs (`1D`).');compare_2D:bool=Field(default=_B,description='Pour les processeurs qui comparent, compare les variables matrices (`2D`).')
+class ReaderNetcdfConfig(BaseModel,extra='forbid'):groups_depth:int|_A=Field(default=_A,description='Définit la profondeur de recherche des groupes. Si vide prendra tous les groupes.');units_attributes:list[str]|_A=Field(default=_A,description='Noms des attributs de variable qui spécifient les unités.');curve_parser:CurveParser|_A=Field(default=_A,description='Parser de courbes: `simple_1D` or `frameseries_2D`.');matrices_display_spectrogram:bool=Field(default=_B,description='Parseur de courbes les variables matricielles (`2D`).');curve_x_variable:str|_A=Field(default=_A,description='Nom de variable (`1D`) pour les axes X (tout parseur).');curve_y_variable:str|_A=Field(default=_A,description='Nom de variable (`1D`) pour les axes Y (`curve_parser_frameseries`).');curve_step_variable:str|_A=Field(default=_A,description='Nom de variable `Step` (`1D`) (`curve_parser_frameseries`).');compare_1D:bool=Field(default=_B,description='Pour les processeurs qui comparent, compare les variables vecteurs (`1D`).');compare_2D:bool=Field(default=_B,description='Pour les processeurs qui comparent, compare les variables matrices (`2D`).')

scilens/config/models/reader_format_txt.py

@@ -1,5 +1,8 @@
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field
-class ReaderTxtReportLines(BaseModel):pre:int=Field(default=0,description="Nombre de ligne avant l'erreur à présenter avec le message d'erreur.");post:int=Field(default=0,description="Nombre de ligne après l'erreur à présenter avec le message d'erreur.")
-class ReaderTxtIgnoreConfig(BaseModel):pattern:str=Field(default='',description='Motif de chaîne à ignorer.');pre:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer avant.');post:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer après.')
-class ReaderTxtConfig(BaseModel):error_rule_patterns:list[str]|_A=Field(default=_A,description='Liste de motifs de chaîne à vérifier. Si un motif est trouvé, génère une erreur. Ex: `["NaN", "infinity"]`');ignore:dict[str,list[ReaderTxtIgnoreConfig]]|_A=Field(default=_A,description='Ignore les lignes d\'un fichier selon un motif. Ex: `{"path": [{"pattern": "NaN", "pre": 0, "post": 0}]}`');report_lines:dict[str,ReaderTxtReportLines]|_A=Field(default=_A,description='Nombre de lignes à reporter avant et après une erreur. Ex: `{"path": {"pre": 0, "post": 0}`')
+from scilens.config.models.reader_metrics import ReaderTxtMetricsConfig
+from scilens.config.models.compare_float_thresholds import CompareFloatThresholdsConfig
+class ReaderTxtReportLines(BaseModel,extra=_B):pre:int=Field(default=0,description="Nombre de ligne avant l'erreur à présenter avec le message d'erreur.");post:int=Field(default=0,description="Nombre de ligne après l'erreur à présenter avec le message d'erreur.")
+class ReaderTxtIgnoreConfig(BaseModel,extra=_B):pattern:str=Field(default='',description='Motif de chaîne à ignorer.');pre:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer avant.');post:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer après.')
+class ReaderTxtConfig(BaseModel,extra=_B):error_rule_patterns:list[str]|_A=Field(default=_A,description='Liste de motifs de chaîne à vérifier. Si un motif est trouvé, génère une erreur. Ex: `["NaN", "infinity"]`');ignore:dict[str,list[ReaderTxtIgnoreConfig]]|_A=Field(default=_A,description='Ignore les lignes d\'un fichier selon un motif. Ex: `{"path": [{"pattern": "NaN", "pre": 0, "post": 0}]}`');report_lines:dict[str,ReaderTxtReportLines]|_A=Field(default=_A,description='Nombre de lignes à reporter avant et après une erreur. Ex: `{"path": {"pre": 0, "post": 0}`');metrics:list['ReaderTxtMetricsConfig']|_A=Field(default=_A,description='Liste des métriques')

scilens/config/models/reader_format_txt_fixed_cols.py

@@ -1,4 +1,4 @@
 _A=None
 from pydantic import BaseModel,Field
 from scilens.config.models.reader_format_cols import ReaderColsCurveParserConfig,ReaderColsConfig
-class ReaderTxtFixedColsConfig(BaseModel):column_widths:list[int]|_A=Field(default=_A,description='Liste des largeurs de colonnes. Ex: [9, 13, 12]. Exclusif avec `column_indexes`.');column_indexes:list[tuple[int,int]]|_A=Field(default=_A,description='Liste des index de début et fin de colonnes. Ex: [[0, 8], [9, 12], [13, 28]]. Exclusif avec `column_widths`.');cols:ReaderColsConfig|_A=Field(default=_A,description='Configuration des colonnes. (Valide seulement si non matrice)');has_header:bool=Field(default=False,description="Indique si le dataset contient une ligne d'entête.");has_header_line:int|_A=Field(default=_A,description="Numéro de la ligne d'entête. Si None, la première ligne non ignorée est considérée comme l'entête.");has_header_ignore:list[str]|_A=Field(default=_A,description="Chaînes de caractères à ignorer dans la ligne d'entête. eex: ['##', '|'].");curve_parser:ReaderColsCurveParserConfig|_A=Field(default=_A,description='Parseur de courbe à utiliser.')
+class ReaderTxtFixedColsConfig(BaseModel,extra='forbid'):column_widths:list[int]|_A=Field(default=_A,description='Liste des largeurs de colonnes. Ex: [9, 13, 12]. Exclusif avec `column_indexes`.');column_indexes:list[tuple[int,int]]|_A=Field(default=_A,description='Liste des index de début et fin de colonnes. Ex: [[0, 8], [9, 12], [13, 28]]. Exclusif avec `column_widths`.');cols:ReaderColsConfig|_A=Field(default=_A,description='Configuration des colonnes. (Valide seulement si non matrice)');has_header:bool=Field(default=False,description="Indique si le dataset contient une ligne d'entête.");has_header_line:int|_A=Field(default=_A,description="Numéro de la ligne d'entête. Si None, la première ligne non ignorée est considérée comme l'entête.");has_header_ignore:list[str]|_A=Field(default=_A,description="Chaînes de caractères à ignorer dans la ligne d'entête. eex: ['##', '|'].");curve_parser:ReaderColsCurveParserConfig|_A=Field(default=_A,description='Parseur de courbe à utiliser.')

scilens/config/models/reader_metrics.py

@@ -1,3 +1,6 @@
+_C='Nom de la métrique.'
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field
-class ReaderColsMetricsConfig(BaseModel):name:str|_A=Field(default=_A,description='Nom de la métrique.');col:int|str|_A=Field(default=_A,description="Index de la colonne pour la métrique (index `1` pour la première colonne). Si `String`, nom de la colonne pour la métrique. Si la colonne n'existe pas, il n'y aura pas de parsing. (Valide seulement si la première ligne est les en-têtes)");aggregation:str=Field(default='sum',description="Méthode d'agrégation pour la métrique. Peut être `mean`, `sum`, `min`, `max`.")
+class ReaderTxtMetricsConfig(BaseModel,extra=_B):name:str|_A=Field(default=_A,description=_C);pattern:str=Field(default=_A,description='Expression régulière pour identifier la métrique.');number_position:int=Field(default=1,description='Position du nombre dans le tableau de nombres de la ligne.')
+class ReaderColsMetricsConfig(BaseModel,extra=_B):name:str|_A=Field(default=_A,description=_C);col:int|str|_A=Field(default=_A,description="Index de la colonne pour la métrique (index `1` pour la première colonne). Si `String`, nom de la colonne pour la métrique. Si la colonne n'existe pas, il n'y aura pas de parsing. (Valide seulement si la première ligne est les en-têtes)");aggregation:str=Field(default='sum',description="Méthode d'agrégation pour la métrique. Peut être `mean`, `sum`, `min`, `max`.")

scilens/config/models/readers.py

@@ -1,13 +1,14 @@
+_A='forbid'
 from typing import Literal
 from pydantic import BaseModel,Field
 from scilens.config.models.reader_format_txt import ReaderTxtConfig
 from scilens.config.models.reader_format_csv import ReaderCsvConfig
 from scilens.config.models.reader_format_txt_fixed_cols import ReaderTxtFixedColsConfig
 from scilens.config.models.reader_format_netcdf import ReaderNetcdfConfig
-class BaseCatalogItem(BaseModel):type:str
-class ReaderTxtConfigItem(BaseCatalogItem):type:Literal['txt'];parameters:ReaderTxtConfig
-class ReaderCsvConfigItem(BaseCatalogItem):type:Literal['csv'];parameters:ReaderCsvConfig
-class ReaderTxtFixedColsConfigItem(BaseCatalogItem):type:Literal['txt_fixed_cols'];parameters:ReaderTxtFixedColsConfig
-class ReaderNetcdfConfigItem(BaseCatalogItem):type:Literal['netcdf'];parameters:ReaderNetcdfConfig
+class BaseCatalogItem(BaseModel,extra=_A):type:str
+class ReaderTxtConfigItem(BaseCatalogItem,extra=_A):type:Literal['txt'];parameters:ReaderTxtConfig
+class ReaderCsvConfigItem(BaseCatalogItem,extra=_A):type:Literal['csv'];parameters:ReaderCsvConfig
+class ReaderTxtFixedColsConfigItem(BaseCatalogItem,extra=_A):type:Literal['txt_fixed_cols'];parameters:ReaderTxtFixedColsConfig
+class ReaderNetcdfConfigItem(BaseCatalogItem,extra=_A):type:Literal['netcdf'];parameters:ReaderNetcdfConfig
 CATALOG_ITEM_TYPE=ReaderTxtConfigItem|ReaderCsvConfigItem|ReaderTxtFixedColsConfigItem|ReaderNetcdfConfigItem
-class ReadersConfig(BaseModel):txt:ReaderTxtConfig=Field(default=ReaderTxtConfig(),description='Configuration des readers txt.');csv:ReaderCsvConfig=Field(default=ReaderCsvConfig(),description='Configuration des readers csv.');txt_fixed_cols:ReaderTxtFixedColsConfig=Field(default=ReaderTxtFixedColsConfig(),description='Configuration des readers txt avec colonnes fixes.');netcdf:ReaderNetcdfConfig=Field(default=ReaderNetcdfConfig(),description='Configuration des readers NetCDF.');catalog:dict[str,CATALOG_ITEM_TYPE]|None=Field(default=None,description="Catalogue de configuration de readers par clé. Ex: `{'csv_comma': {'type': 'csv', 'parameters': {'delimiter': ','}}, 'csv_semicolon': {'type': 'csv', 'parameters': {'delimiter': ';'}}}`")
+class ReadersConfig(BaseModel,extra=_A):txt:ReaderTxtConfig=Field(default=ReaderTxtConfig(),description='Configuration des readers txt.');csv:ReaderCsvConfig=Field(default=ReaderCsvConfig(),description='Configuration des readers csv.');txt_fixed_cols:ReaderTxtFixedColsConfig=Field(default=ReaderTxtFixedColsConfig(),description='Configuration des readers txt avec colonnes fixes.');netcdf:ReaderNetcdfConfig=Field(default=ReaderNetcdfConfig(),description='Configuration des readers NetCDF.');catalog:dict[str,CATALOG_ITEM_TYPE]|None=Field(default=None,description="Catalogue de configuration de readers par clé. Ex: `{'csv_comma': {'type': 'csv', 'parameters': {'delimiter': ','}}, 'csv_semicolon': {'type': 'csv', 'parameters': {'delimiter': ';'}}}`")

scilens/config/models/report.py

@@ -3,4 +3,4 @@ from pydantic import BaseModel,Field
 from scilens.app import product_name
 from scilens.config.models.report_html import ReportHtmlConfig
 from scilens.config.models.report_output import ReportOutputConfig
-class ReportConfig(BaseModel):debug:bool=Field(default=False,description='If `true` the report will be more verbose and displays template input data.');title:str=Field(default=_A,description='Titre du rapport');title_prefix:str=Field(default=f"{product_name} Report",description='Préfixe au Titre du rapport');description:str|_A=Field(default=_A,description='Description inclu dans une section spécifique description des rapports');logo:str|_A=Field(default=_A,description="Source d'une image logo. Peut être une url ou une url data image encodée base64 (exclusif avec `logo_file`).");logo_file:str|_A=Field(default=_A,description="Source fichier d'une image logo (exclusif avec `logo`).");output:ReportOutputConfig=ReportOutputConfig();html:ReportHtmlConfig=ReportHtmlConfig()
+class ReportConfig(BaseModel,extra='forbid'):debug:bool=Field(default=False,description='If `true` the report will be more verbose and displays template input data.');title:str=Field(default=_A,description='Titre du rapport');title_prefix:str=Field(default=f"{product_name} Report",description='Préfixe au Titre du rapport');description:str|_A=Field(default=_A,description='Description inclu dans une section spécifique description des rapports');logo:str|_A=Field(default=_A,description="Source d'une image logo. Peut être une url ou une url data image encodée base64 (exclusif avec `logo_file`).");logo_file:str|_A=Field(default=_A,description="Source fichier d'une image logo (exclusif avec `logo`).");output:ReportOutputConfig=ReportOutputConfig();html:ReportHtmlConfig=ReportHtmlConfig()

scilens/config/models/report_html.py

@@ -1,13 +1,14 @@
-_D="Paramètre modifiable par l'utilisateur"
-_C=False
-_B=True
+_E="Paramètre modifiable par l'utilisateur"
+_D=False
+_C=True
+_B='forbid'
 _A=None
 from pydantic import BaseModel,Field
 from scilens.config.models.base import StrOrPath
-class ReportParameterPageModeConfig(BaseModel):is_user_preference:bool=Field(default=_B,description=_D);default_value:str=Field(default='onepage',description='`tabs` ou `onepage`')
-class ReportParameterOpenFileInConfig(BaseModel):is_user_preference:bool=Field(default=_B,description=_D);default_value:str=Field(default='browser',description='`browser` ou `vscode`')
-class ReportHtmlCurvesConfig(BaseModel):display_on_load:bool=Field(default=_C,description="Si `true`, affiche tous les graphiques courbes à l'ouverture du rapport.");init_width:int=Field(default=600,description='Largeur initiale des graphiques courbes.');init_height:int=Field(default=400,description='Hauteur initiale des graphiques courbes.');compare_vs_values:bool=Field(default=_B,description='Dans le chart de comparaison, affiche les valeurs de référence et de test.');compare_vs_difference:bool=Field(default=_C,description='Dans le chart de comparaison, affiche la différence entre les valeurs de référence et de test.')
-class ReportHtmlSpectrogramsConfig(BaseModel):test_ref:bool=Field(default=_B,description='Indique si les spectrogrammes de test doivent être affichés.');differences:bool=Field(default=_B,description='Indique si les spectrogrammes de différence doivent être affichés.');init_width:int=Field(default=300,description='Largeur initiale des spectrogrammes.');init_height:int=Field(default=300,description='Hauteur initiale des spectrogrammes.');is_3D:bool=Field(default=_C,description='Indique si les spectrogrammes doivent être affichés en 3D.')
-class ReportHtmlFrameseriesConfig(BaseModel):width:int=Field(default=300,description='Largeur initiale des graphiques frameseries.');height:int=Field(default=300,description='Hauteur initiale des graphiques frameseries.')
-class ReportHtmlMatrixConfig(BaseModel):spectrograms:ReportHtmlSpectrogramsConfig|_A=_A;frameseries:ReportHtmlFrameseriesConfig|_A=_A
-class ReportHtmlConfig(BaseModel):custom_style:StrOrPath|_A=Field(default=_A,description='CSS personnalisé.');custom_script_head:StrOrPath|_A=Field(default=_A,description="Script personnalisé dans le `<head>`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");custom_script_body:StrOrPath|_A=Field(default=_A,description="Script personnalisé en fin de `<body>`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_start:StrOrPath|_A=Field(default=_A,description="HTML personnalisé en début de rapport. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_summary:StrOrPath|_A=Field(default=_A,description="HTML personnalisé dans la section `Summary`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_end:StrOrPath|_A=Field(default=_A,description="HTML personnalisé en fin de rapport. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");logo_height:int=Field(default=40,description='Hauteur du logo dans le titre.');compare_color_test:str=Field(default='1982c4',description='Couleur pour les données de test.');compare_color_reference:str=Field(default='6a4c93',description='Couleur pour les données de référence.');collapse_if_successful:bool=Field(default=_B,description="N'affiche par défaut les sections de comparaison sans erreur.");parameter_page_mode:ReportParameterPageModeConfig=ReportParameterPageModeConfig();parameter_open_file_in:ReportParameterOpenFileInConfig=ReportParameterOpenFileInConfig();curves:ReportHtmlCurvesConfig=ReportHtmlCurvesConfig();matrix:ReportHtmlMatrixConfig=ReportHtmlMatrixConfig()
+class ReportParameterPageModeConfig(BaseModel,extra=_B):is_user_preference:bool=Field(default=_C,description=_E);default_value:str=Field(default='onepage',description='`tabs` ou `onepage`')
+class ReportParameterOpenFileInConfig(BaseModel,extra=_B):is_user_preference:bool=Field(default=_C,description=_E);default_value:str=Field(default='browser',description='`browser` ou `vscode`')
+class ReportHtmlCurvesConfig(BaseModel,extra=_B):display_on_load:bool=Field(default=_D,description="Si `true`, affiche tous les graphiques courbes à l'ouverture du rapport.");init_width:int=Field(default=600,description='Largeur initiale des graphiques courbes.');init_height:int=Field(default=400,description='Hauteur initiale des graphiques courbes.');compare_vs_values:bool=Field(default=_C,description='Dans le chart de comparaison, affiche les valeurs de référence et de test.');compare_vs_difference:bool=Field(default=_D,description='Dans le chart de comparaison, affiche la différence entre les valeurs de référence et de test.')
+class ReportHtmlSpectrogramsConfig(BaseModel,extra=_B):test_ref:bool=Field(default=_C,description='Indique si les spectrogrammes de test doivent être affichés.');differences:bool=Field(default=_C,description='Indique si les spectrogrammes de différence doivent être affichés.');init_width:int=Field(default=300,description='Largeur initiale des spectrogrammes.');init_height:int=Field(default=300,description='Hauteur initiale des spectrogrammes.');is_3D:bool=Field(default=_D,description='Indique si les spectrogrammes doivent être affichés en 3D.')
+class ReportHtmlFrameseriesConfig(BaseModel,extra=_B):width:int=Field(default=300,description='Largeur initiale des graphiques frameseries.');height:int=Field(default=300,description='Hauteur initiale des graphiques frameseries.')
+class ReportHtmlMatrixConfig(BaseModel,extra=_B):spectrograms:ReportHtmlSpectrogramsConfig|_A=_A;frameseries:ReportHtmlFrameseriesConfig|_A=_A
+class ReportHtmlConfig(BaseModel,extra=_B):custom_style:StrOrPath|_A=Field(default=_A,description='CSS personnalisé.');custom_script_head:StrOrPath|_A=Field(default=_A,description="Script personnalisé dans le `<head>`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");custom_script_body:StrOrPath|_A=Field(default=_A,description="Script personnalisé en fin de `<body>`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_start:StrOrPath|_A=Field(default=_A,description="HTML personnalisé en début de rapport. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_summary:StrOrPath|_A=Field(default=_A,description="HTML personnalisé dans la section `Summary`. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");extra_html_end:StrOrPath|_A=Field(default=_A,description="HTML personnalisé en fin de rapport. Chaine de caractères ou chemin d'un fichier sous la forme `file://`.");logo_height:int=Field(default=40,description='Hauteur du logo dans le titre.');compare_color_test:str=Field(default='1982c4',description='Couleur pour les données de test.');compare_color_reference:str=Field(default='6a4c93',description='Couleur pour les données de référence.');collapse_if_successful:bool=Field(default=_C,description="N'affiche par défaut les sections de comparaison sans erreur.");parameter_page_mode:ReportParameterPageModeConfig=ReportParameterPageModeConfig();parameter_open_file_in:ReportParameterOpenFileInConfig=ReportParameterOpenFileInConfig();curves:ReportHtmlCurvesConfig=ReportHtmlCurvesConfig();matrix:ReportHtmlMatrixConfig=ReportHtmlMatrixConfig()

scilens/config/models/report_output.py

@@ -1,4 +1,4 @@
 _A=False
 from pydantic import BaseModel,Field
 from scilens.app import pkg_name
-class ReportOutputConfig(BaseModel):filename:str=Field(default=f"{pkg_name}_report",description="Nom de fichier (sans l'extension) des rapports générés.");export_html:bool=Field(default=_A,description='Génère un rapport HTML');export_txt:bool=Field(default=_A,description='Génère un rapport TXT');export_json:bool=Field(default=_A,description='Génère un rapport JSON');export_yaml:bool=Field(default=_A,description='Génère un rapport YAML');export_py:bool=Field(default=_A,description='Génère un rapport Python (Variable)');export_js:bool=Field(default=_A,description='Génère un rapport Javascript (Variable)');export_ts:bool=Field(default=_A,description='Génère un rapport Typecript (Variable)');export_php:bool=Field(default=_A,description='Génère un rapport Php (Variable)')
+class ReportOutputConfig(BaseModel,extra='forbid'):filename:str=Field(default=f"{pkg_name}_report",description="Nom de fichier (sans l'extension) des rapports générés.");export_html:bool=Field(default=_A,description='Génère un rapport HTML');export_txt:bool=Field(default=_A,description='Génère un rapport TXT');export_json:bool=Field(default=_A,description='Génère un rapport JSON');export_yaml:bool=Field(default=_A,description='Génère un rapport YAML');export_py:bool=Field(default=_A,description='Génère un rapport Python (Variable)');export_js:bool=Field(default=_A,description='Génère un rapport Javascript (Variable)');export_ts:bool=Field(default=_A,description='Génère un rapport Typecript (Variable)');export_php:bool=Field(default=_A,description='Génère un rapport Php (Variable)')

scilens/readers/cols_dataset.py

@@ -9,22 +9,23 @@ from scilens.components.compare_models import CompareGroup
 from scilens.components.compare_floats import CompareFloats
 from scilens.config.models.reader_format_cols import ReaderCurveParserNameConfig
 from scilens.config.models.reader_metrics import ReaderColsMetricsConfig
+def get_index_col_index(index_col,numeric_col_indexes,names):
+	C=names;A=index_col;B=_A
+	if isinstance(A,int):B=A-1
+	if isinstance(A,str):A=[A]
+	if isinstance(A,list):
+		for D in A:
+			if D in C:B=C.index(D);break
+	if B:
+		if B not in numeric_col_indexes:raise ValueError(f"Index column index {A} is not a numeric column.")
+	return B
 @dataclass
 class ColsDataset:
 	cols_count:int=0;rows_count:int=0;names:list[str]=field(default_factory=lambda:[]);numeric_col_indexes:list[int]=field(default_factory=lambda:[]);data:list[list[float]]=field(default_factory=lambda:[]);origin_line_nb:list[int]=field(default_factory=lambda:[])
-	def get_curves_col_x(J,col_x):
-		I='title';B=col_x;A=J;E={}
-		if isinstance(B,int):
-			C=B-1
-			if C<0 or C>=A.cols_count:raise Exception('curve parser col_x: col_index is out of range.')
-		if isinstance(B,str):B=[B]
-		if isinstance(B,list):
-			G=[A for(A,C)in enumerate(A.names)if C in B]
-			if len(G)==0:return _A,E
-			C=G[0]
-		E[_D]=C;K=[B for(A,B)in enumerate(A.numeric_col_indexes)if A!=C];F=[];H=[]
-		for D in K:B=A.data[C];L=A.data[D];M={I:A.names[D],'short_title':A.names[D],'series':[[B[A],L[A]]for A in range(A.rows_count)],_C:D};F+=[M];N={I:A.names[D],'type':'simple','xaxis':A.names[C],'yaxis':A.names[D],_B:[len(F)-1]};H+=[N]
-		return{_B:F,_E:H},E
+	def get_curves_col_x(I,col_x):
+		H='title';D=col_x;A=I;F={};C=get_index_col_index(D,A.numeric_col_indexes,A.names);F[_D]=C;J=[B for(A,B)in enumerate(A.numeric_col_indexes)if A!=C];E=[];G=[]
+		for B in J:D=A.data[C];K=A.data[B];L={H:A.names[B],'short_title':A.names[B],'series':[[D[A],K[A]]for A in range(A.rows_count)],_C:B};E+=[L];M={H:A.names[B],'type':'simple','xaxis':A.names[C],'yaxis':A.names[B],_B:[len(E)-1]};G+=[M]
+		return{_B:E,_E:G},F
 	def compute_metrics(I,config):
 		D=I;H={}
 		for A in config:

scilens/readers/reader_csv.py

@@ -2,7 +2,7 @@ _B=True
 _A=None
 import logging,csv,re
 from scilens.readers.reader_interface import ReaderInterface
-from scilens.readers.cols_dataset import ColsDataset,ColsCurves,compare as cols_compare
+from scilens.readers.cols_dataset import ColsDataset,ColsCurves,compare as cols_compare,get_index_col_index
 from scilens.readers.mat_dataset import MatDataset,from_iterator as mat_from_iterator,compare as mat_compare,get_data
 from scilens.config.models.reader_format_csv import ReaderCsvConfig,ReaderCsvMatrixConfig
 from scilens.config.models.reader_format_cols import ReaderCurveParserNameConfig
@@ -27,61 +27,60 @@ class ReaderCsv(ReaderInterface):
 				if bool(re.match(B,line)):return _B
 		return False
 	def read(A,reader_options):
-		C=reader_options;A.reader_options=C;F,I,T=csv_detect(A.origin.path,A.reader_options.delimiter,A.reader_options.quotechar,encoding=A.encoding);A.has_header=F;A.cols=I;A.numeric_col_indexes=T;A.index_col_index=_A;A.ignore_lines_patterns=_A;L=_A;M=_A;N=_A;O=_A;B=C.cols
+		C=reader_options;A.reader_options=C;F,L,U=csv_detect(A.origin.path,A.reader_options.delimiter,A.reader_options.quotechar,encoding=A.encoding);A.has_header=F;A.cols=L;A.numeric_col_indexes=U;A.index_col_index=_A;A.ignore_lines_patterns=_A;G=_A;H=_A;I=_A;J=_A;B=C.cols
 		if B:
 			if B.index_col:
-				if B.index_col:
-					if isinstance(B.index_col,int):
-						G=B.index_col-1
-						if G not in A.numeric_col_indexes:raise ValueError(f"Index column index {B.index_col} is not a numeric column.")
-						A.index_col_index=G
-					elif isinstance(B.index_col,str):
-						try:A.index_col_index=I.index(B.index_col)
-						except ValueError:raise ValueError(f"Index column '{B.index_col}' not found in CSV headers.")
+				if B.index_col:A.index_col_index=get_index_col_index(B.index_col,A.numeric_col_indexes,L)
 			if B.rows:
-				A.ignore_lines_patterns=B.rows.ignore_patterns;L=B.rows.line_start;M=B.rows.line_end
+				A.ignore_lines_patterns=B.rows.ignore_patterns;G=B.rows.line_start;H=B.rows.line_end
+				if G and H and H<G:raise ValueError(f"Line end {H} cannot be before line start {G}.")
 				if B.rows.index_min_value or B.rows.index_max_value:
 					if A.index_col_index is _A:raise ValueError('Index column must be defined to use index min/max values.')
-					N=B.rows.index_min_value;O=B.rows.index_max_value
+					I=B.rows.index_min_value;J=B.rows.index_max_value
+					if I and J and I>J:raise ValueError(f"Index min value {I} cannot be greater than index max value {J}.")
 		A.raw_lines_number=_A;A.curves=_A;A.report_matrices=_A
-		with open(A.origin.path,'r',encoding=A.encoding)as U:
-			R=U.readlines();J=csv.reader(R,delimiter=A.reader_options.delimiter,quotechar=A.reader_options.quotechar)
+		with open(A.origin.path,'r',encoding=A.encoding)as V:
+			R=V.readlines();M=csv.reader(R,delimiter=A.reader_options.delimiter,quotechar=A.reader_options.quotechar)
 			if C.is_matrix:
-				H=C.matrix or ReaderCsvMatrixConfig();P=mat_from_iterator(x_name=H.x_name,y_name=H.y_name,reader=J,has_header=F,x_value_line=H.x_value_line,has_y=H.has_y)
-				if H.export_report:A.report_matrices=get_data([P],['csv'])
+				K=C.matrix or ReaderCsvMatrixConfig();P=mat_from_iterator(x_name=K.x_name,y_name=K.y_name,reader=M,has_header=F,x_value_line=K.x_value_line,has_y=K.has_y)
+				if K.export_report:A.report_matrices=get_data([P],['csv'])
 				A.mat_dataset=P;A.raw_lines_number=P.nb_lines+(1 if F else 0)
 			else:
 				if C.cols and C.cols.ignore_columns:
 					if not F:raise Exception('Ignore columns is not supported without header.')
 					if isinstance(C.cols.ignore_columns[0],str):A.numeric_col_indexes=[B for B in A.numeric_col_indexes if A.cols[B]not in C.cols.ignore_columns]
-					if isinstance(C.cols.ignore_columns[0],int):V=[A-1 for A in B.ignore_columns];A.numeric_col_indexes=[A for A in A.numeric_col_indexes if A not in V]
-				S=len(I);D=ColsDataset(cols_count=S,names=I,numeric_col_indexes=A.numeric_col_indexes,data=[[]for A in range(S)]);E=0
-				if F and E==0:next(J);E+=1
-				if L:
+					if isinstance(C.cols.ignore_columns[0],int):W=[A-1 for A in B.ignore_columns];A.numeric_col_indexes=[A for A in A.numeric_col_indexes if A not in W]
+				S=len(L);D=ColsDataset(cols_count=S,names=L,numeric_col_indexes=A.numeric_col_indexes,data=[[]for A in range(S)]);E=0
+				if F and E==0:next(M);E+=1
+				if G:
 					try:
 						while _B:
-							if L<=E+1:break
-							K=next(J);E+=1
+							if G<=E+1:break
+							N=next(M);E+=1
 					except StopIteration:pass
 				try:
 					while _B:
-						K=next(J);E+=1
-						if M and E>M:break
-						if O is not _A and float(K[A.index_col_index])>O:break
+						N=next(M);E+=1
+						if H and E>H:break
+						if J is not _A and float(N[A.index_col_index])>J:break
 						if A.ignore_lines_patterns and A._ignore_line(R[E-1].rstrip('\n')):continue
-						if N is not _A and float(K[A.index_col_index])<N:continue
-						for(G,Q)in enumerate(K):
-							if G in D.numeric_col_indexes:Q=float(Q)
-							D.data[G].append(Q)
+						if I is not _A and float(N[A.index_col_index])<I:continue
+						for(T,Q)in enumerate(N):
+							if T in D.numeric_col_indexes:Q=float(Q)
+							D.data[T].append(Q)
 						D.origin_line_nb.append(E)
 				except StopIteration:pass
 				D.rows_count=len(D.origin_line_nb);A.cols_dataset=D;A.raw_lines_number=D.rows_count+(1 if F else 0);A.metrics=_A
 				if C.metrics:A.metrics=D.compute_metrics(C.metrics)
-				if C.cols and C.cols.curve_parser:
-					if C.cols.curve_parser.name==ReaderCurveParserNameConfig.COL_X:
-						A.curves,W=D.get_curves_col_x(C.cols.curve_parser.parameters.x)
-						if A.curves:A.cols_curve=ColsCurves(type=ReaderCurveParserNameConfig.COL_X,info=W,curves=A.curves)
-					elif C.cols.curve_parser.name==ReaderCurveParserNameConfig.COLS_COUPLE:raise NotImplementedError('cols_couple not implemented')
+				if B and B.curve_parser:
+					if B.curve_parser.name==ReaderCurveParserNameConfig.COL_X:
+						O=_A
+						if B.curve_parser.parameters:O=B.curve_parser.parameters.x
+						elif B.index_col:O=B.index_col
+						if not O:raise ValueError('Curve parser COL_X requires a parameter x, or index_col to be defined.')
+						A.curves,X=D.get_curves_col_x(O)
+						if A.curves:A.cols_curve=ColsCurves(type=ReaderCurveParserNameConfig.COL_X,info=X,curves=A.curves)
+					elif B.curve_parser.name==ReaderCurveParserNameConfig.COLS_COUPLE:raise NotImplementedError('cols_couple not implemented')
 					else:raise Exception('Curve parser not supported.')
 	def compare(A,compare_floats,param_reader,param_is_ref=_B):
 		H='node';D=param_is_ref;C=param_reader;B=compare_floats;I=A.reader_options

scilens/readers/reader_interface.py

@@ -6,10 +6,10 @@ class ReaderInterface(ABC):
 	@property
 	@abstractmethod
 	def category(self):0
-	def __init__(A,origin,name='',encoding='',curve_parser=None):A.origin=origin;A.name=name;A.encoding=encoding or'utf-8';A.curve_parser=curve_parser;A.read_error=None;A.read_data={}
+	def __init__(A,origin,name='',encoding='',curve_parser=None):A.origin=origin;A.name=name;A.encoding=encoding or'utf-8';A.curve_parser=curve_parser;A.read_error=None;A.read_data={};A.reader_info={}
 	def read(A,reader_options=None):raise NotImplementedError(_A)
 	def compare(A,reader,param_is_ref=True):raise NotImplementedError(_A)
 	def get_raw_lines(A,line_nb,pre=0,post=0):raise NotImplementedError(_A)
 	def class_info(A):raise NotImplementedError(_A)
 	def close(A):0
-	def info(A):B={'reader':A.__class__.__name__,'reader_category':A.category,'name':A.name,'origin':A.origin.dict(),'encoding':A.encoding,'read_error':A.read_error,'read_data':A.read_data};B.update(A.class_info());return B
+	def info(A):B={'reader':A.__class__.__name__,'reader_info':A.reader_info,'name':A.name,'origin':A.origin.dict(),'encoding':A.encoding,'read_error':A.read_error,'read_data':A.read_data};B.update(A.class_info());return B