scilens 0.1.0__py3-none-any.whl

scilens/LICENSE

@@ -0,0 +1,37 @@
+Licence d'Utilisation scilens
+
+1. Objet de la Licence
+
+Cette licence définit les termes et conditions d'utilisation de la bibliothèque logicielle appelée `scilens` (ci-après désignée `la Bibliothèque`).
+
+2. Droits d'utilisation
+
+- L'achat ou la réception d'une licence accorde à l'utilisateur une licence limitée, non exclusive, et non transférable pour utiliser la Bibliothèque conformément aux termes de cette licence.
+- L'utilisateur est autorisé à utiliser la Bibliothèque uniquement pour des projets dans le cadre défini par l'accord.
+
+3. Restrictions
+
+L'utilisateur s'engage à respecter les restrictions suivantes :
+
+- Interdiction de redistribution : Il est strictement interdit de distribuer, vendre, louer, ou prêter la Bibliothèque à des tiers, sous quelque forme que ce soit.
+- Code source : La Bibliothèque est fournie sous forme binaire ou compilée, sauf disposition contraire. Toute tentative de décompilation, rétro-ingénierie, ou modification est strictement interdite.
+- Propriété intellectuelle : Tous les droits de propriété intellectuelle relatifs à la Bibliothèque sont et restent la propriété exclusive de CesGensLaB.
+
+4. Limitations de garantie
+
+- La Bibliothèque est fournie "en l'état" sans garantie expresse ou implicite.
+- CesGensLaB ne pourra être tenu responsable de tout dommage direct ou indirect, incluant mais non limité à la perte de données, la perte de profits ou l'interruption de service.
+
+5. Durée et résiliation
+
+- Cette licence est valable jusqu'à sa résiliation.
+- Elle peut être résiliée automatiquement en cas de violation des termes de cette licence.
+- À la résiliation, l'utilisateur doit détruire toutes les copies de la Bibliothèque en sa possession.
+
+6. Droit applicable
+
+Cette licence est régie par les lois françaises et tout litige sera soumis à la compétence exclusive des tribunaux français.
+
+---
+
+Contact : Pour toute question relative à cette licence, veuillez contacter legal@cesgenslab.fr.

scilens/__init__.py

@@ -0,0 +1 @@
+from.run.standalone_task_runner import StandaloneTaskRunner

scilens/app.py

@@ -0,0 +1,9 @@
+import importlib.metadata
+pkg_name='scilens'
+product_name='SciLens'
+pkg_version=importlib.metadata.version(pkg_name)
+pkg_homepage=importlib.metadata.metadata(pkg_name).get('home-page')
+pkg_documentations_url=None
+try:pkg_documentations_url=importlib.metadata.metadata(pkg_name)['Project-URL'].split(', ')[1]
+except Exception:pass
+powered_by={'name':'CesGensLab','url':'https://cesgenslab.cloud'}

scilens/cli/cglb.py

@@ -0,0 +1,10 @@
+import time,rich_click as click
+from rich.console import Console
+from rich.progress import Progress
+def cglb_process():
+	B='results';A='command';G=Console();E=[{A:'dev',B:'better'},{A:'build',B:'bigger'},{A:'run',B:'faster'}]
+	for C in E:
+		with Progress()as D:
+			F=D.add_task(f"[cyan]{C[A]}".ljust(20,'-'),total=10)
+			for H in range(10):time.sleep(.1);D.update(F,advance=1)
+		click.echo(click.style(' => '+C[B].upper()+' !\n',fg='magenta'))

scilens/cli/config.py

@@ -0,0 +1,15 @@
+import json,click
+from rich.console import Console
+from rich.syntax import Syntax
+from scilens.app import pkg_name,pkg_version
+from scilens.config.models import AppConfig
+from scilens.config.load import pydantic_to_yaml
+from scilens.config.env_var import get_vars
+console=Console()
+def config_print(mode):
+	H='green';G='json';F='yaml';B=mode;A=' '
+	if B==F:I=pydantic_to_yaml(AppConfig(processor='processor'));C=Syntax(I,F,line_numbers=True);console.print();console.rule(f"[bold green]{pkg_name}.yml[/bold green]");console.print(C)
+	if B==G:J=AppConfig.model_json_schema();C=Syntax(json.dumps(J,indent=2),G,line_numbers=True);console.print(C)
+	if B=='envvars':
+		D=get_vars();E=max([len(A)for A in D])+4;K=max([len(A)for A in D.values()])+4;click.echo(click.style(('Environment variable name'+A).ljust(E,A)+A+'Config variable path',fg=H));click.echo(click.style('='*E+A+'='*K,fg=H))
+		for(L,M)in D.items():click.echo(click.style((L+A).ljust(E,'.'),fg='yellow')+A+M)

scilens/cli/info.py

@@ -0,0 +1,12 @@
+_A='yellow'
+import rich_click as click
+from scilens.app import pkg_name,pkg_version,pkg_homepage,pkg_documentations_url,powered_by
+from scilens.utils.system import info as system_info
+def echo_draw():click.echo(click.style("                           \n         :::::::::                         _____          _   _                                 \n       :::::::::::                        / ____|        (_) | |                           \n     ::       :::::::::::                | (___     ___   _  | |        ___   _ __    ___  \n   :::: :::::: :::::::::::::              \\___ \\   / __| | | | |       / _ \\ | '_ \\  / __|     \n   :::: ::::::  ::::::::::::::            ____) | | (__  | | | |____  |  __/ | | | | \\__ \\     \n  ::::::  :::  :::::::::::::::::         |_____/   \\___| |_| |______|  \\___| |_| |_| |___/     \n ::::::::::::::::::::::::::::::::       \n :::::::::::::::::::::::::::::::::      \n ::::::::::::::::::::::::::::::::::     \n                    :::::::::::::::     \n                      :::::::::::::     \n                       :::::::::::: \n               ::::    :::::::::::: \n             :::::::   :::::::::::  \n            ::::::::  :::::::::::   \n           ::::  ::  :::::::::::    \n           ::::::::::::::::::::     \n             :::::::::::::::        \n               ::::::::::           \n\n                                   \n",fg='magenta'))
+def echo_info():
+	B='blue';A='black';click.echo(pkg_name+' '+click.style(f"v{pkg_version}",fg=_A));click.echo(click.style('Visit ...........',fg=A)+' '+click.style(pkg_homepage,fg=B))
+	if pkg_documentations_url:click.echo(click.style('Documentations ..',fg=A)+' '+click.style(pkg_documentations_url,fg=B))
+	click.echo(click.style('Powered by ......',fg=A)+' '+click.style(powered_by['url'],fg=B))
+def echo_system_info():
+	A=system_info()
+	for(B,C)in A.items():click.echo((B+' ').ljust(15,'.')+' '+click.style(f"{C}",fg=_A))

scilens/cli/main.py

@@ -0,0 +1,74 @@
+_A=True
+import logging,os,coloredlogs,rich_click as click
+from scilens.app import pkg_name,pkg_version
+from scilens.readers.reader_manager import ReaderManager
+from scilens.run.tasks_collector import TasksCollector
+from scilens.run.models.task_results import TaskResults
+from scilens.utils.time_tracker import TimeTracker
+from scilens.cli.config import config_print
+from scilens.cli.cglb import cglb_process
+from scilens.cli.info import echo_info,echo_system_info,echo_draw
+from scilens.config.cli_run_options import get_vars
+from scilens.helpers.search_and_index import SearchAndIndex
+def echo_separator(msg=None):
+	B='green';A=msg
+	if A:A=f" {A}";click.echo(click.style(A.rjust(80,'='),fg=B))
+	else:click.echo(click.style('='*80,fg=B))
+def echo_task_error():click.echo(click.style('='*80,fg='red'))
+@click.group()
+@click.option('--log-level',default='INFO',help='Log level. Default is INFO. Available levels are DEBUG, INFO, WARNING, ERROR, CRITICAL.')
+def cli(log_level):coloredlogs.install(level=log_level)
+@cli.command(short_help='Show the version information')
+def version():click.echo(f"{pkg_name} v{pkg_version}")
+@cli.command(short_help='CesGensLaB Slogan',hidden=_A)
+def cesgenslab():cglb_process()
+@cli.command(short_help='Show application informations')
+def info():echo_draw();echo_info()
+@cli.command(short_help='Show system informations. (Useful for dynamic context configuration)')
+def sysinfo():echo_system_info()
+@cli.command(short_help='Show the reader plugins')
+def reader():
+	for A in ReaderManager()._get_plugin_names():click.echo(click.style(A,fg='yellow'))
+@cli.group()
+def config():0
+@config.command(name='default',short_help='Example of default config')
+def config_default():config_print('yaml')
+@config.command(name='json',short_help='Show the config structure in json schema format')
+def config_json():config_print('json')
+@config.command(name='envvar',short_help='Show the available environment variables')
+def config_json():config_print('envvars')
+@cli.command(short_help='Run data collections and analysis')
+@click.argument('path',required=_A)
+@click.option('--config',help=f'Path to the yaml test configuration file. If not provided, search for a file named "{pkg_name}.yml" in the PATH (exlusive with --processor, --collect-depth and --collect-discover).')
+@click.option('--collect-discover',is_flag=_A,help=f'Explore recursively PATH seeking for "{pkg_name}.yml" configuration files, and run them sequentially (exlusive with --config and --processor and --collect-depth).')
+@click.option('--collect-depth',type=int,help=f'Walk the PATH and list subdirectories at depth --collect-depth." (exlusive with --config, --processor and --collect-discover).')
+@click.option('--processor',help=f"If specified, run with this processor, default configuration values, and environment variables (exlusive with --config, --collect-depth and --collect-discover).")
+@click.option('--tag',multiple=_A,help=f'Filter collected tasks on tags defined in corresponding "{pkg_name}.yml". (Can be used multiple times).')
+@click.option('--collect-only',is_flag=_A,help=f"Collect only, with --discover or not. Do not run the tasks.")
+@click.option('--report-title',help=f"Define report title.")
+@click.option('--export-html',is_flag=_A,help=f"Generate HTML report(s).")
+@click.option('--export-json',is_flag=_A,help=f"Generate JSON report(s).")
+@click.option('--export-yaml',is_flag=_A,help=f"Generate YAML report(s).")
+@click.option('--export-html-add-index',is_flag=_A,help=f"Generate an index for generated HTML reports.")
+def run(path,config,collect_discover,collect_depth,processor,tag,collect_only,report_title,export_html,export_json,export_yaml,export_html_add_index):
+	R='datetime';K=processor;J=collect_discover;I=config;E=collect_depth;echo_separator('Info');echo_info();echo_separator('System Info');echo_system_info();S=list(tag);B=os.path.abspath(path)
+	if not os.path.isdir(B):logging.error(f"Dir '{B}' does not exist.");exit(1)
+	if not bool(I)+J+(bool(E)or E==0)+bool(K)in[0,1]:logging.error(f"Options --config, --collect-discover, --collect-depth and --processor are mutually exclusive.");exit(1)
+	echo_separator('Collecting tasks');F=[]
+	try:F=TasksCollector(B,I,J,E,S,K).process(get_vars(report_title,export_html,export_json,export_yaml))
+	except Exception as D:logging.error(D);exit(1)
+	if collect_only:echo_separator();logging.info('Collecting tasks only - End');echo_separator();exit(0)
+	else:
+		L=TimeTracker();A=len(F);M=0;N=0;O=0;P=[]
+		for(T,U)in enumerate(F):
+			echo_separator(f"Running task {T+1}/{A}")
+			try:C=U.process()
+			except Exception as D:echo_task_error();logging.error(D);C=TaskResults(error=str(D))
+			if C.report_results:P+=C.report_results.files_created
+			if C.error:M+=1
+			G=C.processor_results
+			if G:
+				if G.warnings:O+=1
+				if G.errors:N+=1
+		if export_html_add_index:echo_separator(f"Post Actions");logging.info(f"Generate HTML Index for the HTML reports");V=[A for A in P if A.endswith('.html')];Q=os.path.join(B,'index.html');SearchAndIndex().create_html_index(SearchAndIndex().file_list_info_from_origin(V,B),Q,title='Index of Reports');logging.info(f"HTML Index generated at '{Q}'")
+		echo_separator(f"End Running tasks ({A}/{A})");L.stop();H=L.get_data();logging.info(f"Tasks with errors ............... {M}/{A}");logging.info(f"Tasks with processor errors ..... {N}/{A}");logging.info(f"Tasks with processor warnings ... {O}/{A}");logging.info(f"Start ........................... {H['start'][R]} utc");logging.info(f"End ............................. {H['end'][R]} utc");logging.info(f"Duration......................... {H['duration_seconds']} seconds");echo_separator()

scilens/components/analyse_folder.py

@@ -0,0 +1,4 @@
+import os
+class AnalyseFolder:
+	def __init__(A):0
+	def get_list_dir(C,dir,exclude_files=None):A=exclude_files;B=[os.path.join(dir,A)for A in os.listdir(dir)];return B if not A else[B for B in B if B not in A]

scilens/components/compare_2_files.py

@@ -0,0 +1,22 @@
+import os
+from scilens.run.task_context import TaskContext
+from scilens.components.file_reader import FileReader
+from scilens.components.compare_errors import CompareErrors,SEVERITY_ERROR
+from scilens.components.compare_floats import CompareFloats
+class Compare2Files:
+	def __init__(A,context):A.context=context
+	def compare(B,path_test,path_ref):
+		Q='comparison_errors';P='comparison';M='reader';J='error';I='ref';H='test';E='path';A={H:{},I:{},P:None,Q:None};D={H:{E:path_test},I:{E:path_ref}}
+		for(K,F)in D.items():
+			if not F.get(E)or not os.path.exists(F[E]):A[J]=f"file {K} does not exist";return A
+		R=FileReader(B.context.working_dir,B.context.config.file_reader,B.context.config.readers,config_alternate_path=B.context.origin_working_dir)
+		for(K,F)in D.items():D[K][M]=R.read(F[E])
+		C=D[H][M];G=D[I][M]
+		if not C or not G:A['skipped']=True;return A
+		A[H]=C.info();A[I]=G.info()
+		if C.read_error:A[J]=C.read_error;return A
+		L=CompareErrors(B.context.config.compare.errors_limit,B.context.config.compare.ignore_warnings);N,S=C.compare(CompareFloats(L,B.context.config.compare.float_thresholds),G,param_is_ref=True);A[P]=S;A[Q]=L.get_data()
+		if N:A[J]=N;return A
+		C.close();G.close();O=len(L.errors[SEVERITY_ERROR])
+		if O>0:T=f"{O} comparison errors";A[J]=T
+		return A

scilens/components/compare_errors.py

@@ -0,0 +1,22 @@
+_B=False
+_A=None
+from pydantic import BaseModel
+class CompareGroup(BaseModel):name:str;data:dict|_A
+class CompareErrFloats(BaseModel):is_relative:bool;value:float;test:float;reference:float
+class CompareErr(BaseModel):err:CompareErrFloats|_A;msg:int;group:int|_A=_A;info:dict|_A=_A
+SEVERITY_ERROR='error'
+SEVERITY_WARNING='warning'
+class CompareErrors:
+	def __init__(A,nb_max,ignore_warnings=_B):A.nb_max=nb_max;A.ignore_warnings=ignore_warnings;A.errors={SEVERITY_ERROR:[],SEVERITY_WARNING:[]};A.count=0;A.limit_reached=_B;A.messages=[];A.messages_map={};A.groups=[]
+	def add_group(A,name,data=_A):B=len(A.groups);A.groups.append(CompareGroup(name=name,data=data));return B
+	def add(A,severity,message,comp_err,group_idx=_A,info=_A):
+		D=severity;C=message
+		if A.ignore_warnings and D==SEVERITY_WARNING:return _B
+		A.count+=1;B=A.messages_map.get(C)
+		if B is _A:B=len(A.messages);A.messages.append(C);A.messages_map[C]=B
+		A.errors[D].append(CompareErr(err=comp_err,msg=B,group=group_idx,info=info))
+		if A.count>=A.nb_max:A.limit_reached=True;return True
+	def get_data(B):
+		A={'messages':B.messages,'groups':[A.model_dump()for A in B.groups]}
+		for(C,D)in B.errors.items():A[C]=[A.model_dump()for A in D];A[C+'_nb']=len(A[C])
+		return A

scilens/components/compare_floats.py

@@ -0,0 +1,39 @@
+_C='amplitude'
+_B=False
+_A=None
+from scilens.components.compare_errors import CompareErrors,SEVERITY_ERROR,SEVERITY_WARNING,CompareErrFloats
+from scilens.config.models import CompareFloatThresholdsConfig
+def vector_get_amplitude(vector):A=vector;B=min(A);C=max(A);return{'min':B,'max':C,_C:abs(C-B)}
+class CompareFloats:
+	def __init__(A,compare_errors,config):A.compare_errors=compare_errors;A.thresholds=config
+	def compare_vectors(B,test_vector,reference_vector,group_idx=_A,info_vector=_A):
+		H=info_vector;E=reference_vector;C=test_vector;I=0;J={SEVERITY_ERROR:0,SEVERITY_WARNING:0};K=_B;F=_A
+		if B.thresholds.vectors.amplitude_moderation:P=vector_get_amplitude(C)[_C];F=P*B.thresholds.vectors.amplitude_moderation.multiplier;L=B.thresholds.vectors.amplitude_moderation.method
+		Q=len(C)
+		for A in range(Q):
+			M=C[A]-E[A]
+			if M==0:continue
+			else:I+=1
+			if K:continue
+			if F is not _A and abs(M)<F:
+				if L=='ignore':continue
+				elif L=='soften':D,N,G=B.compare_2_values(C[A],E[A]);D=SEVERITY_WARNING
+			else:D,N,G=B.compare_2_values(C[A],E[A])
+			if G:
+				J[D]+=1;O={'index':A}
+				if H:O['info']=H[A]
+				K=B.compare_errors.add(D,N,G,group_idx=group_idx,info=O)
+		return _B,I,J
+	def compare_2_values(G,test,reference):
+		D=test;B=reference;A=G.thresholds;F=-1 if D-B<0 else 1
+		if abs(D)>A.relative_vs_absolute_min and B!=0:
+			C=abs(D-B)/abs(B);E=CompareErrFloats(is_relative=True,value=F*C,test=D,reference=B)
+			if C<A.relative_error_max:
+				if C>A.relative_error_min:return SEVERITY_WARNING,f"Rel. err. > {A.relative_error_min} and < {A.relative_error_max}",E
+			else:return SEVERITY_ERROR,f"Rel. err. > {A.relative_error_max}",E
+		else:
+			C=abs(D-B);E=CompareErrFloats(is_relative=_B,value=F*C,test=D,reference=B)
+			if C<A.absolute_error_max:
+				if C>A.absolute_error_min:return SEVERITY_WARNING,f"Abs. err. > {A.absolute_error_min} and < {A.absolute_error_max}",E
+			else:return SEVERITY_ERROR,f"Abs. err. > {A.absolute_error_max}",E
+		return _A,_A,_A

scilens/components/compare_folders.py

@@ -0,0 +1,39 @@
+_E='ref'
+_D='test'
+_C='name'
+_B=None
+_A='path'
+import logging,os
+from scilens.run.task_context import TaskContext
+from scilens.components.compare_2_files import Compare2Files
+def list_dir(path,filename_match_ignore,recursive,exclude_filepaths=_B):
+	I=exclude_filepaths;H=filename_match_ignore;G='rel_path';F='filename_clean';B='';A=path
+	if recursive:
+		C=[]
+		for(D,L,K)in os.walk(A):
+			for J in K:C.append({_A:os.path.join(D,J),F:J.replace(str(H),B),G:D.replace(A+os.path.sep,B)if D!=A else B})
+		E={os.path.join(A[G],A[F]):A for A in C}
+	else:C={C.replace(str(H),B):C for C in os.listdir(A)if os.path.isfile(os.path.join(A,C))};E={C:{_A:os.path.join(A,D),F:C,G:B}for(C,D)in C.items()}
+	return{B:A for(B,A)in E.items()if A[_A]not in I}if I else E
+class CompareFolders:
+	def __init__(A,context):
+		C=context;A.context=C;B=C.config.compare.sources;A.cfg=B;A.test_base=os.path.join(C.working_dir,B.test_folder_relative_path);A.ref_base=os.path.join(C.working_dir,B.reference_folder_relative_path)
+		if B.additional_path_suffix:A.test=os.path.join(A.test_base,B.additional_path_suffix);A.ref=os.path.join(A.ref_base,B.additional_path_suffix)
+		else:A.test=A.test_base;A.ref=A.ref_base
+	def compute_list_filenames(A):
+		logging.info(f"Comparing folders content: test vs reference");logging.debug(f"Comparing folders content: {A.test} vs {A.ref}");E=[A.context.config_file]if A.context.config_file else _B;F=[]
+		if A.test!=A.ref:
+			logging.info(f"Listing files in test folder");logging.debug(f"-- test folder: {A.test}");C=list_dir(A.test,A.cfg.test_filename_match_ignore,A.cfg.recursive,exclude_filepaths=E);logging.info(f"Listing files in reference folder");logging.debug(f"-- test reference: {A.ref}");D=list_dir(A.ref,A.cfg.reference_filename_match_ignore,A.cfg.recursive,exclude_filepaths=E);G=sorted(list(set(C.keys())|set(D.keys())))
+			for B in G:F.append({_C:B,_D:C[B][_A]if C.get(B)else _B,_E:D[B][_A]if D.get(B)else _B})
+		return F
+	def compute_comparison(E,items):
+		C='error';D=[]
+		for B in items:
+			logging.info(f"Comparing file: {B[_C]}")
+			try:A=Compare2Files(E.context).compare(B[_D],B[_E])
+			except Exception as F:A={C:str(F),_D:{},_E:{}}
+			A[_C]=B[_C];D.append(A)
+			if A.get(C):
+				logging.warning(f"Error found in comparison: {A[C]}")
+				if A[C]=='No reader found':logging.warning(f"Maybe Config Options could used to derive the correct reader or skip the file");logging.warning(f" - file_reader.extension_unknown_ignore to skip");logging.warning(f" - file_reader.extension_fallback to use a default reader");logging.warning(f" - file_reader.extension_mapping to map extensions")
+		return D

scilens/components/executor.py

@@ -0,0 +1,58 @@
+import logging,os,shutil,stat,subprocess,platform,tempfile,zipfile
+from scilens.config.models import ExecuteConfig
+from scilens.utils.file import dir_remove,dir_create
+from scilens.utils.web import Web
+def unzip_file(zip_file_path,extract_to_path):
+	with zipfile.ZipFile(zip_file_path,'r')as A:A.extractall(extract_to_path)
+def find_command(command_path,working_dirs,guess_os_extension=False):
+	F='.bash';E='.sh';A=[]
+	if guess_os_extension:
+		B=platform.system().lower()
+		if B=='windows':A=['.exe','.bat','.cmd']
+		elif B=='linux':A=[E,F,'.bin']
+		elif B=='darwin':A=[E,F]
+		else:logging.warning(f"Unknown system {B}")
+	for G in working_dirs:
+		C=os.path.join(G,command_path)
+		if os.path.exists(C):return C
+		else:
+			for H in A:
+				D=C+H
+				if os.path.exists(D):return D
+class Executor:
+	def __init__(A,absolute_working_dir,config,alternative_working_dir=None):
+		B=config;A.working_dir=absolute_working_dir;A.config=B;A.alternative_working_dir=alternative_working_dir;A.command_path=None;A.temp_dir=None
+		if B.exe_url and B.exe_path:raise ValueError('Executable URL and Path are defined. Only one can be defined.')
+		if not B.exe_url and not B.exe_path:raise ValueError('Executable URL and Path are not defined. One must be defined.')
+		if not os.path.exists(A.working_dir):logging.info(f"Creating working directory {A.working_dir}");dir_create(A.working_dir)
+	def __enter__(A):return A
+	def __exit__(A,exc_type,exc_value,traceback):A._cleanup()
+	def _cleanup(A):0
+	def _pre_operations(A):
+		logging.info(f"Execute - Pre Operations");logging.info(f"Folders deletion")
+		for dir in A.config.pre_folder_delete or[]:dir_remove(os.path.join(A.working_dir,dir))
+		logging.info(f"Folders creation")
+		for dir in A.config.pre_folder_creation or[]:dir_create(os.path.join(A.working_dir,dir))
+		if A.config.exe_url:logging.info(f"Download executable {A.config.exe_url}");A.temp_dir=tempfile.mkdtemp();E='executable';B=os.path.join(A.temp_dir,E);Web().download_progress(A.config.exe_url,B,headers=A.config.exe_url_headers,callback100=lambda percentage:logging.info(f"Downloaded {percentage}%"));logging.info(f"Download completed")
+		else:B=A.config.exe_path
+		if A.config.exe_unzip_and_use:logging.info(f"Unzip archive");C=os.path.dirname(B);unzip_file(B,C);B=os.path.join(C,A.config.exe_unzip_and_use);print(f"executable_path {B}");logging.info(f"Unzip completed")
+		if not os.path.exists(B):
+			if not A.config.exe_guess_os_extension:raise FileNotFoundError(f"Command not found: {B}")
+			else:
+				logging.info(f"Guess OS extension");D=[A.working_dir]
+				if A.alternative_working_dir:D.append(A.alternative_working_dir)
+				B=find_command(B,D,guess_os_extension=True)
+				if not B:raise FileNotFoundError(f"Command not found: {B}")
+		logging.info(f"Add executable permissions");F=os.stat(B).st_mode;os.chmod(B,F|stat.S_IXUSR|stat.S_IXGRP|stat.S_IXOTH);A.command_path=B
+	def _post_operations(A):logging.info(f"Execute - Post Operations")
+	def _run_command(A):
+		logging.info(f"Execute - Run Command");C=A.command_path;B=C
+		if os.path.isabs(B):
+			if not os.path.exists(B):raise FileNotFoundError(f"Command not found: {B}")
+		else:
+			D=[A.working_dir]
+			if A.alternative_working_dir:D.append(A.alternative_working_dir)
+			B=find_command(C,D,guess_os_extension=A.config.exe_guess_os_extension)
+			if not B:raise FileNotFoundError(f"Command not found: {C}")
+		E=f"{B}{A.config.command_suffix or''}";logging.info(f"RUN COMMAND {E} in {A.working_dir}");subprocess.run(E,shell=True,check=True,cwd=A.working_dir)
+	def process(A):logging.info(f"Execute");A._pre_operations();A._run_command();A._post_operations();A._cleanup()

scilens/components/file_reader.py

@@ -0,0 +1,29 @@
+_A=None
+import logging,importlib,os
+from scilens.config.models import FileReaderConfig
+from scilens.config.models.readers import ReadersConfig
+from scilens.readers.reader_manager import ReaderManager
+from scilens.readers.exceptions import NoReaderFound
+class FileReader:
+	def __init__(A,absolute_working_dir,config,readers_config,config_alternate_path=_A):A.path=absolute_working_dir;A.config_alternate_path=config_alternate_path;A.reader_mgmr=ReaderManager();A.config=config;A.readers_config=readers_config
+	def _get_custom_parser(D,config_parser):
+		E=config_parser
+		if not E:return
+		A,H=E.split('::');B=_A;I=[A,f"{D.path}/{A}",f"{D.config_alternate_path}/{A}"]
+		for C in I:
+			if os.path.exists(C):B=C;break
+		if not B:raise Exception(f"Custom curve parser not found: {A}")
+		J=C.split('/')[-1].replace('.py','');F=importlib.util.spec_from_file_location(J,B);G=importlib.util.module_from_spec(F);F.loader.exec_module(G);return getattr(G,H)
+	def read(A,path):
+		logging.info(f"Reading file: {path}");E=_A;C=A.config.custom_curve_parser
+		if C:
+			if isinstance(C,str):E=A._get_custom_parser(C)
+		try:
+			B=A.reader_mgmr.get_reader_from_file(path,encoding=A.config.encoding,curve_parser=E,extension_mapping=A.config.extension_mapping,extension_fallback=A.config.extension_fallback);D=_A
+			if B.__class__.__name__=='ReaderTxt':D=A.readers_config.txt
+			elif B.__class__.__name__=='ReaderCsv':D=A.readers_config.csv
+			B.read(D)
+		except NoReaderFound:
+			if A.config.extension_unknown_ignore:0
+			else:raise Exception(f"No reader found")
+		return B

scilens/config/cli_run_options.py

@@ -0,0 +1,8 @@
+_A=False
+def get_vars(title='',export_html=_A,export_json=_A,export_yaml=_A):
+	C=title;B=True;A={}
+	if C:A['report.title']=C
+	if export_html:A['report.output.export_html']=B
+	if export_json:A['report.output.export_json']=B
+	if export_yaml:A['report.output.export_yaml']=B
+	return A

scilens/config/env_var.py

@@ -0,0 +1,3 @@
+from scilens.app import pkg_name
+ENV_VARS_CONFIG_MODEL=['processor','execute.command_suffix','execute_and_compare.test.exe_path','execute_and_compare.reference.exe_path','report.title']
+def get_vars():return{f"{pkg_name.upper()}_{A.upper().replace('.','_')}":A for A in ENV_VARS_CONFIG_MODEL}

scilens/config/load.py

@@ -0,0 +1,40 @@
+import logging,os,json,yaml
+from pydantic import BaseModel
+from scilens.config.models import AppConfig
+from scilens.config.env_var import get_vars
+from scilens.utils.dict import dict_path_set,dict_path_get
+PATH_ENV_VARS_VALUES={}
+def env_vars_load():
+	B=get_vars()
+	for(C,D)in B.items():
+		A=os.getenv(C)
+		if A:PATH_ENV_VARS_VALUES[D]=A
+env_vars_load()
+def config_load(config,options_path_value=None,config_override=None):
+	F=options_path_value;B=config_override;A=config;J=isinstance(A,str)or isinstance(B,str);K=bool(PATH_ENV_VARS_VALUES);L=bool(F)
+	if isinstance(A,str):
+		logging.info(f"Loading configuration file {A}")
+		with open(A,'r')as G:
+			try:C=yaml.safe_load(G)
+			except yaml.YAMLError as D:raise Exception(f"Error in configuration file {A}: {D}")
+	elif isinstance(A,dict):C=json.loads(json.dumps(A))
+	if B:
+		if isinstance(B,str):
+			logging.info(f"Loading configuration file {B}")
+			with open(B,'r')as G:
+				try:I=yaml.safe_load(G)
+				except yaml.YAMLError as D:raise Exception(f"Error in configuration file {B}: {D}")
+		elif isinstance(A,dict):I=B
+		C.update(I)
+	for(E,H)in PATH_ENV_VARS_VALUES.items():
+		if not dict_path_get(C,E):dict_path_set(C,E,H)
+	if F:
+		for(E,H)in F.items():dict_path_set(C,E,H)
+	try:return AppConfig(**C)
+	except Exception as D:
+		logging.error(f"Error in configuration definition")
+		if J:logging.error(f"Please check Configuration file: {A}")
+		if K:logging.error(f"Please check Environment Variables")
+		if L:logging.error(f"Please check Command Options")
+		logging.warning(f"{D}");exit(1)
+def pydantic_to_yaml(model):return yaml.safe_dump(model.model_dump(by_alias=True),default_flow_style=False)

scilens/config/models/__init__.py

@@ -0,0 +1,12 @@
+from.app import AppConfig
+from.compare import CompareConfig
+from.compare_float_thresholds import CompareFloatThresholdsConfig
+from.execute_and_compare import ExecuteAndCompareConfig
+from.execute import ExecuteConfig
+from.reader_format_txt import ReaderTxtIgnoreConfig,ReaderTxtConfig
+from.reader_format_csv import ReaderCsvConfig
+from.readers import ReadersConfig
+from.file_reader import FileReaderConfig
+from.report_html import ReportHtmlConfig,ReportHtmlCurvesConfig,ReportParameterOpenFileInConfig,ReportParameterPageModeConfig
+from.report_output import ReportOutputConfig
+from.report import ReportConfig

scilens/config/models/app.py

@@ -0,0 +1,9 @@
+_A='Configuration utile au processeur `ExecuteAndCompare`.'
+from pydantic import BaseModel,Field
+from scilens.config.models.compare import CompareConfig
+from scilens.config.models.execute import ExecuteConfig
+from scilens.config.models.execute_and_compare import ExecuteAndCompareConfig
+from scilens.config.models.file_reader import FileReaderConfig
+from scilens.config.models.readers import ReadersConfig
+from scilens.config.models.report import ReportConfig
+class AppConfig(BaseModel):processor:str=Field(description='Nom du processeur à utiliser. `Compare` ou `ExecuteAndCompare`.');variables:dict[str,str]=Field(default={},description='Variables Utilisateur.');tags:list[str]|None=Field(default=None,description="Utilisé dans un contexte ligne de commande, utilisé en conjonction avec l'option `--discover` pour filtrer les cas à éxécuter.");execute:ExecuteConfig=Field(default=ExecuteConfig(),description=_A);execute_and_compare:ExecuteAndCompareConfig=Field(default=ExecuteAndCompareConfig(),description=_A);file_reader:FileReaderConfig=Field(default=FileReaderConfig(),description='Configuration des readers fichiers.');readers:ReadersConfig=Field(default=ReadersConfig(),description='Configuration des readers.');compare:CompareConfig=Field(default=CompareConfig(),description='Configuration utile aux processeurs `Compare` et `ExecuteAndCompare`');report:ReportConfig=Field(default=ReportConfig(),description='Configuration des Reports.')

scilens/config/models/compare.py

@@ -0,0 +1,5 @@
+_A=None
+from pydantic import BaseModel,Field
+from scilens.config.models.compare_float_thresholds import CompareFloatThresholdsConfig
+class CompareSourceFoldersConfig(BaseModel):test_folder_relative_path:str=Field(default='test',description='Relative path to the working directory for the test folder.');reference_folder_relative_path:str=Field(default='reference',description='Relative path to the working directory for the reference folder.');additional_path_suffix:str=Field(default='',description='Additional path to add after test and reference folders.');test_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier test à ignorer pour matcher les noms. Ex : `.test` or `test_`');reference_filename_match_ignore:str|_A=Field(default=_A,description='Chaîne spécifique dans le nom de fichier référence à ignorer pour matcher les noms. Ex : `.ref` or `ref_`');recursive:bool=Field(default=False,description='Recherche récursive dans les répertoires de test et de référence.')
+class CompareConfig(BaseModel):sources:CompareSourceFoldersConfig=Field(default=CompareSourceFoldersConfig(),description='Configuration pour les sources des données de test et de référence.');float_thresholds:CompareFloatThresholdsConfig=Field(default=CompareFloatThresholdsConfig(),description='Seuil de comparaison pour les valeurs flottantes.');ignore_warnings:bool=Field(default=False,description='Si `true`, ne lève pas les erreurs de sévérité `warning`.');errors_limit:int=Field(default=1000,description="Limite d'erreurs à atteindre avant de s'arrêter (Sévérité `warning` et `error`).")

scilens/config/models/compare_float_thresholds.py

@@ -0,0 +1,4 @@
+from pydantic import BaseModel,Field
+class CompareFloatVectorsAmplitudeConfig(BaseModel):method:str=Field(default='soften',description="Si `soften`, réduit la sévérité de l'erreur. Si `ignore`, ne lève pas d'erreur.");multiplier:float=Field(description='Processe la méthode si `|Test-Reference|` (Erreur Absolue) est inférieure à `multiplier * |Max(Vector)-Min(Vector)|` (Amplitude pondérée).  Ex: `0.1`.')
+class CompareFloatVectorsConfig(BaseModel):amplitude_moderation:CompareFloatVectorsAmplitudeConfig|None=Field(default=None,description="Pondére la gestion d'erreur avec l'amplitude.")
+class CompareFloatThresholdsConfig(BaseModel):relative_vs_absolute_min:float=Field(default=1e-12,description="Si la valeur de test est inférieure à ce seuil, calcul de l'erreur absolue.");relative_error_min:float=Field(default=.001,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `warning`.");relative_error_max:float=Field(default=.01,description="Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité `error`.");absolute_error_min:float=Field(default=1e-07,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `warning`.");absolute_error_max:float=Field(default=1e-06,description="Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité `error`.");vectors:CompareFloatVectorsConfig=Field(default=CompareFloatVectorsConfig(),description='Paramètres pour la comparaison de vecteurs de flottants (csv, nc, ...).')

scilens/config/models/execute.py

@@ -0,0 +1,4 @@
+_B="Url de l'exécutable à télécharger avant de l'exécuter. Ex : `https://github.com/org/app/releases/download/v3.31.5/app-2.12.2-linux-x86-64`."
+_A=None
+from pydantic import BaseModel,Field
+class ExecuteConfig(BaseModel):pre_folder_delete:list[str]|_A=Field(default=_A,description='Liste de répertoire à supprimer avant l\'éxecution. Ex: `["DEBUG", "LOG", "OUT"]`');pre_folder_creation:list[str]|_A=Field(default=_A,description='Liste de répertoire à créeravant l\'éxecution. Ex : `["INI", "DAT"]`');exe_path:str|_A=Field(default=_A,description="Chemin de l'exécutable. Ex : `/absolute/path/executable` or `relative/path/executable`. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory`.");exe_url:str|_A=Field(default=_A,description=_B);exe_url_headers:dict[str,str]|_A=Field(default=_A,description=_B);exe_unzip_and_use:str|_A=Field(default=_A,description="Si l'exécutable (path ou url) est zippé, alors décompresse et utilise le fichier spécifié. Ex : `app-2.12.2-linux-x86-64`");exe_guess_os_extension:bool=Field(default=False,description="Si la commande à exécuter n'est pas trouvée, cherche avec des extensions en fonction de l'OS. Ex : `.exe`, `.bat` pour windows");command_suffix:str|_A=Field(default=_A,description='Suffixe à ajouter à la commande. Typiquemnt des secrets. Ex : ` --token DGDFGDFGDH`');working_dir:str|_A=Field(default=_A,description="Chemin relatif du répertoire de travail pour l'éxecution de la commande. Dans le contexte processeur `ExecuteAndCompare` si non défini, récupère respectivement la valeur de `compare.sources.test_folder_relative_path` ou `compare.sources.reference_folder_relative_path`")

scilens/config/models/execute_and_compare.py

@@ -0,0 +1,4 @@
+_A=None
+from pydantic import BaseModel,Field
+from scilens.config.models.execute import ExecuteConfig
+class ExecuteAndCompareConfig(BaseModel):test:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de test.');test_only:bool=Field(default=False,description='Si `true`, aucune éxécution faite pour la référence (les sorties de réferences pour comparaison existent déjà).');reference:ExecuteConfig|_A=Field(default=_A,description='Surcharge les paramètres de la section `execute` pour le contexte de référence.')

scilens/config/models/file_reader.py

@@ -0,0 +1,3 @@
+_A=None
+from pydantic import BaseModel,Field
+class FileReaderConfig(BaseModel):extension_unknown_ignore:bool=Field(default=False,description="Si aucun reader n'est trouvé pour une extension, passe au suivant sans générer d'erreur.");extension_mapping:dict|_A=Field(default=_A,description='Mapping d\'extensions source - cible. Ex `{"txt": "csv"}`.');extension_fallback:str|_A=Field(default=_A,description="Si aucun reader n'est trouvé pour une extension, utilise cette extension pour déterminer le reader.");encoding:str=Field(default='utf-8',description='Encodage utilisé pour lire les fichiers.');custom_curve_parser:str|dict[str,str]|_A=Field(default=_A,description="Représente le chemin d'un fichier/module python suivi par :: suivi par le nom d'une fonction à appeller pour parser les courbes d'un fichier. Le chemin peut être absolu ou relatif. Dans le cas, d'un chemin relatif, il testera le `working directory` et le `origin working directory`. Ex: `custom_parser.py::parse_curves`")

scilens/config/models/reader_format_csv.py

@@ -0,0 +1,18 @@
+_B='(Valide seulement si la première ligne est les en-têtes)'
+_A=None
+from pydantic import BaseModel,Field,model_validator
+from enum import Enum
+class ReaderCsvCurveParserNameConfig(str,Enum):COL_X='col_x';COLS_COUPLE='cols_couple'
+class ReaderCsvCurveParserColXConfig(BaseModel):x:int|str|list[str]=Field(default=1,description="Si `integer`, index de la colonne pour l'axe x (index `1` pour la première colonne)."+"Si `String`, nom de la colonne pour l'axe x. Si la colonne n'existe pas, il n'y aura pas de parsing."+_B+"Si `List[String] (utiles dans un contexte multi dataset), noms de la colonne pour l'axe x, noms des colonnes pour l'axe x , si plusieurs colonnes correspondent, la première trouvée sera utilisée. Si aucune colonne ne correspond, il n'y aura pas de parsing."+_B)
+class ReaderCsvCurveParserColsCoupleConfig(BaseModel):x_index:int=Field(description='NOT IMPLEMENTED - Index Col x');y_index:int=Field(description='NOT IMPLEMENTED - Index Col y')
+class ReaderCsvCurveParserConfig(BaseModel):
+	name:ReaderCsvCurveParserNameConfig=Field(description='Le type de `paramètres` dépend de cette valeur');parameters:ReaderCsvCurveParserColXConfig|ReaderCsvCurveParserColsCoupleConfig=Field(description='Paramètres du parser de courbes')
+	@model_validator(mode='after')
+	def validate_model(cls,model):
+		A=model
+		if isinstance(A.parameters,ReaderCsvCurveParserColXConfig)and A.name!=ReaderCsvCurveParserNameConfig.COL_X or isinstance(A.parameters,ReaderCsvCurveParserColsCoupleConfig)and A.name!=ReaderCsvCurveParserNameConfig.COLS_COUPLE:raise ValueError(f"Curve Parser {A.name} Parameters are not correct")
+		if isinstance(A.parameters,dict):
+			if A.name==ReaderCsvCurveParserNameConfig.COL_X:A.parameters=ReaderCsvCurveParserColXConfig(**A.parameters)
+			elif A.name==ReaderCsvCurveParserNameConfig.COLS_COUPLE:A.parameters=ReaderCsvCurveParserColsCoupleConfig(**A.parameters)
+		return A
+class ReaderCsvConfig(BaseModel):ignore_colunmns:list[str]|_A=Field(default=_A,description='Liste des noms des colonnes à ignorer. (Valide seulement si la première ligne est les en-têtes)');curve_parser:ReaderCsvCurveParserConfig|_A=Field(default=_A,description='Parseur de courbe à utiliser.')

scilens/config/models/reader_format_txt.py

@@ -0,0 +1,5 @@
+_A=None
+from pydantic import BaseModel,Field
+class ReaderTxtReportLines(BaseModel):pre:int=Field(default=0,description="Nombre de ligne avant l'erreur à présenter avec le message d'erreur.");post:int=Field(default=0,description="Nombre de ligne après l'erreur à présenter avec le message d'erreur.")
+class ReaderTxtIgnoreConfig(BaseModel):pattern:str=Field(default='',description='Motif de chaîne à ignorer.');pre:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer avant.');post:int=Field(default=0,description='Nombre de ligne supplémentaires à ignorer après.')
+class ReaderTxtConfig(BaseModel):error_rule_patterns:list[str]|_A=Field(default=_A,description='Liste de motifs de chaîne à vérifier. Si un motif est trouvé, génère une erreur. Ex: `["NaN", "infinity"]`');ignore:dict[str,list[ReaderTxtIgnoreConfig]]|_A=Field(default=_A,description='Ignore les lignes d\'un fichier selon un motif. Ex: `{"path": [{"pattern": "NaN", "pre": 0, "post": 0}]}`');report_lines:dict[str,ReaderTxtReportLines]|_A=Field(default=_A,description='Nombre de lignes à reporter avant et après une erreur. Ex: `{"path": {"pre": 0, "post": 0}`')

scilens/config/models/readers.py

@@ -0,0 +1,4 @@
+from pydantic import BaseModel,Field
+from scilens.config.models.reader_format_txt import ReaderTxtIgnoreConfig,ReaderTxtConfig
+from scilens.config.models.reader_format_csv import ReaderCsvConfig
+class ReadersConfig(BaseModel):txt:ReaderTxtConfig=Field(default=ReaderTxtConfig(),description='Configuration des readers txt.');csv:ReaderCsvConfig=Field(default=ReaderCsvConfig(),description='Configuration des readers csv.')

scilens/config/models/report.py

@@ -0,0 +1,6 @@
+_A=None
+from pydantic import BaseModel,Field
+from scilens.app import product_name
+from scilens.config.models.report_html import ReportHtmlConfig
+from scilens.config.models.report_output import ReportOutputConfig
+class ReportConfig(BaseModel):debug:bool=Field(default=False,description='If `true` the report will be more verbose and displays template input data.');title:str=Field(default=_A,description='Titre du rapport');title_prefix:str=Field(default=f"{product_name} Report",description='Préfixe au Titre du rapport');logo:str|_A=Field(default=_A,description="Source d'une image logo. Peut être une url ou une url data image encodée base64 (exclusif avec `logo_file`).");logo_file:str|_A=Field(default=_A,description="Source fichier d'une image logo (exclusif avec `logo`).");output:ReportOutputConfig=ReportOutputConfig();html:ReportHtmlConfig=ReportHtmlConfig()

scilens/config/models/report_html.py

@@ -0,0 +1,6 @@
+_A="Paramètre modifiable par l'utilisateur"
+from pydantic import BaseModel,Field
+class ReportParameterPageModeConfig(BaseModel):is_user_preference:bool=Field(default=True,description=_A);default_value:str=Field(default='onepage',description='`tabs` ou `onepage`')
+class ReportParameterOpenFileInConfig(BaseModel):is_user_preference:bool=Field(default=True,description=_A);default_value:str=Field(default='browser',description='`browser` ou `vscode`')
+class ReportHtmlCurvesConfig(BaseModel):display_on_load:bool=Field(default=False,description="Si `true`, affiche tous les graphiques courbes à l'ouverture du rapport.");init_width:int=Field(default=600,description='Largeur initiale des graphiques courbes.');init_height:int=Field(default=400,description='Hauteur initiale des graphiques courbes.')
+class ReportHtmlConfig(BaseModel):compare_color_test:str=Field(default='1982c4',description='Couleur pour les données de test.');compare_color_reference:str=Field(default='6a4c93',description='Couleur pour les données de référence.');collapse_if_successful:bool=Field(default=True,description="N'affiche par défaut les sections de comparaison sans erreur.");parameter_page_mode:ReportParameterPageModeConfig=ReportParameterPageModeConfig();parameter_open_file_in:ReportParameterOpenFileInConfig=ReportParameterOpenFileInConfig();curves:ReportHtmlCurvesConfig=ReportHtmlCurvesConfig()

scilens/config/models/report_output.py

@@ -0,0 +1,4 @@
+_A=False
+from pydantic import BaseModel,Field
+from scilens.app import pkg_name
+class ReportOutputConfig(BaseModel):filename:str=Field(default=f"{pkg_name}_report",description="Nom de fichier (sans l'extension) des rapports générés.");export_html:bool=Field(default=_A,description='Génère un rapport HTML');export_txt:bool=Field(default=_A,description='Génère un rapport TXT');export_json:bool=Field(default=_A,description='Génère un rapport JSON');export_yaml:bool=Field(default=_A,description='Génère un rapport YAML');export_py:bool=Field(default=_A,description='Génère un rapport Python (Variable)');export_js:bool=Field(default=_A,description='Génère un rapport Javascript (Variable)');export_ts:bool=Field(default=_A,description='Génère un rapport Typecript (Variable)');export_php:bool=Field(default=_A,description='Génère un rapport Php (Variable)')

scilens/helpers/assets.py

@@ -0,0 +1,27 @@
+_A=None
+import logging,os
+from scilens.app import pkg_name
+from scilens.utils.file import dir_is_empty,dir_remove,dir_create,copy
+from scilens.helpers.search_and_index import SearchAndIndex,PathSearchInfo
+class Assets:
+	def __init__(A,path,force_clean=False,force_create=False):
+		C=path;A.path=C if os.path.isabs(C)else os.path.abspath(C);logging.info(f"Assets directory : {A.path}")
+		if os.path.exists(A.path):
+			logging.info(f"Assets directory exists")
+			if force_clean:logging.info(f"Cleaning assets directory {A.path}");dir_remove(A.path);dir_create(A.path)
+			elif not dir_is_empty(A.path):B='Assets directory is not empty';logging.error(B);raise Exception(B)
+			else:logging.info(f"Assets directory is empty")
+		else:
+			logging.info(f"Assets directory does not exists")
+			if force_create:logging.info(f"Creating assets directory");dir_create(A.path)
+			else:B='Assets directory does not exist';logging.error(B);raise Exception(B)
+	def copy(E,paths_infos,items_only=_A):
+		B=items_only
+		for A in paths_infos:
+			C=os.path.join(E.path,A.relative_dir)
+			if B:
+				for D in B:F=os.path.join(A.dir,D);G=os.path.join(C,D);copy(F,G)
+			else:copy(A.dir,C)
+	def create_html_index(A,index_path,search_path,search_filename,title=_A,logo=_A,logo_file=_A):SearchAndIndex().search_and_create_html_index(search_path,search_filename,index_path,title=title,logo=logo,logo_file=logo_file)
+	def report_get_name(A):return f"{pkg_name}_report.html"
+	def report_discover(A,discover_path):return SearchAndIndex().file_discover(discover_path,A.report_get_name())