readerbotda 1.3.2__tar.gz → 1.4.0__tar.gz

{readerbotda-1.3.2 → readerbotda-1.4.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.3
 Name: readerbotda
-Version: 1.3.2
+Version: 1.4.0
 Summary: Pacchetto per lettura e visualizzazione file di log sensore BOTDA Cohaerentia
 Author: Marco Brunero
 Author-email: marco.brunero@cohaerentia.com
@@ -11,6 +11,8 @@ Classifier: Programming Language :: Python :: 3.12
 Classifier: Programming Language :: Python :: 3.13
 Requires-Dist: bokeh (>=3.7.2,<4.0.0)
 Requires-Dist: dacite (>=1.9.2,<2.0.0)
+Requires-Dist: h5py (>=3.14.0,<4.0.0)
+Requires-Dist: nbformat (>=5.10.4,<6.0.0)
 Requires-Dist: numpy (>=2.2.4,<3.0.0)
 Requires-Dist: plotly (>=6.0.1,<7.0.0)
 Requires-Dist: progress (>=1.6,<2.0)
@@ -23,16 +25,12 @@ Pacchetto per lettura e visualizzazione delle misure salvate da software per sen
 
 ## Installazione
 
-Da cartella locale dove è stato scaricato il pacchetto è possibile installare tramite:
+Tramite `pip`:
 
 ```bash
-pip install .
+pip install readerbotda
 ```
 
-In questo modo i files dovrebbero essere ancora editabili e la versione installata dovrebbe automaticamente aggiornarsi. Nota bene: se si sta usando un notebook, è necessario riavviare il kernel, non è sufficiente re importare il pacchetto.
-
-Dovrebbe anche essere possibile installare direttamente tramite link al repository privato ma devo ancora guardare come.
-
 ## Utilizzo
 
 Per prima cosa è necessario caricare il necessario dai due moduli di lettura e visualizzazione:
@@ -56,7 +54,7 @@ L'idea è che chiunque potrebbe creare una nuova classe parente della classe `Pl
 
 ### Misura Singola
 
-Lettura di singola misura da un singolo file "profilo".
+Lettura di singola misura da un singolo file "profilo" di tipo json.
 
 ```python
 misura = Profile('data/profiles/2021-11-08_16-51-16.652_rawarray.json',plotter=plotter)
@@ -68,7 +66,7 @@ fig.write_html("prova.html", full_html=False, include_plotlyjs='cdn')
 
 ### Misure multiple in una cartella
 
-Lettura di tutti i file di tipo profilo in una cartella:
+Lettura di tutti i file di tipo profilo in una cartella, contenente files di tipo json:
 
 ```python
 from datetime import datetime
@@ -123,7 +121,7 @@ Si utilizza la funzione [`np.corrcoef`](https://numpy.org/doc/stable/reference/g
 
 ### Misura Raw
 
-Lettura di file di debug che contiene intera matrice BGS e test dei metodi disponibili.
+Lettura di file json di debug che contiene intera matrice BGS e test dei metodi disponibili.
 
 ```python
 raw = Raw(filename='data/raw/2021-11-08_16-51-16.652_rawmatrix.json', plotter=plotter)
@@ -139,6 +137,18 @@ fig = raw.plotBGS(index=125)
 plotter.show(fig)
 ```
 
+## Lettura di misure in singolo file H5
+
+Per leggere misure salvate in un file H5, è possibile utilizzare la classe `h5Profile`:
+
+```python
+from ReaderBOTDA.reader import h5Profile
+
+h5 = h5Profile('data/2023_09/build1.3_profile.h5', plotter=plotter)
+```
+
+A questo punto l'oggetto `h5Profile` si dovrebbe comportare come `multipleProfile`, quindi è possibile utilizzare i metodi `plot()`, `calcStatistics()`, `calcCorrelations()` e così via.
+
 ## Plotter Bokeh
 
 Oltre al plotter Plotly è disponibile anche una versione che utilizza il pacchetto `bokeh`. Non sono al momento disponibili i metodi `Bokeh.plot2d()` e `Bokeh.plot3d()`.
@@ -161,3 +171,10 @@ fig = misura.plot()
 plotter.show(fig)
 ```
 
+## TODO
+
+1. lettura misure raw da file H5.
+2. sistemare settings nelle ultime versioni di sw.
+3. sistemare la timezone nelle misure.
+4. aggiungere ricalcolo stima BFS a partire da dati raw.
+

{readerbotda-1.3.2 → readerbotda-1.4.0}/README.md

@@ -4,16 +4,12 @@ Pacchetto per lettura e visualizzazione delle misure salvate da software per sen
 
 ## Installazione
 
-Da cartella locale dove è stato scaricato il pacchetto è possibile installare tramite:
+Tramite `pip`:
 
 ```bash
-pip install .
+pip install readerbotda
 ```
 
-In questo modo i files dovrebbero essere ancora editabili e la versione installata dovrebbe automaticamente aggiornarsi. Nota bene: se si sta usando un notebook, è necessario riavviare il kernel, non è sufficiente re importare il pacchetto.
-
-Dovrebbe anche essere possibile installare direttamente tramite link al repository privato ma devo ancora guardare come.
-
 ## Utilizzo
 
 Per prima cosa è necessario caricare il necessario dai due moduli di lettura e visualizzazione:
@@ -37,7 +33,7 @@ L'idea è che chiunque potrebbe creare una nuova classe parente della classe `Pl
 
 ### Misura Singola
 
-Lettura di singola misura da un singolo file "profilo".
+Lettura di singola misura da un singolo file "profilo" di tipo json.
 
 ```python
 misura = Profile('data/profiles/2021-11-08_16-51-16.652_rawarray.json',plotter=plotter)
@@ -49,7 +45,7 @@ fig.write_html("prova.html", full_html=False, include_plotlyjs='cdn')
 
 ### Misure multiple in una cartella
 
-Lettura di tutti i file di tipo profilo in una cartella:
+Lettura di tutti i file di tipo profilo in una cartella, contenente files di tipo json:
 
 ```python
 from datetime import datetime
@@ -104,7 +100,7 @@ Si utilizza la funzione [`np.corrcoef`](https://numpy.org/doc/stable/reference/g
 
 ### Misura Raw
 
-Lettura di file di debug che contiene intera matrice BGS e test dei metodi disponibili.
+Lettura di file json di debug che contiene intera matrice BGS e test dei metodi disponibili.
 
 ```python
 raw = Raw(filename='data/raw/2021-11-08_16-51-16.652_rawmatrix.json', plotter=plotter)
@@ -120,6 +116,18 @@ fig = raw.plotBGS(index=125)
 plotter.show(fig)
 ```
 
+## Lettura di misure in singolo file H5
+
+Per leggere misure salvate in un file H5, è possibile utilizzare la classe `h5Profile`:
+
+```python
+from ReaderBOTDA.reader import h5Profile
+
+h5 = h5Profile('data/2023_09/build1.3_profile.h5', plotter=plotter)
+```
+
+A questo punto l'oggetto `h5Profile` si dovrebbe comportare come `multipleProfile`, quindi è possibile utilizzare i metodi `plot()`, `calcStatistics()`, `calcCorrelations()` e così via.
+
 ## Plotter Bokeh
 
 Oltre al plotter Plotly è disponibile anche una versione che utilizza il pacchetto `bokeh`. Non sono al momento disponibili i metodi `Bokeh.plot2d()` e `Bokeh.plot3d()`.
@@ -141,3 +149,10 @@ misura = Profile('data/profiles/2021-11-08_16-51-16.652_rawarray.json',plotter=p
 fig = misura.plot()
 plotter.show(fig)
 ```
+
+## TODO
+
+1. lettura misure raw da file H5.
+2. sistemare settings nelle ultime versioni di sw.
+3. sistemare la timezone nelle misure.
+4. aggiungere ricalcolo stima BFS a partire da dati raw.

readerbotda-1.4.0/ReaderBOTDA/reader.py

@@ -0,0 +1,389 @@
+from ReaderBOTDA.settings import parseSettingsDict, Settings
+from ReaderBOTDA.plotter.abc import Plotter
+from ReaderBOTDA.plotter.plotly import Plotly
+
+from dataclasses import dataclass
+from pathlib import Path
+from json import load, loads
+import numpy as np
+import numpy.typing as npt
+import h5py
+from datetime import datetime, timezone  # TODO usare numpy anche per questo?
+from os import path, PathLike, strerror
+from glob import glob
+from typing import Tuple, Union, Literal
+import errno
+import warnings
+from progress.bar import Bar
+
+
+class NoFilesSelected(Exception):
+    def __init__(self, folder, message="No file found in folder"):
+        self.message = f"{message}: {folder}"
+        super().__init__(self.message)
+
+
+# TODO da implementare nei metodi. E aggiungere anche i campi MaxMean e MaxStd
+@dataclass
+class Statistics:
+    BFSmean: npt.ArrayLike
+    BFSstd: npt.ArrayLike
+    BFSstd_mean: float
+
+
+class Profile:
+
+    filename: str = ""
+    plotter: Plotter
+    settings: Settings
+    sw_version: str = "<1.2.0.0"
+    BFS: np.ndarray = np.array([])
+    MaxGain: np.ndarray = np.array([])
+    timestamp: datetime = datetime.now
+
+    def __init__(
+        self, filename: PathLike, plotter: Plotter = Plotly(), name: str = None
+    ) -> None:
+        """Load a single measure from a json file."""
+        self.filename = filename
+        self.plotter = plotter
+        with open(self.filename) as file:
+            text = load(file)
+        self.settings = parseSettingsDict(text["Settings"])
+        if "sw_version" in text:
+            self.sw_version = text["sw_version"]
+        if "sw_version" in text and text["sw_version"] == "":
+            self.sw_version = "ambiente sviluppo"
+        self.timestamp = datetime.strptime(
+            text["Time Stamp"], "%Y-%m-%d" + "T" + "%H:%M:%S.%f" + "Z"
+        )  # "2021-11-08T16:51:16.652Z"
+        if not name:
+            self.name = self.timestamp.strftime("%m/%d/%Y, %H:%M:%S")
+        else:
+            self.name = name
+
+        self.BFS = np.array(text["Profile"])
+        self._createPositionArray()
+        if "arrayMaxGain" in text:
+            self.MaxGain = np.array(text["arrayMaxGain"])
+
+    def _createPositionArray(self):
+        self.position = np.linspace(
+            0, self.settings.Cable.Length, num=len(self.BFS), endpoint=True
+        )
+        self.spatialResolution = self.position[1]
+
+    def plot(self, title: str = None):
+        if not title:
+            title = self.name
+        # TODO usare xrange espresso in metri per affettare array e poi passarli a single_plot. xrange:Tuple[float,float]=None
+        return self.plotter.single_plot(self.position, self.BFS, title=title)
+
+    def plotMax(self, title: str = None):
+        if self.MaxGain.size == 0:
+            warnings.warn(
+                "Max array in not available. If possibile, load the raw file of the same measure."
+            )
+            return None
+        if not title:
+            title = self.name
+        return self.plotter.max_plot(self.position, self.MaxGain, title)
+
+
+class multipleProfile:
+
+    statistics: Statistics
+    plotter: Plotter
+
+    def __init__(
+        self,
+        folder: PathLike,
+        plotter: Plotter = Plotly(),
+        n_measure: int = None,
+        start_measure: Union[int, datetime] = 0,
+        stop_measure: datetime = None,
+    ):
+
+        self.folder = folder
+        self.plotter = plotter
+
+        filelist = glob(path.join(folder, "*.json"))
+        if start_measure and isinstance(start_measure, datetime):
+            timestamps_files = [
+                datetime.strptime(
+                    "_".join(path.basename(file).split("_")[:2]), "%Y-%m-%d_%H-%M-%S.%f"
+                )
+                for file in filelist
+            ]
+            primo = next(
+                (
+                    x
+                    for x, value in enumerate(timestamps_files)
+                    if value >= start_measure
+                ),
+                0,
+            )
+            if stop_measure:
+                ultimo = next(
+                    (
+                        x
+                        for x, value in enumerate(timestamps_files)
+                        if value > stop_measure
+                    ),
+                    len(filelist),
+                )
+            elif n_measure:
+                ultimo = primo + n_measure
+            else:
+                ultimo = len(filelist)
+            filelist = filelist[primo:ultimo]
+
+        if n_measure and (start_measure == 0 or isinstance(start_measure, int)):
+            filelist = filelist[start_measure : start_measure + n_measure]
+
+        if isinstance(start_measure, int) and not n_measure and stop_measure:
+            timestamps_files = [
+                datetime.strptime(
+                    "_".join(path.basename(file).split("_")[:2]), "%Y-%m-%d_%H-%M-%S.%f"
+                )
+                for file in filelist
+            ]
+            ultimo = next(
+                (x for x, value in enumerate(timestamps_files) if value > stop_measure),
+                len(filelist),
+            )
+            filelist = filelist[start_measure:ultimo]
+
+        if len(filelist) == 0:
+            raise NoFilesSelected(folder=folder)
+
+        timestamps = list()
+        with Bar("Redaing files", max=len(filelist)) as bar:
+            for file in filelist:
+                temp = Profile(filename=file)
+                timestamps.append(temp.timestamp)
+                try:
+                    self.BFS = np.column_stack((self.BFS, temp.BFS))
+                    self.MaxGain = np.column_stack((self.MaxGain, temp.MaxGain))
+                except AttributeError:
+                    self.BFS = temp.BFS
+                    self.MaxGain = temp.MaxGain
+                bar.next()
+
+        self.timestamps = np.array(timestamps)
+        self.settings = temp.settings
+        self.sw_version = temp.sw_version
+        self.position = temp.position
+        self.calcStatistics()
+        self.MaxGainMean = self.MaxGain.mean(axis=1)
+        self.MaxGainStd = self.MaxGain.std(axis=1)
+
+    def calcCorrelations(
+        self,
+        type: Literal["max", "bfs"],
+        reference: Literal["first", "previous"] = "previous",
+        range: Tuple[float, float] = None,
+    ) -> np.array:
+        """Ritorna correlazione tra prima misura e misura n-esima.
+        Si può scegliere se effettuarla su matrice dei BFS o matrice dei massimi"""
+
+        if type == "max":
+            correlations = np.corrcoef(
+                self.MaxGain[range[0] : range[1]] if range else self.MaxGain,
+                rowvar=False,
+            )
+        else:
+            correlations = np.corrcoef(
+                self.BFS[range[0] : range[1]] if range else self.BFS, rowvar=False
+            )
+
+        if reference == "first":
+            return correlations[0, :]
+
+        indici = np.arange(1, np.shape(correlations)[0])
+        return np.insert(correlations[indici, indici - 1], 0, 1)
+
+    def calcStatistics(
+        self, plot: bool = False, range: Tuple[float, float] = None, title: str = None
+    ) -> Statistics:
+        # TODO gestione input range
+        self.statistics = Statistics(
+            BFSmean=self.BFS.mean(axis=1),
+            BFSstd=self.BFS.std(axis=1),
+            BFSstd_mean=self.BFS.std(axis=1).mean(),
+        )
+
+        if plot:
+            if not title:
+                title = self.folder
+            return self.plotter.statistics(
+                self.position,
+                self.statistics.BFSmean,
+                self.statistics.BFSstd,
+                title=title,
+            )
+        return self.statistics
+
+    def plotStatistics(self, title: str = None):
+        if not title:
+            title = self.folder
+        # TODO se sono state calcolate con range allora position è sbagliato
+        return self.plotter.statistics(
+            self.position, self.statistics.BFSmean, self.statistics.BFSstd, title=title
+        )
+
+    def plot(
+        self,
+        startTime: datetime = datetime.min,
+        stopTime: datetime = datetime.now(),
+        title: str = None,
+    ):
+        if not title:
+            title = self.folder
+        match = [
+            i
+            for i, date in enumerate(self.timestamps)
+            if date >= startTime and date <= stopTime
+        ]
+        return self.plotter.multiple_plot(
+            self.position,
+            self.BFS[:, match],
+            [self.timestamps[i] for i in match],
+            title=title,
+        )
+
+    def plotMax(self, title: str = None):
+        if self.MaxGain.size == 0:
+            warnings.warn(
+                "Max array in not available. If possibile, load the raw file of the same measure."
+            )
+            return None
+        if not title:
+            title = self.folder
+        return self.plotter.max_stat_plot(self.MaxGainMean, self.MaxGainStd, title)
+
+
+class h5Profile(multipleProfile):
+
+    def __init__(
+        self,
+        filename: PathLike,
+        plotter: Plotter = Plotly(),
+        # n_measure: int = None,
+        # start_measure: Union[int, datetime] = 0,
+        # stop_measure: datetime = None,
+    ):
+        """Load multiple measures from a h5 file."""
+        self.filename = filename
+        self.plotter = plotter
+
+        if not path.isfile(filename):
+            raise FileNotFoundError(errno.ENOENT, strerror(errno.ENOENT), filename)
+
+        with h5py.File(filename, "r") as f:
+            self.filename = filename
+            self.folder = f.attrs["folder"]
+            self.sw_version = f.attrs["sw_version"]
+
+            self.position = f["position"][:]
+            self.BFS = np.transpose(np.squeeze(f["data"]["bfs"][:]))
+            self.MaxGain = np.transpose(np.squeeze(f["data"]["max_gain"][:]))
+            self.timestamps = [
+                datetime.fromtimestamp(timestamp / 1000000)  # FIXME, timezone.utc)
+                for timestamp in f["data"]["timestamps"][:]
+            ]
+            self.settings = loads(
+                f.attrs["settings"]
+            )  # FIXME parseSettingsDict(loads(f.attrs["settings"]))
+
+        self.calcStatistics()
+        self.MaxGainMean = self.MaxGain.mean(axis=1)
+        self.MaxGainStd = self.MaxGain.std(axis=1)
+
+
+class Raw:
+
+    filename: PathLike = Path("")
+    plotter: Plotter
+    settings: Settings
+    sw_version: str = "<1.2.0.0"
+    BGS: np.ndarray = np.array([])
+    residuo: np.ndarray = np.array([])
+    timestamp: datetime = datetime.now
+
+    def __init__(self, filename: Union[str, Path], plotter: Plotter = Plotly()) -> None:
+        """Load a single raw data from a json file."""
+        self.filename = filename
+        self.plotter = plotter
+        with open(self.filename) as file:
+            text = load(file)
+        self.settings = parseSettingsDict(text["Settings"])
+        if "sw_version" in text:
+            self.sw_version = text["sw_version"]
+        if "sw_version" in text and text["sw_version"] == "":
+            self.sw_version = "ambiente sviluppo"
+        self.BGS = np.transpose(np.array(text["Raw"]))
+        self.timestamp = datetime.strptime(
+            text["Time Stamp"], "%Y-%m-%d" + "T" + "%H:%M:%S.%f" + "Z"
+        )  # "2021-11-08T16:51:16.652Z"
+        self._createPositionArray()
+        self._createFrequencyArray()
+        try:
+            self.residuo = np.array(text["residuo"])
+        except KeyError:
+            self.residuo = np.zeros(np.shape(self.frequency))
+
+    def _createPositionArray(self) -> None:
+        """Crea array numpy delle posizioni e la risoluzione spaziale"""
+        self.position = np.linspace(
+            0, self.settings.Cable.Length, num=self.BGS.shape[1], endpoint=True
+        )
+        self.spatialResolution = self.position[1]
+
+    def _createFrequencyArray(self) -> None:
+        """Crea array numpy delle frequenze, espresse in GHz"""
+        self.frequency = (
+            np.linspace(
+                self.settings.Clock.StartMHz,
+                self.settings.Clock.StartMHz
+                + self.settings.Clock.StepMHz * self.BGS.shape[0],
+                num=self.BGS.shape[0],
+                endpoint=True,
+            )
+            / 1000
+        )
+
+    def plot2d(self, title: str = None):
+        if not title:
+            title = self.filename
+        return self.plotter.raw2d_plot(
+            self.position, self.frequency, self.BGS, title=title
+        )
+
+    def plot3d(self, title: str = None):
+        if not title:
+            title = self.filename
+        return self.plotter.raw3d_plot(
+            self.position, self.frequency, self.BGS, title=title
+        )
+
+    def plotBGS(self, index: int = None, title: str = None):
+        """Plot 2D di tutti gli spettri BGS"""
+        if not title:
+            title = self.filename
+        return self.plotter.rawBGS_plot(
+            self.frequency, self.BGS, index=index, title=title
+        )
+
+    def plotMax(self, title: str = None):
+        if not title:
+            title = self.filename
+        return self.plotter.max_plot(self.position, self.BGS.max(axis=0), title)
+
+
+if __name__ == "__main__":
+    """Non va se si lancia direttamente questo script a meno di non cambiare i primi due import da modules.settings a settings; uguale per plotter."""
+    # a = Profile(filename='data/profiles/2021-11-08_16-51-16.652_rawarray.json')
+    # b = multipleProfile(folder='data/profiles/')
+    c = Raw(filename="data/raw/2021-11-08_16-51-16.652_rawmatrix.json")
+    # print(b.BFS.shape)

readerbotda-1.4.0/ReaderBOTDA/script.py

@@ -0,0 +1,66 @@
+#TODO trovare modo di integrarlo in setup.py di setuptools: https://typer.tiangolo.com/tutorial/package/
+
+'''
+Per help, digitare in terminale: python readBOTDA.py --help
+e poi per help specifici su uno dei comandi: python readBOTDA.py multi --help
+'''
+
+import typer
+from pathlib import Path
+from ReaderBOTDA.reader import Profile, multipleProfile, Raw
+from ReaderBOTDA.plotter.plotly import Plotly
+from dataclasses import asdict
+
+app = typer.Typer()
+PLOTTER = Plotly(theme='plotly_dark')
+
+@app.command()
+def single(filename: str, title:str=None):
+    if not title:
+        title = filename
+    data = Profile(filename,PLOTTER)
+    PLOTTER.show(data.plot(title=title))
+    typer.secho("Settings:", fg=typer.colors.GREEN, bold=True)
+    typer.echo(str(data.settings))
+
+@app.command()
+def multi(folder: str, title: str =None, stat: bool = True):
+    if not title:
+        title = folder
+    data = multipleProfile(folder,PLOTTER)
+    typer.secho(f"Lette {len(data.timestamps)} misure nella cartella {folder}", fg=typer.colors.GREEN, bold=True)
+    PLOTTER.show(data.plot(title=title))
+    if stat:
+        PLOTTER.show(data.calcStatistics(plot=True,title=title))
+    typer.secho("Settings:", fg=typer.colors.GREEN, bold=True)
+    typer.echo(str(data.settings))
+
+@app.command()
+def raw(filename: str, title: str = None):
+    
+    from plotly.subplots import make_subplots
+    if not title:
+        title = filename
+
+    data = Raw(filename, PLOTTER)
+    typer.secho("Settings:", fg=typer.colors.GREEN, bold=True)
+    typer.echo(str(data.settings))
+
+    fig2d = data.plot2d()
+    figMax = data.plotMax()
+    figBGS = data.plotBGS()
+    fig = make_subplots(rows=2, cols=2, shared_xaxes='columns', column_widths=[0.25, 0.75],row_heights=[0.75, 0.25])
+
+    fig.add_trace(fig2d.data[0], row=1, col=2)
+    fig.add_trace(figMax.data[0], row=2, col=2)
+    fig.add_traces(figBGS.data, rows=1, cols=1)
+    fig.update_xaxes(title_text='Position (m)',row=2,col=2)
+    fig.update_xaxes(title_text='Frequency (GHz)',row=1,col=1)
+    fig.update_yaxes(title_text='Frequency (GHz)',row=1,col=2)
+    fig.update_yaxes(title_text='Amplitude (V)',row=1,col=1)
+    fig.update_yaxes(title_text='Max Amp (V)',row=2,col=2)
+    fig.update_layout(title_text=title,showlegend=False)
+    fig.show()
+
+if __name__ == "__main__":
+    app()

{readerbotda-1.3.2 → readerbotda-1.4.0}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "readerbotda"
-version = "1.3.2"
+version = "1.4.0"
 description = "Pacchetto per lettura e visualizzazione file di log sensore BOTDA Cohaerentia"
 authors = [
     {name = "Marco Brunero",email = "marco.brunero@cohaerentia.com"}
@@ -13,11 +13,16 @@ dependencies = [
     "numpy (>=2.2.4,<3.0.0)",
     "bokeh (>=3.7.2,<4.0.0)",
     "typer (>=0.15.2,<0.16.0)",
-    "progress (>=1.6,<2.0)"
+    "progress (>=1.6,<2.0)",
+    "h5py (>=3.14.0,<4.0.0)",
+    "nbformat (>=5.10.4,<6.0.0)"
 ]
 
 [tool.poetry.scripts]
-botda-converter = "readBOTDA:app"
+readBOTDA = "ReaderBOTDA.script:app"
+
+[tool.poetry.group.dev.dependencies]
+ipykernel = "^6.29.5"
 
 [build-system]
 requires = ["poetry-core>=2.0.0,<3.0.0"]

readerbotda-1.3.2/ReaderBOTDA/reader.py

@@ -1,261 +0,0 @@
-from ReaderBOTDA.settings import parseSettingsDict, Settings
-from ReaderBOTDA.plotter.abc import Plotter
-from ReaderBOTDA.plotter.plotly import Plotly
-
-from dataclasses import dataclass
-from pathlib import Path
-from json import load
-import numpy as np
-from datetime import datetime # TODO usare numpy anche per questo?
-from os import path
-from glob import glob
-from typing import Tuple, Union, Literal
-import warnings
-from progress.bar import Bar
-
-class NoFilesSelected(Exception):
-    def __init__(self, folder, message='No file found in folder'):
-        self.message = f'{message}: {folder}'
-        super().__init__(self.message)
-
-
-
-#TODO da implementare nei metodi. E aggiungere anche i campi MaxMean e MaxStd
-@dataclass
-class Statistics:
-    BFSmean: np.array([])
-    BFSstd: np.array([])
-    BFSstd_mean: float
-
-class Profile:
-
-    filename: str = ''
-    plotter: Plotter
-    settings: Settings
-    sw_version: str = '<1.2.0.0'
-    BFS: np.ndarray = np.array([])
-    MaxGain: np.ndarray = np.array([])
-    timestamp: datetime = datetime.now
-    
-
-    def __init__(self, filename: Union[str,Path], plotter: Plotter = Plotly(), name: str = None) -> None:
-        self.filename = filename
-        self.plotter = plotter
-        with open(self.filename) as file:
-            text = load(file)
-        self.settings = parseSettingsDict(text['Settings'])
-        if 'sw_version' in text:
-            self.sw_version = text['sw_version']
-        if 'sw_version' in text and text['sw_version'] == '':
-            self.sw_version = 'ambiente sviluppo'
-        self.timestamp = datetime.strptime(
-            text['Time Stamp'], '%Y-%m-%d'+'T'+'%H:%M:%S.%f'+'Z')  # "2021-11-08T16:51:16.652Z"
-        if not name:
-            self.name = self.timestamp.strftime("%m/%d/%Y, %H:%M:%S")
-        else:
-            self.name = name
-
-        self.BFS = np.array(text['Profile'])
-        self._createPositionArray()
-        if 'arrayMaxGain' in text:
-            self.MaxGain = np.array(text['arrayMaxGain'])
-
-    def _createPositionArray(self):
-        self.position = np.linspace(
-            0, self.settings.Cable.Length, num=len(self.BFS), endpoint=True)
-        self.spatialResolution = self.position[1]
-
-    def plot(self,title:str = None):
-        if not title:
-            title = self.name
-        # TODO usare xrange espresso in metri per affettare array e poi passarli a single_plot. xrange:Tuple[float,float]=None
-        return self.plotter.single_plot(self.position,self.BFS,title=title)
-    
-    def plotMax(self,title: str = None):
-        if self.MaxGain.size == 0:
-            warnings.warn("Max array in not available. If possibile, load the raw file of the same measure.")
-            return None
-        if not title:
-            title = self.name
-        return self.plotter.max_plot(self.position, self.MaxGain, title)
-
-
-class multipleProfile():
-
-    statistics: Statistics
-    plotter: Plotter
-
-    def __init__(self, folder: Union[str,Path], plotter: Plotter = Plotly(),
-                 n_measure: int = None,
-                 start_measure: Union[int,datetime] = 0,
-                 stop_measure: datetime = None) -> None:
-        
-        self.folder = folder
-        self.plotter = plotter
-        
-        filelist = glob(path.join(folder,'*.json'))
-        if start_measure and isinstance(start_measure, datetime):
-            timestamps_files = [ datetime.strptime('_'.join(path.basename(file).split('_')[:2]), '%Y-%m-%d_%H-%M-%S.%f' ) for file in filelist]
-            primo = next((x for x,value in enumerate(timestamps_files) if value >= start_measure),0)
-            if stop_measure:
-                ultimo = next((x for x,value in enumerate(timestamps_files) if value > stop_measure),len(filelist))
-            elif n_measure:
-                ultimo = primo + n_measure
-            else:
-                ultimo = len(filelist)
-            filelist = filelist[primo:ultimo]
-
-        if n_measure and (start_measure==0 or isinstance(start_measure,int)):
-            filelist = filelist[start_measure:start_measure+n_measure]
-
-        if isinstance(start_measure,int) and not n_measure and stop_measure:
-            timestamps_files = [ datetime.strptime('_'.join(path.basename(file).split('_')[:2]), '%Y-%m-%d_%H-%M-%S.%f' ) for file in filelist]
-            ultimo = next((x for x,value in enumerate(timestamps_files) if value > stop_measure),len(filelist))
-            filelist = filelist[start_measure:ultimo]
-
-        if len(filelist) == 0:
-            raise NoFilesSelected(folder=folder)
-        
-            
-        timestamps = list()
-        with Bar('Redaing files',max=len(filelist)) as bar:
-            for file in filelist:
-                temp = Profile(filename=file)
-                timestamps.append(temp.timestamp)
-                try:
-                    self.BFS = np.column_stack((self.BFS, temp.BFS))
-                    self.MaxGain = np.column_stack((self.MaxGain, temp.MaxGain))
-                except AttributeError:
-                    self.BFS = temp.BFS
-                    self.MaxGain = temp.MaxGain
-                bar.next()
-
-        self.timestamps = np.array(timestamps)
-        self.settings = temp.settings
-        self.sw_version = temp.sw_version
-        self.position = temp.position
-        self.calcStatistics()
-        self.MaxGainMean = self.MaxGain.mean(axis=1)
-        self.MaxGainStd = self.MaxGain.std(axis=1)
-
-    def calcCorrelations(self, type:Literal['max','bfs'],
-                         reference:Literal['first','previous']='previous',
-                         range:Tuple[float,float]=None) -> np.array:
-        '''Ritorna correlazione tra prima misura e misura n-esima.
-        Si può scegliere se effettuarla su matrice dei BFS o matrice dei massimi'''
-        
-        if type == 'max':
-            correlations = np.corrcoef(self.MaxGain[range[0]:range[1]] if range else self.MaxGain,rowvar=False)
-        else:
-            correlations = np.corrcoef(self.BFS[range[0]:range[1]] if range else self.BFS,rowvar=False)
-
-        if reference == 'first':
-            return correlations[0,:]
-
-        indici = np.arange(1,np.shape(correlations)[0])
-        return np.insert(correlations[indici,indici-1],0,1)
-
-
-    def calcStatistics(self, plot:bool=False, range:Tuple[float,float]=None, title:str=None)->Statistics:
-        # TODO gestione input range
-        self.statistics = Statistics(BFSmean=self.BFS.mean(axis=1),
-                                     BFSstd=self.BFS.std(axis=1),
-                                     BFSstd_mean=self.BFS.std(axis=1).mean())
-
-        if plot:
-            if not title:
-                title=self.folder
-            return self.plotter.statistics(self.position,
-                                           self.statistics.BFSmean,
-                                           self.statistics.BFSstd, title=title)
-        return self.statistics
-
-    def plotStatistics(self, title:str=None):
-        if not title:
-            title=self.folder
-        # TODO se sono state calcolate con range allora position è sbagliato
-        return self.plotter.statistics(self.position, self.statistics, title=title)
-
-    def plot(self, startTime: datetime = datetime.min, stopTime: datetime = datetime.now(), title: str = None):
-        if not title:
-            title=self.folder
-        match = [i for i,date in enumerate(self.timestamps) if date >= startTime and date <= stopTime]
-        return self.plotter.multiple_plot(self.position,self.BFS[:,match],self.timestamps[match],title=title)
-    
-    def plotMax(self,title: str = None):
-        if self.MaxGain.size == 0:
-            warnings.warn("Max array in not available. If possibile, load the raw file of the same measure.")
-            return None
-        if not title:
-            title = self.folder
-        return self.plotter.max_stat_plot(self.MaxGainMean, self.MaxGainStd, title)
-
-
-class Raw():
-
-    filename: Union[str,Path] = Path('')
-    plotter: Plotter
-    settings: Settings
-    sw_version: str = '<1.2.0.0'
-    BGS: np.ndarray = np.array([])
-    residuo: np.ndarray = np.array([])
-    timestamp: datetime = datetime.now
-
-    def __init__(self, filename: Union[str,Path], plotter: Plotter = Plotly()) -> None:
-        self.filename = filename
-        self.plotter = plotter
-        with open(self.filename) as file:
-            text = load(file)
-        self.settings = parseSettingsDict(text['Settings'])
-        if 'sw_version' in text:
-            self.sw_version = text['sw_version']
-        if 'sw_version' in text and text['sw_version'] == '':
-            self.sw_version = 'ambiente sviluppo'
-        self.BGS = np.transpose(np.array(text['Raw']))
-        self.timestamp = datetime.strptime(
-            text['Time Stamp'], '%Y-%m-%d'+'T'+'%H:%M:%S.%f'+'Z')  # "2021-11-08T16:51:16.652Z"
-        self._createPositionArray()
-        self._createFrequencyArray()
-        try:
-            self.residuo = np.array(text['residuo'])
-        except KeyError:
-            self.residuo = np.zeros(np.shape(self.frequency))
-
-    def _createPositionArray(self) -> None:
-        '''Crea array numpy delle posizioni e la risoluzione spaziale'''
-        self.position = np.linspace(
-            0, self.settings.Cable.Length, num=self.BGS.shape[1], endpoint=True)
-        self.spatialResolution = self.position[1]
-
-    def _createFrequencyArray(self) -> None:
-        '''Crea array numpy delle frequenze, espresse in GHz'''     
-        self.frequency = np.linspace( self.settings.Clock.StartMHz,
-                                     self.settings.Clock.StartMHz + self.settings.Clock.StepMHz * self.BGS.shape[0], num= self.BGS.shape[0], endpoint=True) / 1000
-
-    def plot2d(self, title: str = None):
-        if not title:
-            title=self.filename
-        return self.plotter.raw2d_plot(self.position, self.frequency, self.BGS, title=title)
-
-    def plot3d(self, title: str = None):
-        if not title:
-            title=self.filename
-        return self.plotter.raw3d_plot(self.position, self.frequency, self.BGS, title=title)
-
-    def plotBGS(self, index: int = None, title: str = None):
-        '''Plot 2D di tutti gli spettri BGS'''
-        if not title:
-            title=self.filename
-        return self.plotter.rawBGS_plot(self.frequency, self.BGS, index=index, title=title)
-
-    def plotMax(self, title: str = None):
-        if not title:
-            title=self.filename
-        return self.plotter.max_plot(self.position, self.BGS.max(axis=0), title)
-
-if __name__ == '__main__':
-    '''Non va se si lancia direttamente questo script a meno di non cambiare i primi due import da modules.settings a settings; uguale per plotter.'''
-    #a = Profile(filename='data/profiles/2021-11-08_16-51-16.652_rawarray.json')
-    #b = multipleProfile(folder='data/profiles/')
-    c = Raw(filename='data/raw/2021-11-08_16-51-16.652_rawmatrix.json')
-    # print(b.BFS.shape)