ob-metaflow-stubs 5.10__py2.py3-none-any.whl → 6.0.3.103rc0__py2.py3-none-any.whl

metaflow-stubs/cards.pyi

@@ -1,19 +1,19 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.839985                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.646454                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.plugins.cards.card_client
+    import metaflow
     import metaflow.plugins.cards.card_modules.basic
     import metaflow.plugins.cards.card_modules.card
+    import metaflow.plugins.cards.card_client
     import metaflow.plugins.cards.card_modules.components
     import typing
-    import metaflow
 
 def get_cards(task: typing.Union[str, "metaflow.Task"], id: typing.Optional[str] = None, type: typing.Optional[str] = None, follow_resumed: bool = True) -> metaflow.plugins.cards.card_client.CardContainer:
     """

metaflow-stubs/cli.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.853498                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.662510                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/client/__init__.pyi

@@ -1,17 +1,17 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.842474                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.654217                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import typing
-    import metaflow.events
     import datetime
+    import typing
     import metaflow.client.core
+    import metaflow.events
 
 def namespace(ns: typing.Optional[str]) -> typing.Optional[str]:
     """

metaflow-stubs/client/core.pyi

@@ -1,21 +1,21 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.831387                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.643070                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.events
-    import metaflow.metaflow_current
-    import tarfile
     import datetime
+    import metaflow
+    import tarfile
+    import metaflow.events
     import metaflow.client.core
     import metaflow.exception
     import typing
-    import metaflow
+    import metaflow.metaflow_current
 
 current: metaflow.metaflow_current.Current
 

metaflow-stubs/client/filecache.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.854440                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.663776                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/clone_util.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.851662                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.661300                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/events.pyi

@@ -1,15 +1,15 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.833342                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.647059                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.events
     import metaflow
+    import metaflow.events
 
 TYPE_CHECKING: bool
 

metaflow-stubs/exception.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.820998                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.634121                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/flowspec.pyi

@@ -1,19 +1,19 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.832728                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.644490                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.unbounded_foreach
     import metaflow.datastore.inputs
-    import metaflow.flowspec
+    import metaflow.parameters
     import metaflow.exception
     import typing
-    import metaflow.parameters
+    import metaflow.flowspec
+    import metaflow.unbounded_foreach
 
 class DelayedEvaluationParameter(object, metaclass=type):
     def __init__(self, name, field, fun):

metaflow-stubs/generated_for.txt

@@ -1 +1 @@
-2.12.22.1+ob(v1) 2024-09-20T00:12:02.806894
+2.12.22.1+obcheckpoint(0.0.10);ob(v1) 2024-09-20T18:44:03.618621

metaflow-stubs/includefile.pyi

@@ -1,18 +1,18 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.836562                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.649850                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.plugins.datatools.s3.s3
+    import io
+    import metaflow.parameters
     import metaflow._vendor.click.types
+    import metaflow.plugins.datatools.s3.s3
     import typing
-    import metaflow.parameters
-    import io
 
 class MetaflowException(Exception, metaclass=type):
     def __init__(self, msg = "", lineno = None):

metaflow-stubs/info_file.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.820302                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.633258                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/metadata/metadata.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.880041                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.687817                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/metadata/util.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.923976                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.730798                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/metaflow_config.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.822079                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.636012                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/metaflow_current.pyi

@@ -1,18 +1,20 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.926694                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.733356                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
+    import metaflow
     import metaflow.events
-    import metaflow.metaflow_current
+    import metaflow_extensions.obcheckpoint.plugins.machine_learning_utilities.checkpoints.decorator
+    import metaflow_extensions.obcheckpoint.plugins.machine_learning_utilities.modeling_utils.core
     import metaflow.plugins.cards.component_serializer
     import typing
-    import metaflow
+    import metaflow.metaflow_current
 
 TYPE_CHECKING: bool
 
@@ -221,6 +223,67 @@ class Current(object, metaclass=type):
     def graph(_):
         ...
     @property
+    def checkpoint(self) -> "metaflow_extensions.obcheckpoint.plugins.machine_learning_utilities.checkpoints.decorator.CurrentCheckpointer":
+        """
+        (only in the presence of the @checkpoint decorator)
+        
+        The `@checkpoint` decorator makes saving/loading checkpoints available through the `current.checkpoint`.
+        The object exposes `save`/`load`/`list` methods for saving/loading checkpoints.
+        
+        You can check if a checkpoint is loaded by `current.checkpoint.is_loaded` and get the checkpoint information
+        by using `current.checkpoint.info`. The `current.checkpoint.directory` returns the path to the checkpoint directory
+        where the checkpoint maybe loaded or saved.
+        
+        Usage (Saving Checkpoints):
+        -------
+        ```
+        @checkpoint
+        @step
+        def train(self):
+            model = create_model(self.parameters, checkpoint_path = None)
+            for i in range(self.epochs):
+                # some training logic
+                loss = model.train(self.dataset)
+                if i % 10 == 0:
+                    model.save(
+                        current.checkpoint.directory,
+                    )
+                    # saves the contents of the `current.checkpoint.directory` as a checkpoint
+                    # and returns a reference dictionary to the checkpoint saved in the datastore
+                    self.latest_checkpoint = current.checkpoint.save(
+                        name="epoch_checkpoint",
+                        metadata={
+                            "epoch": i,
+                            "loss": loss,
+                        }
+                    )
+        ```
+        Usage (Using Loaded Checkpoints):
+        -------
+        ```
+        @retry(times=3)
+        @checkpoint
+        @step
+        def train(self):
+            # Assume that the task has restarted and the previous attempt of the task
+            # saved a checkpoint
+            checkpoint_path = None
+            if current.checkpoint.is_loaded: # Check if a checkpoint is loaded
+                print("Loaded checkpoint from the previous attempt")
+                checkpoint_path = current.checkpoint.directory
+        
+            model = create_model(self.parameters, checkpoint_path = checkpoint_path)
+            for i in range(self.epochs):
+                ...
+        ```
+        
+        Returns
+        -------
+        CurrentCheckpointer
+            The object for handling checkpointing within a step.
+        """
+        ...
+    @property
     def card(self) -> "metaflow.plugins.cards.component_serializer.CardComponentCollector":
         """
         (only in the presence of the @card decorator)
@@ -267,16 +330,64 @@ class Current(object, metaclass=type):
         """
         ...
     @property
-    def trigger(self) -> "metaflow.events.Trigger":
+    def model(self) -> "metaflow_extensions.obcheckpoint.plugins.machine_learning_utilities.modeling_utils.core.ModelSerializer":
         """
-        (only in the presence of the @trigger, or @trigger_on_finish decorators)
+        (only in the presence of the @model decorator)
+        
+        The object used for loading / saving models.
+        `current.model` exposes a `save` method to save models and a `load` method to load models.
+        `current.model.loaded` exposes the paths to the models loaded via the `load` argument in the @model decorator
+        or models loaded via `current.model.load`.
+        
+        Usage (Saving a model):
+        -------
+        
+        ```
+        @model
+        @step
+        def train(self):
+            # current.model.save returns a dictionary reference to the model saved
+            self.my_model = current.model.save(
+                path_to_my_model,
+                label="my_model",
+                metadata={
+                    "epochs": 10,
+                    "batch-size": 32,
+                    "learning-rate": 0.001,
+                }
+            )
+            self.next(self.test)
+        
+        @model(load="my_model")
+        @step
+        def test(self):
+            # `current.model.loaded` returns a dictionary of the loaded models
+            # where the key is the name of the artifact and the value is the path to the model
+            print(os.listdir(current.model.loaded["my_model"]))
+            self.next(self.end)
+        ```
+        
+        Usage (Loading models):
+        -------
+        
+        ```
+        @step
+        def train(self):
+            # current.model.load returns the path to the model loaded
+            checkpoint_path = current.model.load(
+                self.checkpoint_key,
+            )
+            model_path = current.model.load(
+                self.model,
+            )
+            self.next(self.test)
+        ```
         
-        Returns `Trigger` if the current run is triggered by an event
         
         Returns
         -------
-        Trigger
-            `Trigger` if triggered by an event
+        ModelSerializer
+            The object used for loading / saving models.
         """
         ...
     @property
@@ -346,6 +457,19 @@ class Current(object, metaclass=type):
             True if the flow is deployed with `--production`.
         """
         ...
+    @property
+    def trigger(self) -> "metaflow.events.Trigger":
+        """
+        (only in the presence of the @trigger_on_finish, or @trigger decorators)
+        
+        Returns `Trigger` if the current run is triggered by an event
+        
+        Returns
+        -------
+        Trigger
+            `Trigger` if triggered by an event
+        """
+        ...
     ...
 
 current: Current

metaflow-stubs/mflog/mflog.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.880368                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.688125                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/multicore_utils.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.822505                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.636699                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/parameters.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.824469                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.638084                                        #
 ##################################################################################
 
 from __future__ import annotations
@@ -9,9 +9,9 @@ from __future__ import annotations
 import typing
 if typing.TYPE_CHECKING:
     import metaflow.exception
-    import typing
-    import metaflow.parameters
     import metaflow._vendor.click.types
+    import metaflow.parameters
+    import typing
 
 class ParameterFieldFailed(metaflow.exception.MetaflowException, metaclass=type):
     def __init__(self, name, field):

metaflow-stubs/plugins/__init__.pyi

@@ -1,15 +1,15 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.838200                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.651707                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.unbounded_foreach
     import metaflow.plugins.cards.card_modules.card
+    import metaflow.unbounded_foreach
 
 CLIS_DESC: list
 

metaflow-stubs/plugins/airflow/__init__.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.866429                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.682308                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/airflow_utils.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.910143                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.720825                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/exception.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.909174                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.719875                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/sensors/__init__.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.910390                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.721069                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/sensors/base_sensor.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.924487                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.731327                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/sensors/external_task_sensor.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.924875                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.731724                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/airflow/sensors/s3_sensor.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.925246                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.732060                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/argo/__init__.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.864717                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.681442                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/argo/argo_client.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.894433                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.710852                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/argo/argo_events.pyi

@@ -1,7 +1,7 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.892409                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.708976                                        #
 ##################################################################################
 
 from __future__ import annotations

metaflow-stubs/plugins/argo/argo_workflows.pyi

@@ -1,18 +1,18 @@
 ##################################################################################
 #                       Auto-generated Metaflow stub file                        #
-# MF version: 2.12.22.1+ob(v1)                                                   #
-# Generated on 2024-09-20T00:12:02.899194                                        #
+# MF version: 2.12.22.1+obcheckpoint(0.0.10);ob(v1)                              #
+# Generated on 2024-09-20T18:44:03.715417                                        #
 ##################################################################################
 
 from __future__ import annotations
 
 import typing
 if typing.TYPE_CHECKING:
-    import metaflow.metaflow_current
-    import metaflow.exception
     import metaflow.graph
-    import metaflow._vendor.click.types
     import metaflow.parameters
+    import metaflow.exception
+    import metaflow._vendor.click.types
+    import metaflow.metaflow_current
 
 inf: float