tgedr-dataops 0.0.34__tar.gz → 0.0.36__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (43) hide show
  1. {tgedr_dataops-0.0.34/src/tgedr_dataops.egg-info → tgedr_dataops-0.0.36}/PKG-INFO +1 -1
  2. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/README.md +2 -2
  3. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/setup.py +1 -1
  4. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/s3_single_partition_parquet.py +1 -1
  5. tgedr_dataops-0.0.36/src/tgedr/dataops/validation/pyspark.py +10 -0
  6. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36/src/tgedr_dataops.egg-info}/PKG-INFO +1 -1
  7. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr_dataops.egg-info/SOURCES.txt +1 -0
  8. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/LICENSE +0 -0
  9. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/pyproject.toml +0 -0
  10. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/setup.cfg +0 -0
  11. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/__init__.py +0 -0
  12. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/chain.py +0 -0
  13. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/commons/dataset.py +0 -0
  14. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/commons/metadata.py +0 -0
  15. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/commons/s3_connector.py +0 -0
  16. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/commons/utils_fs.py +0 -0
  17. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/commons/utils_spark.py +0 -0
  18. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/etl.py +0 -0
  19. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/processor.py +0 -0
  20. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/sink/__init__.py +0 -0
  21. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/sink/local_fs_file_sink.py +0 -0
  22. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/sink/s3_file_sink.py +0 -0
  23. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/sink/sink.py +0 -0
  24. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/__init__.py +0 -0
  25. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/abstract_s3_file_source.py +0 -0
  26. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/delta_table_source.py +0 -0
  27. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/local_delta_table.py +0 -0
  28. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/local_fs_file_source.py +0 -0
  29. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/pd_df_s3_source.py +0 -0
  30. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/s3_delta_table.py +0 -0
  31. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/s3_file_copy.py +0 -0
  32. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/s3_file_source.py +0 -0
  33. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/source/source.py +0 -0
  34. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/fs_single_partition_parquet.py +0 -0
  35. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/local_fs_single_partition_parquet.py +0 -0
  36. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/spark_delta.py +0 -0
  37. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/store.py +0 -0
  38. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/utils_reflection.py +0 -0
  39. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/validation/abs.py +0 -0
  40. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/validation/pandas.py +0 -0
  41. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr_dataops.egg-info/dependency_links.txt +0 -0
  42. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr_dataops.egg-info/requires.txt +0 -0
  43. {tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr_dataops.egg-info/top_level.txt +0 -0
{tgedr_dataops-0.0.34/src/tgedr_dataops.egg-info → tgedr_dataops-0.0.36}/PKG-INFO RENAMED
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: tgedr-dataops
3
- Version: 0.0.34
3
+ Version: 0.0.36
4
4
  Summary: data operations related code
5
5
  Home-page: https://github.com/jtviegas-sandbox/dataops
6
6
  Author: joao tiago viegas
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/README.md RENAMED
@@ -42,8 +42,8 @@ data operations related code
42
42
 
43
43
  #### validation
44
44
  - __DataValidation__ : abstract class defining a `validate` method to perform data validation, currently using Great Expectations library
45
- - __pandas.Impl__ : __DataValidation__ implementation to validate pandas dataframes with Great Expectations library ([example](test/tgedr/dataops/validation/test_validation.py))
46
-
45
+ - __pandas.Impl__ : __DataValidation__ implementation to validate pandas dataframes with Great Expectations library ([example](test/tgedr/dataops/validation/test_pandas.py))
46
+ - __pyspark.Impl__ : __DataValidation__ implementation to validate pyspark dataframes with Great Expectations library ([example](test/tgedr/dataops/validation/test_pyspark.py))
47
47
 
48
48
 
49
49
  ## installation
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/setup.py RENAMED
@@ -4,7 +4,7 @@ import os
4
4
  from setuptools import setup, find_namespace_packages
5
5
 
6
6
  logger = logging.getLogger(__name__)
7
- VERSION = "0.0.34"
7
+ VERSION = "0.0.36"
8
8
  logging.info(f"building version: {VERSION}")
9
9
 
10
10
  setup(
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr/dataops/store/s3_single_partition_parquet.py RENAMED
@@ -6,7 +6,7 @@ import pandas as pd
6
6
  import pyarrow as pa
7
7
 
8
8
  from tgedr.dataops.store.fs_single_partition_parquet import FsSinglePartitionParquetStore
9
- from src.nn.gs.ss.dataops.commons.utils_fs import remove_s3_protocol
9
+ from tgedr.dataops.commons.utils_fs import remove_s3_protocol
10
10
 
11
11
 
12
12
  logger = logging.getLogger(__name__)
tgedr_dataops-0.0.36/src/tgedr/dataops/validation/pyspark.py ADDED
@@ -0,0 +1,10 @@
1
+ from typing import Any
2
+ from great_expectations.dataset.dataset import Dataset
3
+
4
+ from tgedr.dataops.validation.abs import DataValidation
5
+ from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
6
+
7
+
8
+ class Impl(DataValidation):
9
+ def _get_dataset(self, df: Any) -> Dataset:
10
+ return SparkDFDataset(df)
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36/src/tgedr_dataops.egg-info}/PKG-INFO RENAMED
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: tgedr-dataops
3
- Version: 0.0.34
3
+ Version: 0.0.36
4
4
  Summary: data operations related code
5
5
  Home-page: https://github.com/jtviegas-sandbox/dataops
6
6
  Author: joao tiago viegas
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/src/tgedr_dataops.egg-info/SOURCES.txt RENAMED
@@ -33,6 +33,7 @@ src/tgedr/dataops/store/spark_delta.py
33
33
  src/tgedr/dataops/store/store.py
34
34
  src/tgedr/dataops/validation/abs.py
35
35
  src/tgedr/dataops/validation/pandas.py
36
+ src/tgedr/dataops/validation/pyspark.py
36
37
  src/tgedr_dataops.egg-info/PKG-INFO
37
38
  src/tgedr_dataops.egg-info/SOURCES.txt
38
39
  src/tgedr_dataops.egg-info/dependency_links.txt
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/LICENSE RENAMED
File without changes
{tgedr_dataops-0.0.34 → tgedr_dataops-0.0.36}/setup.cfg RENAMED
File without changes