tgedr-dataops 0.0.33__tar.gz → 0.0.34__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (42) hide show
  1. {tgedr_dataops-0.0.33/src/tgedr_dataops.egg-info → tgedr_dataops-0.0.34}/PKG-INFO +1 -1
  2. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/setup.py +1 -1
  3. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/delta_table_source.py +9 -5
  4. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/source.py +4 -0
  5. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34/src/tgedr_dataops.egg-info}/PKG-INFO +1 -1
  6. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/LICENSE +0 -0
  7. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/README.md +0 -0
  8. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/pyproject.toml +0 -0
  9. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/setup.cfg +0 -0
  10. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/__init__.py +0 -0
  11. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/chain.py +0 -0
  12. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/commons/dataset.py +0 -0
  13. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/commons/metadata.py +0 -0
  14. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/commons/s3_connector.py +0 -0
  15. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/commons/utils_fs.py +0 -0
  16. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/commons/utils_spark.py +0 -0
  17. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/etl.py +0 -0
  18. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/processor.py +0 -0
  19. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/sink/__init__.py +0 -0
  20. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/sink/local_fs_file_sink.py +0 -0
  21. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/sink/s3_file_sink.py +0 -0
  22. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/sink/sink.py +0 -0
  23. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/__init__.py +0 -0
  24. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/abstract_s3_file_source.py +0 -0
  25. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/local_delta_table.py +0 -0
  26. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/local_fs_file_source.py +0 -0
  27. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/pd_df_s3_source.py +0 -0
  28. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/s3_delta_table.py +0 -0
  29. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/s3_file_copy.py +0 -0
  30. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/s3_file_source.py +0 -0
  31. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/store/fs_single_partition_parquet.py +0 -0
  32. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/store/local_fs_single_partition_parquet.py +0 -0
  33. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/store/s3_single_partition_parquet.py +0 -0
  34. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/store/spark_delta.py +0 -0
  35. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/store/store.py +0 -0
  36. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/utils_reflection.py +0 -0
  37. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/validation/abs.py +0 -0
  38. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/validation/pandas.py +0 -0
  39. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr_dataops.egg-info/SOURCES.txt +0 -0
  40. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr_dataops.egg-info/dependency_links.txt +0 -0
  41. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr_dataops.egg-info/requires.txt +0 -0
  42. {tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr_dataops.egg-info/top_level.txt +0 -0
{tgedr_dataops-0.0.33/src/tgedr_dataops.egg-info → tgedr_dataops-0.0.34}/PKG-INFO RENAMED
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: tgedr-dataops
3
- Version: 0.0.33
3
+ Version: 0.0.34
4
4
  Summary: data operations related code
5
5
  Home-page: https://github.com/jtviegas-sandbox/dataops
6
6
  Author: joao tiago viegas
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/setup.py RENAMED
@@ -4,7 +4,7 @@ import os
4
4
  from setuptools import setup, find_namespace_packages
5
5
 
6
6
  logger = logging.getLogger(__name__)
7
- VERSION = "0.0.33"
7
+ VERSION = "0.0.34"
8
8
  logging.info(f"building version: {VERSION}")
9
9
 
10
10
  setup(
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/delta_table_source.py RENAMED
@@ -3,8 +3,9 @@ import logging
3
3
  from typing import Any, Dict, List, Optional
4
4
  from pandas import DataFrame
5
5
  from deltalake import DeltaTable
6
+ from deltalake.exceptions import TableNotFoundError
6
7
 
7
- from tgedr.dataops.source.source import Source, SourceException
8
+ from tgedr.dataops.source.source import Source, SourceException, NoSourceException
8
9
 
9
10
 
10
11
  logger = logging.getLogger()
@@ -36,10 +37,13 @@ class DeltaTableSource(Source, ABC):
36
37
  if self.CONTEXT_KEY_COLUMNS in context:
37
38
  columns = context[self.CONTEXT_KEY_COLUMNS]
38
39
 
39
- delta_table = DeltaTable(
40
- table_uri=context[self.CONTEXT_KEY_URL], storage_options=self._storage_options, without_files=True
41
- )
42
- result = delta_table.to_pandas(columns=columns)
40
+ try:
41
+ delta_table = DeltaTable(
42
+ table_uri=context[self.CONTEXT_KEY_URL], storage_options=self._storage_options, without_files=True
43
+ )
44
+ result = delta_table.to_pandas(columns=columns)
45
+ except TableNotFoundError as tnfe:
46
+ raise NoSourceException(f"could not find delta table: {context[self.CONTEXT_KEY_URL]}")
43
47
 
44
48
  logger.info(f"[get|out] => {result}")
45
49
  return result
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/src/tgedr/dataops/source/source.py RENAMED
@@ -8,6 +8,10 @@ class SourceException(Exception):
8
8
  pass
9
9
 
10
10
 
11
+ class NoSourceException(SourceException):
12
+ pass
13
+
14
+
11
15
  class SourceInterface(metaclass=abc.ABCMeta):
12
16
  """
13
17
  def get(self, context: Optional[Dict[str, Any]] = None) -> Any:
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34/src/tgedr_dataops.egg-info}/PKG-INFO RENAMED
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: tgedr-dataops
3
- Version: 0.0.33
3
+ Version: 0.0.34
4
4
  Summary: data operations related code
5
5
  Home-page: https://github.com/jtviegas-sandbox/dataops
6
6
  Author: joao tiago viegas
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/LICENSE RENAMED
File without changes
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/README.md RENAMED
File without changes
{tgedr_dataops-0.0.33 → tgedr_dataops-0.0.34}/setup.cfg RENAMED
File without changes