codeflowhub 1.2.0__tar.gz → 1.4.0__tar.gz

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: codeflowhub
-Version: 1.2.0
+Version: 1.4.0
 Summary: workflow development tools
 Author: creaddiscans
 Author-email: creaddiscans@gmail.com

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/codeflowhub/flow.py

@@ -30,6 +30,9 @@ class FlowDecorator(BaseDecorator):
     export_destination:str  # Export 시 생성 파일 저장 디렉토리
     default_args:dict  # Airflow DAG default_args (owner, retries, retry_delay 등 override)
     schedule:str  # Airflow DAG 스케줄 (cron 문자열 / preset / timedelta / None=수동 트리거)
+    doc_md:str  # Airflow DAG doc_md (UI에 표시될 Markdown 문서)
+    max_active_runs:int  # DAG 동시 실행(run) 상한 (None=Airflow 기본값)
+    max_active_tasks:int  # DAG 내 동시 실행 task 상한 (None=Airflow 기본값)
     start_date:datetime  # Airflow DAG start_date (None이면 export 시점)
     secrets:list  # 모든 task에 공통 주입할 K8s Secret(env) 목록
     on_failure: 'BaseDecorator' = None  # 모든 task의 기본 failure handler
@@ -38,7 +41,8 @@ class FlowDecorator(BaseDecorator):
                  tags=None, annotations=None, service_account_name=None, volumes=None,
                  airflow_sidecar_image=None, airflow_connection_id=None, repo=None, path=None,
                  export_destination='dags', default_args=None, secrets=None, on_failure=None,
-                 schedule=None, start_date=None, schedule_interval=None, **kwargs):
+                 schedule=None, start_date=None, doc_md=None, max_active_runs=None, max_active_tasks=None,
+                 schedule_interval=None, **kwargs):
         # CLI 속성 먼저 초기화 (init()에서 사용됨)
         self._cli_export = None
         self._cli_job_dir = None
@@ -65,6 +69,9 @@ class FlowDecorator(BaseDecorator):
             self._resolve_schedule_alias(schedule, schedule_interval)
         )
         self.start_date = start_date
+        self.doc_md = self._normalize_doc_md(doc_md)
+        self.max_active_runs = self._positive_int('max_active_runs', max_active_runs)
+        self.max_active_tasks = self._positive_int('max_active_tasks', max_active_tasks)
         # Design Ref: §3.2 — flow-level 공통 Secret(env)
         self.secrets = secrets or []
         self.on_failure = on_failure
@@ -75,6 +82,44 @@ class FlowDecorator(BaseDecorator):
         # super().__init__()는 마지막에 호출 (init()이 실행됨)
         super().__init__(*args, name=name, **kwargs)
 
+    @staticmethod
+    def _positive_int(name, value):
+        """None 또는 양의 정수만 허용 (선언 시점에 조기 실패)"""
+        if value is None:
+            return None
+        if isinstance(value, bool) or not isinstance(value, int) or value < 1:
+            raise ValueError(f'{name}는 1 이상의 정수 또는 None만 가능합니다: {value!r}')
+        return value
+
+    @staticmethod
+    def _normalize_doc_md(doc_md):
+        """doc_md 정규화 (선언 시점에 조기 실패)
+
+        - str: Markdown 본문. 함수 안에서 triple-quote로 쓴 경우의 공통 들여쓰기를 제거
+        - Path: 해당 파일의 내용을 읽어 사용 (README 등 별도 파일 참조용)
+        - None / 빈 문자열: doc_md 미설정
+        """
+        import textwrap
+
+        if doc_md is None:
+            return None
+
+        if isinstance(doc_md, Path):
+            if not doc_md.exists():
+                raise FileNotFoundError(f'doc_md 파일을 찾을 수 없습니다: {doc_md}')
+            text = doc_md.read_text(encoding='utf-8')
+        elif isinstance(doc_md, str):
+            text = doc_md
+        else:
+            raise TypeError(
+                f'doc_md는 str(Markdown 본문), Path(파일 경로), None만 가능합니다. '
+                f'전달된 타입: {type(doc_md).__name__}'
+            )
+
+        # 선행 개행 제거 후 dedent → triple-quote 블록의 들여쓰기가 코드블록으로 렌더되는 것 방지
+        text = textwrap.dedent(text.lstrip('\n')).rstrip()
+        return text or None
+
     @staticmethod
     def _resolve_schedule_alias(schedule, schedule_interval):
         """schedule / schedule_interval(구 이름) 중 하나로 정리

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/codeflowhub/service/airflow_exporter.py

@@ -269,13 +269,30 @@ SETUP_SCRIPT = """{setup_script}"""
             params_str = self._format_dict(self.flow.params, indent=1)
             params_line = f"\n    params={params_str},"
 
-        dag_definition = f'''dag = DAG(
+        # doc_md 설정 — 본문은 DAG_DOC_MD 변수로 분리 (여러 줄 Markdown)
+        doc_md_definition = ""
+        doc_md_line = ""
+        doc_md = getattr(self.flow, 'doc_md', None)
+        if doc_md:
+            doc_md_definition = f'''# DAG documentation (Airflow UI)
+DAG_DOC_MD = {self._render_doc_md(doc_md)}
+
+'''
+            doc_md_line = "\n    doc_md=DAG_DOC_MD,"
+
+        concurrency_lines = ""
+        for key in ('max_active_runs', 'max_active_tasks'):
+            value = getattr(self.flow, key, None)
+            if value is not None:
+                concurrency_lines += f"\n    {key}={value},"
+
+        dag_definition = f'''{doc_md_definition}dag = DAG(
     '{self.dag_id}',
     default_args={default_args_str},
     description='{description}',
     schedule={self._render_schedule(schedule)},
     catchup=False,
-    tags={tags_str},{params_line}
+    tags={tags_str},{params_line}{doc_md_line}{concurrency_lines}
 )
 
 '''
@@ -881,6 +898,21 @@ base_volume_mounts = [
                     dependencies.append(f"[{deps_str}] >> {task.name}")
         return dependencies
 
+    def _render_doc_md(self, doc_md):
+        """Markdown 본문 → 생성 DAG의 문자열 리터럴 코드
+
+        줄 단위로 repr()을 적용해 이어붙인다. triple-quote를 쓰면 본문에 포함된
+        따옴표/백슬래시가 문법 오류를 만들 수 있으므로 repr로 완전히 이스케이프하고,
+        줄마다 나누어 생성 DAG에서도 읽을 수 있게 유지한다.
+        """
+        lines = doc_md.split('\n')
+        if len(lines) == 1:
+            return repr(lines[0])
+
+        rendered = [f"    {line + chr(10)!r}" for line in lines[:-1]]
+        rendered.append(f"    {lines[-1]!r}")
+        return '(\n' + '\n'.join(rendered) + '\n)'
+
     def _render_schedule(self, schedule):
         """schedule → DAG 코드 문자열
 

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/codeflowhub.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: codeflowhub
-Version: 1.2.0
+Version: 1.4.0
 Summary: workflow development tools
 Author: creaddiscans
 Author-email: creaddiscans@gmail.com

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/codeflowhub.egg-info/SOURCES.txt

@@ -27,4 +27,5 @@ codeflowhub/template/extract_voice_pkg/main.py
 codeflowhub/template/read_pdf_pkg/__init__.py
 codeflowhub/template/read_pdf_pkg/main.py
 codeflowhub/template/transcript_pkg/__init__.py
-codeflowhub/template/transcript_pkg/main.py
+codeflowhub/template/transcript_pkg/main.py
+tests/test_flow_concurrency.py

{codeflowhub-1.2.0 → codeflowhub-1.4.0}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name='codeflowhub',
-    version='1.2.0',
+    version='1.4.0',
     description='workflow development tools',
     author='creaddiscans',
     author_email='creaddiscans@gmail.com',

codeflowhub-1.4.0/tests/test_flow_concurrency.py

@@ -0,0 +1,55 @@
+"""max_active_runs / max_active_tasks 검증·렌더 체크. 실행: python tests/test_flow_concurrency.py
+export 는 끝나면 프로세스를 종료하므로 하위 프로세스로 돌린다."""
+import os
+import subprocess
+import sys
+import tempfile
+
+ROOT = os.path.join(os.path.dirname(os.path.abspath(__file__)), '..')
+sys.path.insert(0, ROOT)
+from codeflowhub.flow import FlowDecorator  # noqa: E402
+
+WF = '''
+import sys
+sys.path.insert(0, {root!r})
+from codeflowhub import flow, task
+
+@task(image='busybox')
+def t1(args):
+    return args
+
+@flow(name='concurrency-check', repo='git@example.com:x/y.git', path='.', export_destination={out!r}{kw})
+def wf(args):
+    t1(args)
+'''
+
+
+def _export(kw=''):
+    out = tempfile.mkdtemp()
+    src = os.path.join(out, 'wf.py')
+    with open(src, 'w') as fh:
+        fh.write(WF.format(root=ROOT, out=out, kw=kw))
+    subprocess.run([sys.executable, src, '--export', 'airflow'], check=True, capture_output=True)
+    with open(os.path.join(out, 'concurrency-check_dag.py')) as fh:
+        return fh.read()
+
+
+def main():
+    for bad in (0, -1, '8', True, 1.5):
+        try:
+            FlowDecorator._positive_int('x', bad)
+            raise AssertionError(f'not rejected: {bad!r}')
+        except ValueError:
+            pass
+    assert FlowDecorator._positive_int('x', None) is None
+    assert FlowDecorator._positive_int('x', 32) == 32
+
+    dag = _export(', max_active_runs=32, max_active_tasks=8')
+    assert 'max_active_runs=32,' in dag and 'max_active_tasks=8,' in dag, dag
+    dag = _export()
+    assert 'max_active_runs' not in dag and 'max_active_tasks' not in dag, dag
+    print('test_flow_concurrency OK')
+
+
+if __name__ == '__main__':
+    main()