whatap-python 2.0.2rc1__tar.gz → 2.1.0__tar.gz

{whatap_python-2.0.2rc1 → whatap_python-2.1.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: whatap-python
-Version: 2.0.2rc1
+Version: 2.1.0
 Summary: Monitoring and Profiling Service
 Home-page: https://www.whatap.io
 Author: whatap

{whatap_python-2.0.2rc1 → whatap_python-2.1.0}/whatap/__init__.py

@@ -301,9 +301,45 @@ from whatap.trace.trace_module_definition import DEFINITION, IMPORT_HOOKS, \
     PLUGIN
 
 
+def _build_ignore_instrumentation_set():
+    """whatap.conf 의 ignore_instrumentation_set 값을 정규화하여 반환.
+    Configure.load() 가 _set 접미사 키를 콤마 split 해 list 로 만들지만,
+    환경변수/직접 setProperty 등 다른 경로로 들어온 경우(str)도 함께 처리한다.
+    """
+    raw = getattr(conf, 'ignore_instrumentation_set', None) or []
+    if isinstance(raw, str):
+        raw = raw.split(',')
+    return {str(item).strip().lower() for item in raw if item and str(item).strip()}
+
+
+def _is_instrumentation_ignored(definition_key, ignore_set):
+    """DEFINITION 키(예: 'database.redis', 'logging')가 무시 대상인지 판정.
+
+    매칭 규칙(셋 중 하나라도 맞으면 True):
+      1) 키 전체가 일치        예: 'database.redis' == 'database.redis'
+      2) 카테고리(점 앞)와 일치  예: 'database'        → 'database.*' 모두
+      3) 라이브러리(점 뒤)와 일치 예: 'redis'           → 'database.redis'
+    """
+    if not ignore_set:
+        return False
+    key_lower = definition_key.lower()
+    if key_lower in ignore_set:
+        return True
+    if '.' in key_lower:
+        category, lib = key_lower.split('.', 1)
+        if category in ignore_set or lib in ignore_set:
+            return True
+    return False
+
+
 def hooks(home):
+    ignore_set = _build_ignore_instrumentation_set()
+    skipped_keys = []
     try:
         for key, value_list in DEFINITION.items():
+            if _is_instrumentation_ignored(key, ignore_set):
+                skipped_keys.append(key)
+                continue
             for value in value_list:
                 if len(value) >= 3 and isinstance(value[2], str):
                     module_path = value[2]
@@ -318,7 +354,14 @@ def hooks(home):
         logging.debug(e, extra={'id': 'MODULE ERROR'})
     finally:
         try:
-            if conf.trace_logging_enabled:
+            if skipped_keys:
+                logging.debug(
+                    'WHATAP: ignore_instrumentation_set skipped: {}'.format(
+                        ','.join(skipped_keys)),
+                    extra={'id': 'WA_IGN'})
+
+            if conf.trace_logging_enabled and not _is_instrumentation_ignored(
+                    'logging', ignore_set):
                 logging_module = sys.modules.get("logging")
                 from whatap.trace.mod.logging import instrument_logging
                 instrument_logging(logging_module)
@@ -535,12 +578,47 @@ def go(batch=False, opts={}, llm=False):
         label = 'LLM golang module' if llm else 'golang module'
 
         if sys.platform == 'win32':
-            DETACHED_PROCESS = 0x00000008
+            # SESSIONNAME 환경변수는 NSSM이 부모 세션에서 상속받아 부정확함
+            # ProcessIdToSessionId로 실제 프로세스 세션 ID 확인
+            try:
+                import ctypes
+                _sid = ctypes.c_ulong(0)
+                ctypes.windll.kernel32.ProcessIdToSessionId(
+                    ctypes.windll.kernel32.GetCurrentProcessId(),
+                    ctypes.byref(_sid)
+                )
+                is_session0 = (_sid.value == 0)
+            except Exception:
+                is_session0 = not os.environ.get('SESSIONNAME')
+
             cmd_args.append('foreground')
-            process = subprocess.Popen(cmd_args,
-                                       cwd=home_path, env=newenv,
-                                       creationflags=DETACHED_PROCESS,
-                                       stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+
+            if is_session0:
+                # Session 0에서만 WHATAP_FOREGROUND=1 추가 주입.
+                # IsAnInteractiveSession()이 false로 떨어지는 경로에서
+                # foreground CLI 인자를 보강하는 안전망.
+                newenv['WHATAP_FOREGROUND'] = '1'
+
+                # Session 0에서는 PIPE를 읽지 않으면 버퍼 고갈로 Go 프로세스가 블로킹됨
+                # 로그 파일로 리디렉션
+                # CREATE_NO_WINDOW: Session 0 서비스 컨텍스트에 적합한 플래그
+                CREATE_NO_WINDOW = 0x08000000
+                log_dir = os.path.join(home_path, 'logs')
+                go_log_path = os.path.join(log_dir, AGENT_NAME + '.log')
+                try:
+                    go_out = open(go_log_path, 'ab')
+                except Exception:
+                    go_out = subprocess.DEVNULL
+                process = subprocess.Popen(cmd_args,
+                                           cwd=home_path, env=newenv,
+                                           creationflags=CREATE_NO_WINDOW,
+                                           stdout=go_out, stderr=go_out)
+            else:
+                DETACHED_PROCESS = 0x00000008
+                process = subprocess.Popen(cmd_args,
+                                           cwd=home_path, env=newenv,
+                                           creationflags=DETACHED_PROCESS,
+                                           stdout=subprocess.PIPE, stderr=subprocess.PIPE)
         else:
             process = subprocess.Popen(cmd_args,
                                        cwd=home_path, env=newenv,
@@ -549,8 +627,11 @@ def go(batch=False, opts={}, llm=False):
 
         time.sleep(0.5)
         if process.poll() is not None:
-            stdouts, errs = process.communicate()
-            whatap_print("executed {} ".format(label), str(stdouts,"utf8"), str(errs, "utf8"))
+            if sys.platform == 'win32' and is_session0:
+                whatap_print("executed {} (exit code: {}, log: {})".format(label, process.returncode, go_log_path))
+            else:
+                stdouts, errs = process.communicate()
+                whatap_print("executed {} ".format(label), str(stdouts,"utf8"), str(errs, "utf8"))
         else:
             write_file(home, file_name, str(process.pid))
             whatap_print("executed {} in background (PID: {})".format(label, process.pid))

whatap_python-2.1.0/whatap/build.py

@@ -0,0 +1,4 @@
+app = 'Python'
+name = 'whatap-python'
+version = '2.1.0'
+release_date = '20260610'

{whatap_python-2.0.2rc1 → whatap_python-2.1.0}/whatap/conf/configuration.py

@@ -19,6 +19,13 @@ Configuration = {
     "trace_ignore_url_prefix": None,
     "trace_websocket_enabled": False,
 
+    # 자동 계측에서 제외할 라이브러리 목록(콤마 구분).
+    #   - DEFINITION 키 전체:   database.redis, llm.openai
+    #   - 카테고리만:          database  (database.* 전부 스킵)
+    #   - 라이브러리 이름만:    redis, openai, django  (해당 키만 스킵)
+    # 예: ignore_instrumentation_set=redis,openai,application.django
+    "ignore_instrumentation_set": [],
+
     "llm_api_hosts": "",
 
     "debug": False,
@@ -225,5 +232,49 @@ Configuration = {
     "force_llm_net_udp_port": False,
     "llm_model_pricing": "",
     "llm_perf_sketch_enabled": True,
-    "llm_perf_sketch_k": 200
+    "llm_perf_sketch_k": 200,
+
+    # ── LLM Evaluation ──
+    # 평가 파이프라인 마스터 토글. false면 enqueue/worker가 동작하지 않음.
+    "llm_eval_enabled": False,
+    # judge LLM 호출 평가자의 샘플링 비율 (0.0 ~ 1.0).
+    #   1.0 (기본) — 모든 judge 평가자 항상 실행
+    #   0.1       — judge 평가자 10% 만 실행 (비용 1/10)
+    #   0.0       — judge 평가자 전부 skip
+    # 규칙 기반 평가자 (PIILeak / URLScan 등 USES_LLM_JUDGE=False) 는 영향 X.
+    # 결정론적 샘플링 — 같은 txid 는 항상 같은 결정.
+    "llm_eval_sample_rate": 1.0,
+    # 평가 큐 최대 크기. 초과 시 drop + LLM030 경고.
+    "llm_eval_buffer_limit": 1000,
+    # 평가자 실행에 쓸 ThreadPoolExecutor worker 수.
+    "llm_eval_workers": 4,
+    # judge LLM 1회 호출의 최대 대기 시간 (초). 초과 시 TimeoutError → judge_error
+    # 로 graceful degrade. user app 의 event loop 가 hang/backpressure 일 때
+    # 평가 워커가 무기한 블록되는 것을 차단. 0 또는 음수면 무제한 (legacy 동작).
+    "llm_eval_judge_timeout_sec": 30,
+    # judge LLM 호출도 기존 인스트루멘테이션 (intercept) 으로 추적할지 여부.
+    # False (기본): judge 호출은 intercept 우회 → 메트릭/logsink 에 안 잡힘.
+    #               (eval 결과 점수만 LlmStepEvalStatus + llm_eval_stat 로 송출)
+    # True       : judge 호출이 llm_step_status pack + 메트릭에 잡힘 (사용자 호출과 동일).
+    #               cost/token/latency 가시화. 메트릭 카운트 2배 증가 가능 (user + judge).
+    "llm_eval_track_judge_calls": False,
+    # 활성 평가자 csv. 미지정 (빈 값) 이면 default 3 종 자동 활성:
+    #   combined_judge, pii_leak, url_scan
+    # 개별 aspect evaluator (hallucination / answer_relevance / toxicity /
+    # prompt_injection / factuality) 는 combined_judge 가 1회 judge 호출로 이미
+    # 모두 산출하므로 default 에서 제외 — 명시 활성 시에만 별도 evaluator 가 추가
+    # judge 호출을 발생시킴.
+    #
+    # 가용 라벨 (각 라벨이 evaluator 1개 + 동명 stat 카테고리에 매핑):
+    #   combined_judge   — 1번의 LLM judge 호출로 5 의미 aspect 동시 평가
+    #                      (hallucination / answer_relevance / toxicity /
+    #                       prompt_injection / factuality)
+    #   pii_leak         — 정규식 + Luhn 으로 PII 노출 탐지 (LLM 호출 X)
+    #   url_scan         — URL 추출 + suspicious 패턴 매칭 (LLM 호출 X)
+    #   hallucination / answer_relevance / toxicity / prompt_injection / factuality
+    #                    — combined_judge 대신 개별 evaluator 만 쓰고 싶을 때
+    # 예: "combined_judge,pii_leak,url_scan"  (default 와 동일)
+    # 예: "pii_leak,url_scan"                 (정형 평가만, LLM judge 0회)
+    # 예: "hallucination,toxicity,pii_leak"   (개별 aspect — combined 대신)
+    "llm_eval_evaluators": "",
 }

{whatap_python-2.0.2rc1 → whatap_python-2.1.0}/whatap/conf/configure.py

@@ -60,7 +60,7 @@ class Configure(object):
                     except Exception as e:
                         print('WHATAP: ', e)
                         continue
-            if not getattr(cls, "license") and getattr(cls, "accesskey"):
+            if not getattr(cls, "license", None) and getattr(cls, "accesskey", None):
                 setattr(cls, "license", getattr(cls, "accesskey"))
             for callback in cls.observers:
                 callback()