liblogging 0.1.8__tar.gz → 0.1.10__tar.gz

liblogging-0.1.10/PKG-INFO

@@ -0,0 +1,118 @@
+Metadata-Version: 2.2
+Name: liblogging
+Version: 0.1.10
+Summary: Utilities for logging and sending logs.
+Home-page: https://github.com/XoriieInpottn/liblogging
+Author: xi
+Author-email: gylv@mail.ustc.edu.cn, huangfuyb@163.com
+License: Apache-2.0 license
+Platform: any
+Classifier: Programming Language :: Python :: 3
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Provides-Extra: collector
+Requires-Dist: kafka-python==2.0.2; extra == "collector"
+Dynamic: author
+Dynamic: author-email
+Dynamic: classifier
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: license
+Dynamic: platform
+Dynamic: provides-extra
+Dynamic: summary
+
+# liblogging
+
+Utilities for logging and sending logs.
+```shell
+pip install liblogging
+```
+
+## 🌟Feature
+### 统一日志格式记录
+统一了当前agent的日志记录格式，也可自己基于默认格式进行拓展。
+当前记录的信息和对应的key如下：
+```python
+{
+    "create_time": "时间戳，默认和mysql列datatime(3)保持一致",
+    "level": "like INFO, ERROR, WARNING",
+    # 通过上下文变量保存trace_id
+    "trace_id": "trace_id for 追溯不同服务的调用链路",
+    "line_info": "{record.filename}:{record.lineno}:{record.funcName}",
+    "message": message,
+    # 通过上下文变量区分不同源, 方便接收不同服务源信息, 比如Chat, Welcome, Planning等
+    "message_source": context.get("message_source", "chat_log"),
+    # 控制不同log类型，便于筛选日志数据, 比如tool, llm, turn等
+    "message_type": message_type,
+    # 可以根据自己需求加入其他的字段
+    **extra_message
+}
+```
+上述日志信息均以json字符串的形式记录下来，方便存储及后续处理。
+
+### 配置上下文变量，无须重复传参显示记录
+通过装饰器形式, 指定需要配置的全局上下文变量, 仅需在整个程序/服务入口配置一次即可。
+
+需要注意的是配置的全局上下文变量，根据加入装饰器下的函数入参名称匹配进行更新，推荐函数参数定义使用`BaseModel`。
+
+```python
+主程序/服务: service1.py
+from pydantic import BaseModel
+
+from liblogging import log_request,logger
+
+
+class Request(BaseModel):
+    name: str
+    trace_id: str
+
+#在主程序入口配置了trace_id这一全局上下文变量，会通过函数入参对该字段进行赋值，后续在该服务下的其他程序logger.info时会读取这一变量并记录下来。
+#同时也支持默认参数配置，比如message_source设置了默认值，后续使用logger会记录message_source为"demo"。
+@log_request("trace_id", message_source="demo")
+def your_service_entry(request: Request):
+    logger.info("Processing request")
+```
+
+```python
+该服务下的其他程序: function1.py，可直接logger.info(). trace_id, message_source均会记录下来。
+from liblogging import logger
+
+def test(name):
+    logger.info(f"Testing {name}")
+```
+
+### 重定向并发送到消息队列
+以默认集成的kafka为例，可将上述统一日志格式记录的形式发送至kafka。
+
+kafka 配置文件格式：
+```json
+{
+    "{cluster_name}": {
+        "{env_name}": {
+            "bootstrap_servers": "server1, server2, server3",
+            "username": "username",
+            "password": "******",
+            "topic": "your topic",
+            "...": "..."
+        }
+    }
+}
+```
+
+使用形式:
+```shell
+python service 2>&1 | tee {log_file_path} | liblogging_collector --config-path {your_kafka_path}  --ssl-cafile {your_ssl_cafile_path} --send-kafka
+```
+tee {log_file_path} 可以将你的程序记录（输出+错误）重定向到文件中（可选）。
+[log_collector.py](liblogging/sending/log_collector.py)为`liblogging_collector`的源代码地址。
+`env_name`不指定的话，默认读取`os.environ.get("CHAT_ENV", "dev")`
+
+## 📋Example
+增加额外记录字段信息，以及搭配[libentry](https://github.com/XoriieInpottn/libentry)使用的样例见 [example](example)。
+
+
+## 💡Tips
+
+1. If using Kafka to send messages, please use `pip install liblogging[collector]`.

liblogging-0.1.10/README.md

@@ -0,0 +1,93 @@
+# liblogging
+
+Utilities for logging and sending logs.
+```shell
+pip install liblogging
+```
+
+## 🌟Feature
+### 统一日志格式记录
+统一了当前agent的日志记录格式，也可自己基于默认格式进行拓展。
+当前记录的信息和对应的key如下：
+```python
+{
+    "create_time": "时间戳，默认和mysql列datatime(3)保持一致",
+    "level": "like INFO, ERROR, WARNING",
+    # 通过上下文变量保存trace_id
+    "trace_id": "trace_id for 追溯不同服务的调用链路",
+    "line_info": "{record.filename}:{record.lineno}:{record.funcName}",
+    "message": message,
+    # 通过上下文变量区分不同源, 方便接收不同服务源信息, 比如Chat, Welcome, Planning等
+    "message_source": context.get("message_source", "chat_log"),
+    # 控制不同log类型，便于筛选日志数据, 比如tool, llm, turn等
+    "message_type": message_type,
+    # 可以根据自己需求加入其他的字段
+    **extra_message
+}
+```
+上述日志信息均以json字符串的形式记录下来，方便存储及后续处理。
+
+### 配置上下文变量，无须重复传参显示记录
+通过装饰器形式, 指定需要配置的全局上下文变量, 仅需在整个程序/服务入口配置一次即可。
+
+需要注意的是配置的全局上下文变量，根据加入装饰器下的函数入参名称匹配进行更新，推荐函数参数定义使用`BaseModel`。
+
+```python
+主程序/服务: service1.py
+from pydantic import BaseModel
+
+from liblogging import log_request,logger
+
+
+class Request(BaseModel):
+    name: str
+    trace_id: str
+
+#在主程序入口配置了trace_id这一全局上下文变量，会通过函数入参对该字段进行赋值，后续在该服务下的其他程序logger.info时会读取这一变量并记录下来。
+#同时也支持默认参数配置，比如message_source设置了默认值，后续使用logger会记录message_source为"demo"。
+@log_request("trace_id", message_source="demo")
+def your_service_entry(request: Request):
+    logger.info("Processing request")
+```
+
+```python
+该服务下的其他程序: function1.py，可直接logger.info(). trace_id, message_source均会记录下来。
+from liblogging import logger
+
+def test(name):
+    logger.info(f"Testing {name}")
+```
+
+### 重定向并发送到消息队列
+以默认集成的kafka为例，可将上述统一日志格式记录的形式发送至kafka。
+
+kafka 配置文件格式：
+```json
+{
+    "{cluster_name}": {
+        "{env_name}": {
+            "bootstrap_servers": "server1, server2, server3",
+            "username": "username",
+            "password": "******",
+            "topic": "your topic",
+            "...": "..."
+        }
+    }
+}
+```
+
+使用形式:
+```shell
+python service 2>&1 | tee {log_file_path} | liblogging_collector --config-path {your_kafka_path}  --ssl-cafile {your_ssl_cafile_path} --send-kafka
+```
+tee {log_file_path} 可以将你的程序记录（输出+错误）重定向到文件中（可选）。
+[log_collector.py](liblogging/sending/log_collector.py)为`liblogging_collector`的源代码地址。
+`env_name`不指定的话，默认读取`os.environ.get("CHAT_ENV", "dev")`
+
+## 📋Example
+增加额外记录字段信息，以及搭配[libentry](https://github.com/XoriieInpottn/libentry)使用的样例见 [example](example)。
+
+
+## 💡Tips
+
+1. If using Kafka to send messages, please use `pip install liblogging[collector]`.

{liblogging-0.1.8 → liblogging-0.1.10}/liblogging/sending/kafka_service.py

@@ -8,7 +8,7 @@ except ImportError:
     # 如果导入失败，提示用户安装 kafka-python 包
     print("错误：未找到 'kafka' 模块。")
     print("请运行以下命令安装所需的依赖：")
-    print("pip install kafka-python")
+    print("pip install kafka-python==2.0.2")
     import sys
     sys.exit(1)
 

{liblogging-0.1.8 → liblogging-0.1.10}/liblogging/sending/log_collector.py

@@ -51,22 +51,18 @@ class LogCollector:
     def collect(
         self, send_kafka: bool = False, chat_env: str = "dev", use_default_process: bool = True
     ):
-        start_time = time.time()
         while True:
             try:
                 line = sys.stdin.readline().strip()
                 if not line:
                     continue
-                print(line)
-                print(round(time.time() - start_time, 3))
-                start_time = time.time()
                 try:
                     if use_default_process:
                         trace_id, message = process_message(line)
                     else:
                         message = json.loads(line)
                         trace_id = message.get("trace_id", "")
-
+                    print(message)
                     if send_kafka and trace_id:
                         print(f"Sending kafka message. env:{chat_env}")
                         thread_pool_manager.submit(
@@ -78,8 +74,8 @@ class LogCollector:
                             key=trace_id,
                             source=message.get("message_source")
                         )
-                except ValueError as e:
-                    pass
+                except ValueError:
+                    print(line)
 
             except EOFError:
                 print("End of input reached. Exiting...", file=sys.stderr)

liblogging-0.1.10/liblogging.egg-info/PKG-INFO

@@ -0,0 +1,118 @@
+Metadata-Version: 2.2
+Name: liblogging
+Version: 0.1.10
+Summary: Utilities for logging and sending logs.
+Home-page: https://github.com/XoriieInpottn/liblogging
+Author: xi
+Author-email: gylv@mail.ustc.edu.cn, huangfuyb@163.com
+License: Apache-2.0 license
+Platform: any
+Classifier: Programming Language :: Python :: 3
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Provides-Extra: collector
+Requires-Dist: kafka-python==2.0.2; extra == "collector"
+Dynamic: author
+Dynamic: author-email
+Dynamic: classifier
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: license
+Dynamic: platform
+Dynamic: provides-extra
+Dynamic: summary
+
+# liblogging
+
+Utilities for logging and sending logs.
+```shell
+pip install liblogging
+```
+
+## 🌟Feature
+### 统一日志格式记录
+统一了当前agent的日志记录格式，也可自己基于默认格式进行拓展。
+当前记录的信息和对应的key如下：
+```python
+{
+    "create_time": "时间戳，默认和mysql列datatime(3)保持一致",
+    "level": "like INFO, ERROR, WARNING",
+    # 通过上下文变量保存trace_id
+    "trace_id": "trace_id for 追溯不同服务的调用链路",
+    "line_info": "{record.filename}:{record.lineno}:{record.funcName}",
+    "message": message,
+    # 通过上下文变量区分不同源, 方便接收不同服务源信息, 比如Chat, Welcome, Planning等
+    "message_source": context.get("message_source", "chat_log"),
+    # 控制不同log类型，便于筛选日志数据, 比如tool, llm, turn等
+    "message_type": message_type,
+    # 可以根据自己需求加入其他的字段
+    **extra_message
+}
+```
+上述日志信息均以json字符串的形式记录下来，方便存储及后续处理。
+
+### 配置上下文变量，无须重复传参显示记录
+通过装饰器形式, 指定需要配置的全局上下文变量, 仅需在整个程序/服务入口配置一次即可。
+
+需要注意的是配置的全局上下文变量，根据加入装饰器下的函数入参名称匹配进行更新，推荐函数参数定义使用`BaseModel`。
+
+```python
+主程序/服务: service1.py
+from pydantic import BaseModel
+
+from liblogging import log_request,logger
+
+
+class Request(BaseModel):
+    name: str
+    trace_id: str
+
+#在主程序入口配置了trace_id这一全局上下文变量，会通过函数入参对该字段进行赋值，后续在该服务下的其他程序logger.info时会读取这一变量并记录下来。
+#同时也支持默认参数配置，比如message_source设置了默认值，后续使用logger会记录message_source为"demo"。
+@log_request("trace_id", message_source="demo")
+def your_service_entry(request: Request):
+    logger.info("Processing request")
+```
+
+```python
+该服务下的其他程序: function1.py，可直接logger.info(). trace_id, message_source均会记录下来。
+from liblogging import logger
+
+def test(name):
+    logger.info(f"Testing {name}")
+```
+
+### 重定向并发送到消息队列
+以默认集成的kafka为例，可将上述统一日志格式记录的形式发送至kafka。
+
+kafka 配置文件格式：
+```json
+{
+    "{cluster_name}": {
+        "{env_name}": {
+            "bootstrap_servers": "server1, server2, server3",
+            "username": "username",
+            "password": "******",
+            "topic": "your topic",
+            "...": "..."
+        }
+    }
+}
+```
+
+使用形式:
+```shell
+python service 2>&1 | tee {log_file_path} | liblogging_collector --config-path {your_kafka_path}  --ssl-cafile {your_ssl_cafile_path} --send-kafka
+```
+tee {log_file_path} 可以将你的程序记录（输出+错误）重定向到文件中（可选）。
+[log_collector.py](liblogging/sending/log_collector.py)为`liblogging_collector`的源代码地址。
+`env_name`不指定的话，默认读取`os.environ.get("CHAT_ENV", "dev")`
+
+## 📋Example
+增加额外记录字段信息，以及搭配[libentry](https://github.com/XoriieInpottn/libentry)使用的样例见 [example](example)。
+
+
+## 💡Tips
+
+1. If using Kafka to send messages, please use `pip install liblogging[collector]`.

{liblogging-0.1.8 → liblogging-0.1.10}/liblogging.egg-info/SOURCES.txt

@@ -8,6 +8,7 @@ liblogging.egg-info/PKG-INFO
 liblogging.egg-info/SOURCES.txt
 liblogging.egg-info/dependency_links.txt
 liblogging.egg-info/entry_points.txt
+liblogging.egg-info/requires.txt
 liblogging.egg-info/top_level.txt
 liblogging.egg-info/zip-safe
 liblogging/sending/__init__.py

liblogging-0.1.10/liblogging.egg-info/requires.txt

@@ -0,0 +1,3 @@
+
+[collector]
+kafka-python==2.0.2

{liblogging-0.1.8 → liblogging-0.1.10}/setup.py

@@ -18,13 +18,13 @@ if __name__ == '__main__':
                 'liblogging_collector = liblogging.sending.log_collector:main'
             ]
         },
-        version='0.1.8',
+        version='0.1.10',
         description='Utilities for logging and sending logs.',
         long_description_content_type='text/markdown',
         long_description=long_description,
         license='Apache-2.0 license',
         author='xi',
-        author_email='gylv@mail.ustc.edu.cn',
+        author_email='gylv@mail.ustc.edu.cn, huangfuyb@163.com',
         url='https://github.com/XoriieInpottn/liblogging',
         platforms='any',
         classifiers=[
@@ -32,5 +32,8 @@ if __name__ == '__main__':
         ],
         include_package_data=True,
         zip_safe=True,
-        install_requires=[]
+        install_requires=[],
+        extras_require={
+            'collector': ['kafka-python==2.0.2']
+        }
     )

liblogging-0.1.8/PKG-INFO

@@ -1,49 +0,0 @@
-Metadata-Version: 2.2
-Name: liblogging
-Version: 0.1.8
-Summary: Utilities for logging and sending logs.
-Home-page: https://github.com/XoriieInpottn/liblogging
-Author: xi
-Author-email: gylv@mail.ustc.edu.cn
-License: Apache-2.0 license
-Platform: any
-Classifier: Programming Language :: Python :: 3
-Description-Content-Type: text/markdown
-License-File: LICENSE
-Dynamic: author
-Dynamic: author-email
-Dynamic: classifier
-Dynamic: description
-Dynamic: description-content-type
-Dynamic: home-page
-Dynamic: license
-Dynamic: platform
-Dynamic: summary
-
-# liblogging
-
-Utilities for logging and sending logs.
-
-# Usage
-
-```python
-from liblogging.logger import logger
-
-# Log a simple message
-logger.info("This is an info message")
-
-# Log a message with context
-logger.track_start("Starting process", message_type="process_start")
-logger.track_end("Ending process", message_type="process_end")
-
-# Log a request
-@log_request("user_id", "session_id")
-def process_request(user_id, session_id):
-    logger.info("Processing request")
-
-process_request(user_id=123, session_id="abc")
-```
-
-# Tips
-
-1. If using Kafka to send messages, please use `kafka-python==2.0.2`.

liblogging-0.1.8/README.md

@@ -1,27 +0,0 @@
-# liblogging
-
-Utilities for logging and sending logs.
-
-# Usage
-
-```python
-from liblogging.logger import logger
-
-# Log a simple message
-logger.info("This is an info message")
-
-# Log a message with context
-logger.track_start("Starting process", message_type="process_start")
-logger.track_end("Ending process", message_type="process_end")
-
-# Log a request
-@log_request("user_id", "session_id")
-def process_request(user_id, session_id):
-    logger.info("Processing request")
-
-process_request(user_id=123, session_id="abc")
-```
-
-# Tips
-
-1. If using Kafka to send messages, please use `kafka-python==2.0.2`.

liblogging-0.1.8/liblogging.egg-info/PKG-INFO

@@ -1,49 +0,0 @@
-Metadata-Version: 2.2
-Name: liblogging
-Version: 0.1.8
-Summary: Utilities for logging and sending logs.
-Home-page: https://github.com/XoriieInpottn/liblogging
-Author: xi
-Author-email: gylv@mail.ustc.edu.cn
-License: Apache-2.0 license
-Platform: any
-Classifier: Programming Language :: Python :: 3
-Description-Content-Type: text/markdown
-License-File: LICENSE
-Dynamic: author
-Dynamic: author-email
-Dynamic: classifier
-Dynamic: description
-Dynamic: description-content-type
-Dynamic: home-page
-Dynamic: license
-Dynamic: platform
-Dynamic: summary
-
-# liblogging
-
-Utilities for logging and sending logs.
-
-# Usage
-
-```python
-from liblogging.logger import logger
-
-# Log a simple message
-logger.info("This is an info message")
-
-# Log a message with context
-logger.track_start("Starting process", message_type="process_start")
-logger.track_end("Ending process", message_type="process_end")
-
-# Log a request
-@log_request("user_id", "session_id")
-def process_request(user_id, session_id):
-    logger.info("Processing request")
-
-process_request(user_id=123, session_id="abc")
-```
-
-# Tips
-
-1. If using Kafka to send messages, please use `kafka-python==2.0.2`.