paddlex 3.0.0rc0__py3-none-any.whl → 3.0.1__py3-none-any.whl

paddlex/configs/pipelines/PP-ChatOCRv3-doc.yaml

@@ -99,9 +99,10 @@ SubPipelines:
             model_dir: null
             limit_side_len: 960
             limit_type: max
+            max_side_limit: 4000
             thresh: 0.3
             box_thresh: 0.6
-            unclip_ratio: 2.0
+            unclip_ratio: 1.5
             
           TextRecognition:
             module_name: text_recognition
@@ -138,6 +139,7 @@ SubPipelines:
                 model_dir: null
                 limit_side_len: 736
                 limit_type: min
+                max_side_limit: 4000
                 thresh: 0.2
                 box_thresh: 0.6
                 unclip_ratio: 0.5

paddlex/configs/pipelines/PP-ChatOCRv4-doc.yaml

@@ -30,30 +30,61 @@ SubModules:
   PromptEngneering:
     KIE_CommonText:
       module_name: prompt_engneering
-
       task_type: text_kie_prompt_v2
-
-      task_description: '你现在的任务是从OCR结果中提取问题列表中每一个问题的答案。
-          OCR的文字识别结果使用```符号包围，包含所识别出来的文字，顺序在原始图片中从左至右、从上至下。
-          我指定的问题列表使用[]符号包围。请注意OCR的文字识别结果可能存在长句子换行被切断、不合理的分词、
-          文字被错误合并等问题，你需要结合上下文语义进行综合判断，以获取准确的答案。'
-
-      output_format: '在返回结果时使用JSON格式，包含多个key-value对，key值为我指定的问题，value值为该问题对应的答案。
-          如果认为OCR识别结果中，对于问题key，没有答案，则将value赋值为"未知"。请只输出json格式的结果，
-          并做json格式校验后返回，不要包含其它多余文字！'
-
-      rules_str: '请依次确认满足下面要求。（1）每个问题的答案用OCR结果的内容回答，针对问题回答尽可能详细和完整，
-          并保持格式、数字、正负号、单位、符号和标点都与OCR结果中的内容完全一致。
-          （2）如果答案的句末有标点符号，请添加标点符号。
-          （3）对于答案中的数字，如果可以推断出单位，请补充相应的单位。'
-
+      
+      task_description: '你是一个信息提取助手，你的任务是从OCR结果中提取每一个问题的答案。
+  
+  请注意：问题可分为两类，你需要**根据问题的语义自动判断任务类型**，并分别使用以下规则：
+  
+  1. **摘录型问题（适用于法规、定义、条款、原句类问题）**
+     - 特征：问题中常出现“是什么”“内容是什么”“规定是什么”等；
+     - 要求：答案必须**逐字摘录自 OCR 文本**，不可改写或简化。
+
+  2. **问答型问题（适用于需要计算、推理、提取数字信息的问题）**
+     - 特征：问题中含“多少”“增长了多少”“是多少元”等；
+     - 要求：可以基于 OCR 文本进行**理解、补全和单位推理**，但需严格以 OCR 信息为依据，不得引入外部常识或主观猜测。
+
+  OCR识别结果使用```符号包围，按图片中从左至右、从上至下排序。
+  问题列表使用[]符号包围。'
+
+      output_format: '输出以 JSON 格式返回，key 为问题内容，value 为对应答案。
+  - 所有答案必须是完整、可理解的语句或片段；
+  - 若 OCR 中无法确定答案，请将 value 设为 "未知"；
+  - 严格使用 "未知"，不允许使用 null、空字符串、"-" 等其他表示形式。'
+
+      rules_str: '通用规则：
+              1. **内容来源与完整性**
+                - 所有问题的答案必须**完全依据表格中的内容**进行作答；
+                - 回答时应**尽可能详细和完整**，不得省略或自行补充未在表格中明确出现的信息；
+                - 保持**原文的格式、数字、正负号、单位、符号和标点符号**完全一致。
+
+              2. **标点规范**
+                - 如果原文答案句末带有标点符号（如句号、逗号、分号等），请**保留并添加在答案结尾**。
+              3. **单位补全要求**
+                  - 由于评测可能涉及单位识别，**答案中的所有数字后必须添加单位**；
+                  - 如果原文上下文中已明确提供单位，**请直接使用该单位**；
+                  - 如果上下文中未出现单位，**请你根据语义补充一个合理的常见单位**，如“个”“项”“次”“年”“元”等；
+                  - 对于比率或百分比，请**务必添加“%”符号**；
+                  - **禁止省略单位**，也不得以“无单位”或空字符串代替；
+                  - 添加单位时，**直接紧跟在数字后，不允许加括号、引号或任何额外标注符号**。
+
+              4. **上下文语义保持**
+                - 请严格遵循原文语义；
+                - 如果原文描述为“在30分钟内完成”，请**完整回答“在30分钟内完成”**，而**不是简化为“30分钟”**；
+                - 不可断章取义、丢失时间、条件或限制性描述。
+              5. 如无法确定答案，必须填“未知”。
+  摘录型补充规则：
+  - 答案必须逐字摘抄自 OCR 文本；
+  - 不得缩写、改写或断章取义。
+  问答型补充规则：
+  - 可以合理组合 OCR 中的多个片段；
+  - 可进行单位补全和数值归纳；
+  - 不得引入非文本来源内容。'
       few_shot_demo_text_content:
-
       few_shot_demo_key_value_list:
           
     KIE_Table:
       module_name: prompt_engneering
-
       task_type: table_kie_prompt_v2
 
       task_description: '你现在的任务是从输入的html格式的表格内容中提取问题列表中每一个问题的答案。
@@ -62,33 +93,53 @@ SubModules:
       output_format: '在返回结果时使用JSON格式，包含多个key-value对，key值为我指定的问题，value值为该问题对应的答案。
           如果认为表格内容中，对于问题key，没有答案，则将value赋值为"未知"。请只输出json格式的结果，
           并做json格式校验后返回，不要包含其它多余文字！'
-
-      rules_str: '请依次确认满足下面要求。（1）每个问题的答案用表格内容回答，针对问题回答尽可能详细和完整，
-          并保持格式、数字、正负号、单位、符号和标点都与表格内容完全一致。
-          （2）对于答案中的数字，如果可以推断出单位，请补充相应的单位。
-          （3）如果答案是百分比，请添加百分号。'
-
+        
+      rules_str: '通用规则：
+              1. **内容来源与完整性**
+                - 所有问题的答案必须**完全依据表格中的内容**进行作答；
+                - 回答时应**尽可能详细和完整**，不得省略或自行补充未在表格中明确出现的信息；
+                - 保持**原文的格式、数字、正负号、单位、符号和标点符号**完全一致。
+
+              2. **标点规范**
+                - 如果原文答案句末带有标点符号（如句号、逗号、分号等），请**保留并添加在答案结尾**。
+              3. **单位补全要求**
+                  - 由于评测可能涉及单位识别，**答案中的所有数字后必须添加单位**；
+                  - 如果原文上下文中已明确提供单位，**请直接使用该单位**；
+                  - 如果上下文中未出现单位，**请你根据语义补充一个合理的常见单位**，如“个”“项”“次”“年”“元”等；
+                  - 对于比率或百分比，请**务必添加“%”符号**；
+                  - **禁止省略单位**，也不得以“无单位”或空字符串代替；
+                  - 添加单位时，**直接紧跟在数字后，不允许加括号、引号或任何额外标注符号**。
+
+              4. **上下文语义保持**
+                - 请严格遵循原文语义；
+                - 如果原文描述为“在30分钟内完成”，请**完整回答“在30分钟内完成”**，而**不是简化为“30分钟”**；
+                - 不可断章取义、丢失时间、条件或限制性描述。
+              5. 如无法确定答案，必须填“未知”。
+
+              摘录型补充规则：
+              - 答案必须逐字摘抄自 OCR 文本；
+              - 不得缩写、改写或断章取义。
+              问答型补充规则：
+              - 可以合理组合 OCR 中的多个片段；
+              - 可进行单位补全和数值归纳；
+              - 不得引入非文本来源内容。
+  '
+          
       few_shot_demo_text_content:
-
       few_shot_demo_key_value_list:
-    
+
     Ensemble:
       module_name: prompt_engneering
-
       task_type: ensemble_prompt
 
       task_description: '你现在的任务是，对于一个问题，对比方法A和方法B的结果，选择更准确的一个回答。
         问题用```符号包围。'
-
       output_format: '请返回JSON格式的结果，包含多个key-value对，key值为我指定的问题，
         value值为`方法A`或`方法B`。如果对于问题key，没有找到答案，将value赋值为"未知"。
         请只输出json格式的结果，并做json格式校验后返回，不要包含其它多余文字！'
-
       rules_str: '对于涉及数字的问题，请返回与问题描述最相关且数字表述正确的答案。
         请特别注意数字中的标点使用是否合理。'
-
       few_shot_demo_text_content:
-
       few_shot_demo_key_value_list:
 
 SubPipelines:
@@ -126,7 +177,7 @@ SubPipelines:
         pipeline_name: OCR
         text_type: general
         use_doc_preprocessor: False
-        use_textline_orientation: False
+        use_textline_orientation: True
         SubModules:
           TextDetection:
             module_name: text_detection
@@ -134,10 +185,15 @@ SubPipelines:
             model_dir: null
             limit_side_len: 960
             limit_type: max
+            max_side_limit: 4000
             thresh: 0.3
             box_thresh: 0.6
-            unclip_ratio: 2.0
-            
+            unclip_ratio: 1.5
+          TextLineOrientation:
+            module_name: textline_orientation
+            model_name: PP-LCNet_x1_0_textline_ori 
+            model_dir: null
+            batch_size: 6   
           TextRecognition:
             module_name: text_recognition
             model_name: PP-OCRv4_server_rec_doc
@@ -173,6 +229,7 @@ SubPipelines:
                 model_dir: null
                 limit_side_len: 736
                 limit_type: min
+                max_side_limit: 4000
                 thresh: 0.2
                 box_thresh: 0.6
                 unclip_ratio: 0.5

paddlex/configs/pipelines/PP-StructureV3.yaml

@@ -1,66 +1,44 @@
 
 pipeline_name: PP-StructureV3
 
+batch_size: 8
+
 use_doc_preprocessor: True
-use_general_ocr: True
 use_seal_recognition: True
 use_table_recognition: True
 use_formula_recognition: True
+use_chart_recognition: True
+use_region_detection: True
 
 SubModules:
   LayoutDetection:
     module_name: layout_detection
-    model_name: PP-DocLayout-L
+    model_name: PP-DocLayout_plus-L
     model_dir: null
+    batch_size: 8
     threshold: 
       0: 0.3  # paragraph_title
       1: 0.5  # image
-      2: 0.5  # text
+      2: 0.4  # text
       3: 0.5  # number
       4: 0.5  # abstract
       5: 0.5  # content
-      6: 0.5  # figure_title
+      6: 0.5  # figure_table_chart_title
       7: 0.3  # formula
       8: 0.5  # table
-      9: 0.5  # table_title
-      10: 0.5 # reference
-      11: 0.5 # doc_title
-      12: 0.5 # footnote
-      13: 0.5 # header
-      14: 0.5 # algorithm
-      15: 0.5 # footer
-      16: 0.3 # seal
-      17: 0.5 # chart_title
-      18: 0.5 # chart
-      19: 0.5 # formula_number
-      20: 0.5 # header_image
-      21: 0.5 # footer_image
-      22: 0.5 # aside_text
+      9: 0.5  # reference
+      10: 0.5 # doc_title
+      11: 0.5 # footnote
+      12: 0.5 # header
+      13: 0.5 # algorithm
+      14: 0.5 # footer
+      15: 0.45 # seal
+      16: 0.5 # chart
+      17: 0.5 # formula_number
+      18: 0.5 # aside_text
+      19: 0.5 # reference_content
     layout_nms: True
-    layout_unclip_ratio:
-      0: [1.0, 1.0]  # paragraph_title
-      1: [1.0, 1.0]  # image
-      2: [1.0, 1.0]  # text
-      3: [1.0, 1.0]  # number
-      4: [1.0, 1.0]  # abstract
-      5: [1.0, 1.0]  # content
-      6: [1.0, 1.0]  # figure_title
-      7: [1.0, 1.0]  # formula
-      8: [1.0, 1.0]  # table
-      9: [1.0, 1.0]  # table_title
-      10: [1.0, 1.0] # reference
-      11: [1.0, 1.0] # doc_title
-      12: [1.0, 1.0] # footnote
-      13: [1.0, 1.0] # header
-      14: [1.0, 1.0] # algorithm
-      15: [1.0, 1.0] # footer
-      16: [1.0, 1.0] # seal
-      17: [1.0, 1.0] # chart_title
-      18: [1.0, 1.0] # chart
-      19: [1.0, 1.0] # formula_number
-      20: [1.0, 1.0] # header_image
-      21: [1.0, 1.0] # footer_image
-      22: [1.0, 1.0] # aside_text
+    layout_unclip_ratio: [1.0, 1.0] 
     layout_merge_bboxes_mode: 
       0: "large"  # paragraph_title
       1: "large"  # image
@@ -68,27 +46,36 @@ SubModules:
       3: "union"  # number
       4: "union"  # abstract
       5: "union"  # content
-      6: "union"  # figure_title
+      6: "union"  # figure_table_chart_title
       7: "large"  # formula
       8: "union"  # table
-      9: "union"  # table_title
-      10: "union" # reference
-      11: "union" # doc_title
-      12: "union" # footnote
-      13: "union" # header
-      14: "union" # algorithm
-      15: "union" # footer
-      16: "union" # seal
-      17: "union" # chart_title
-      18: "large" # chart
-      19: "union" # formula_number
-      20: "union" # header_image
-      21: "union" # footer_image
-      22: "union" # aside_text
+      9: "union"  # reference
+      10: "union" # doc_title
+      11: "union" # footnote
+      12: "union" # header
+      13: "union" # algorithm
+      14: "union" # footer
+      15: "union" # seal
+      16: "large" # chart
+      17: "union" # formula_number
+      18: "union" # aside_text
+      19: "union" # reference_content
+  ChartRecognition:
+    module_name: chart_recognition
+    model_name: PP-Chart2Table
+    model_dir: null
+    batch_size: 1 
+  RegionDetection:
+    module_name: layout_detection
+    model_name: PP-DocBlockLayout
+    model_dir: null
+    layout_nms: True
+    layout_merge_bboxes_mode: "small"
 
 SubPipelines:
   DocPreprocessor:
     pipeline_name: doc_preprocessor
+    batch_size: 8
     use_doc_orientation_classify: True
     use_doc_unwarping: True
     SubModules:
@@ -96,6 +83,7 @@ SubPipelines:
         module_name: doc_text_orientation
         model_name: PP-LCNet_x1_0_doc_ori
         model_dir: null
+        batch_size: 8
       DocUnwarping:
         module_name: image_unwarping
         model_name: UVDoc
@@ -103,29 +91,31 @@ SubPipelines:
 
   GeneralOCR:
     pipeline_name: OCR
+    batch_size: 8
     text_type: general
     use_doc_preprocessor: False
     use_textline_orientation: True
     SubModules:
       TextDetection:
         module_name: text_detection
-        model_name: PP-OCRv4_server_det
+        model_name: PP-OCRv5_server_det
         model_dir: null
         limit_side_len: 736
         limit_type: min
+        max_side_limit: 4000
         thresh: 0.3
         box_thresh: 0.6
         unclip_ratio: 1.5
       TextLineOrientation:
         module_name: textline_orientation
-        model_name: PP-LCNet_x0_25_textline_ori
+        model_name: PP-LCNet_x1_0_textline_ori
         model_dir: null
-        batch_size: 1 
+        batch_size: 8
       TextRecognition:
         module_name: text_recognition
-        model_name: PP-OCRv4_server_rec_doc
+        model_name: PP-OCRv5_server_rec
         model_dir: null
-        batch_size: 6
+        batch_size: 8
         score_thresh: 0.0
  
 
@@ -159,6 +149,11 @@ SubPipelines:
         module_name: table_cells_detection
         model_name: RT-DETR-L_wireless_table_cell_det
         model_dir: null
+
+      TableOrientationClassify:
+        module_name: doc_text_orientation
+        model_name: PP-LCNet_x1_0_doc_ori
+        model_dir: null
     SubPipelines:
       GeneralOCR:
         pipeline_name: OCR
@@ -168,32 +163,35 @@ SubPipelines:
         SubModules:
           TextDetection:
             module_name: text_detection
-            model_name: PP-OCRv4_server_det
+            model_name: PP-OCRv5_server_det
             model_dir: null
             limit_side_len: 736
             limit_type: min
+            max_side_limit: 4000
             thresh: 0.3
             box_thresh: 0.4
-            unclip_ratio: 2.0
+            unclip_ratio: 1.5
           TextLineOrientation:
             module_name: textline_orientation
-            model_name: PP-LCNet_x0_25_textline_ori
+            model_name: PP-LCNet_x1_0_textline_ori
             model_dir: null
-            batch_size: 1 
+            batch_size: 8
           TextRecognition:
             module_name: text_recognition
-            model_name: PP-OCRv4_server_rec_doc
+            model_name: PP-OCRv5_server_rec
             model_dir: null
-            batch_size: 6
+            batch_size: 8
         score_thresh: 0.0
 
   SealRecognition:
     pipeline_name: seal_recognition
+    batch_size: 8
     use_layout_detection: False
     use_doc_preprocessor: False
     SubPipelines:
       SealOCR:
         pipeline_name: OCR
+        batch_size: 8
         text_type: seal
         use_doc_preprocessor: False
         use_textline_orientation: False
@@ -204,23 +202,25 @@ SubPipelines:
             model_dir: null
             limit_side_len: 736
             limit_type: min
+            max_side_limit: 4000
             thresh: 0.2
             box_thresh: 0.6
             unclip_ratio: 0.5
           TextRecognition:
             module_name: text_recognition
-            model_name: PP-OCRv4_server_rec
+            model_name: PP-OCRv5_server_rec
             model_dir: null
-            batch_size: 1
+            batch_size: 8
             score_thresh: 0
     
   FormulaRecognition:
     pipeline_name: formula_recognition
+    batch_size: 8
     use_layout_detection: False
     use_doc_preprocessor: False
     SubModules:
       FormulaRecognition:
         module_name: formula_recognition
-        model_name: PP-FormulaNet-L
+        model_name: PP-FormulaNet_plus-L
         model_dir: null
-        batch_size: 5
+        batch_size: 8

paddlex/configs/pipelines/anomaly_detection.yaml

@@ -5,4 +5,4 @@ SubModules:
     module_name: anomaly_detection
     model_name: STFPM
     model_dir: null
-    batch_size: 1   
+    batch_size: 1   

paddlex/configs/pipelines/doc_understanding.yaml

@@ -0,0 +1,9 @@
+
+pipeline_name: doc_understanding
+
+SubModules:
+  DocUnderstanding:
+    module_name: doc_vlm
+    model_name: PP-DocBee2-3B
+    model_dir: null
+    batch_size: 1

paddlex/configs/pipelines/formula_recognition.yaml

@@ -7,7 +7,7 @@ use_doc_preprocessor: True
 SubModules:
   LayoutDetection:
     module_name: layout_detection
-    model_name: PP-DocLayout-L
+    model_name: PP-DocLayout_plus-L
     model_dir: null
     threshold: 0.5
     layout_nms: True
@@ -17,7 +17,7 @@ SubModules:
 
   FormulaRecognition:
     module_name: formula_recognition
-    model_name: PP-FormulaNet-L
+    model_name: PP-FormulaNet_plus-M
     model_dir: null
     batch_size: 5
 

paddlex/configs/pipelines/layout_parsing.yaml

@@ -2,7 +2,6 @@
 pipeline_name: layout_parsing
 
 use_doc_preprocessor: True
-use_general_ocr: True
 use_seal_recognition: True
 use_table_recognition: True
 use_formula_recognition: False
@@ -40,9 +39,10 @@ SubPipelines:
         model_dir: null
         limit_side_len: 960
         limit_type: max
+        max_side_limit: 4000
         thresh: 0.3
         box_thresh: 0.6
-        unclip_ratio: 2.0
+        unclip_ratio: 1.5
         
       TextRecognition:
         module_name: text_recognition
@@ -79,6 +79,7 @@ SubPipelines:
             model_dir: null
             limit_side_len: 736
             limit_type: min
+            max_side_limit: 4000
             thresh: 0.2
             box_thresh: 0.6
             unclip_ratio: 0.5

paddlex/configs/pipelines/seal_recognition.yaml

@@ -40,6 +40,7 @@ SubPipelines:
         model_dir: null
         limit_side_len: 736
         limit_type: min
+        max_side_len: 4000
         thresh: 0.2
         box_thresh: 0.6
         unclip_ratio: 0.5

paddlex/configs/pipelines/table_recognition.yaml

@@ -44,9 +44,10 @@ SubPipelines:
         model_dir: null
         limit_side_len: 960
         limit_type: max
+        max_side_limit: 4000
         thresh: 0.3
         box_thresh: 0.6
-        unclip_ratio: 2.0
+        unclip_ratio: 1.5
         
       TextRecognition:
         module_name: text_recognition

paddlex/configs/pipelines/table_recognition_v2.yaml

@@ -11,6 +11,11 @@ SubModules:
     model_name: PP-DocLayout-L
     model_dir: null
   
+  TableOrientationClassify:
+    module_name: doc_text_orientation
+    model_name: PP-LCNet_x1_0_doc_ori
+    model_dir: null
+  
   TableClassification:
     module_name: table_classification
     model_name: PP-LCNet_x1_0_table_cls
@@ -64,9 +69,10 @@ SubPipelines:
         model_dir: null
         limit_side_len: 960
         limit_type: max
+        max_side_limit: 4000
         thresh: 0.3
         box_thresh: 0.4
-        unclip_ratio: 2.0
+        unclip_ratio: 1.5
         
       TextRecognition:
         module_name: text_recognition

paddlex/configs/pipelines/ts_anomaly_detection.yaml

@@ -5,4 +5,4 @@ SubModules:
     module_name: ts_anomaly_detection
     model_name: DLinear_ad
     model_dir: null
-    batch_size: 1   
+    batch_size: 1   

paddlex/configs/pipelines/ts_classification.yaml

@@ -5,4 +5,4 @@ SubModules:
     module_name: ts_classification
     model_name: TimesNet_cls
     model_dir: null
-    batch_size: 1   
+    batch_size: 1   

paddlex/configs/pipelines/ts_forecast.yaml

@@ -5,4 +5,4 @@ SubModules:
     module_name: ts_forecast
     model_name: DLinear
     model_dir: null
-    batch_size: 1   
+    batch_size: 1   

paddlex/constants.py

@@ -0,0 +1,17 @@
+# Copyright (c) 2024 PaddlePaddle Authors. All Rights Reserved.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#    http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+from typing import Final
+
+MODEL_FILE_PREFIX: Final[str] = "inference"

paddlex/engine.py

@@ -1,4 +1,4 @@
-# copyright (c) 2024 PaddlePaddle Authors. All Rights Reserve.
+# Copyright (c) 2024 PaddlePaddle Authors. All Rights Reserved.
 #
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
@@ -12,13 +12,13 @@
 # See the License for the specific language governing permissions and
 # limitations under the License.
 
-import os
 
+from .model import _ModelBasedConfig
+from .utils.config import get_config, parse_args
+from .utils.errors import raise_unsupported_api_error
+from .utils.flags import INFER_BENCHMARK
 from .utils.lazy_loader import disable_pir_bydefault
 from .utils.result_saver import try_except_decorator
-from .utils.config import parse_args, get_config
-from .utils.errors import raise_unsupported_api_error
-from .model import _ModelBasedConfig
 
 
 class Engine(object):
@@ -47,6 +47,8 @@ class Engine(object):
             return self._model.export()
         elif self._mode == "predict":
             for res in self._model.predict():
+                if INFER_BENCHMARK:
+                    continue
                 res.print()
                 if self._output:
                     res.save_all(save_path=self._output)