nltkor 1.2.16__tar.gz → 1.2.17__tar.gz

{nltkor-1.2.16 → nltkor-1.2.17}/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.4
+Metadata-Version: 2.1
 Name: nltkor
-Version: 1.2.16
+Version: 1.2.17
 Home-page: https://modi.changwon.ac.kr/air_cwnu/nlp_tool/nltk_ko.git
 Keywords: string matching,pattern matching,edit distance,string to string correction,string to string matching,Levenshtein edit distance,Hamming distance,Damerau-Levenshtein distance,Jaro-Winkler distance,longest common subsequence,longest common substring,dynamic programming,approximate string matching,semantic similarity,natural language processing,NLP,information retrieval,rouge,sacrebleu,bertscore,bartscore,fasttext,glove,cosine similarity,Smith-Waterman,Needleman-Wunsch,Hirschberg,Karp-Rabin,Knuth-Morris-Pratt,Boyer-Moore
 Classifier: Programming Language :: Python :: 3.7
@@ -34,9 +34,3 @@ Requires-Dist: bert_score
 Requires-Dist: chardet
 Requires-Dist: GPUtil
 Requires-Dist: fasttext
-Dynamic: classifier
-Dynamic: home-page
-Dynamic: keywords
-Dynamic: license-file
-Dynamic: requires-dist
-Dynamic: requires-python

{nltkor-1.2.16 → nltkor-1.2.17}/README.md

@@ -51,7 +51,7 @@
   - [5.11 ROUGE](#511-rouge)
   - [5.12 CIDER](#512-cider)
   - [5.13 METEOR](#513-meteor)
-  - [5.14 EntMent](#514-entment)
+  - [5.14 EMR(Entity Mention Recall)](#514-emrentity-mention-recall)
 - [6 확장 평가 함수](#6-확장-평가-함수)
   - [6.1 MAUVE](#61-mauve)
   - [6.2 BERT Score](#62-bert-score)
@@ -915,10 +915,11 @@ TF-IDF를 n-gram에 대한 가중치로 계산하고 참조 캡션과 생성 캡
 
 요약된 텍스트가 참조 문서에 등장하는 중요 개체를 얼마나 잘 유지하고 있는지에 대한 평가 지표이다.
 
+EMR().entity(원본 텍스트,요약된 텍스트)
 ```python
 >>> # -*- coding: utf-8 -*-
 >>> from nltkor.metrics import EntMent
->>> EntMent().entity("국립창원대학교(총장 박민원)가 사천우주항공캠퍼스 개교와 함께 2025학년도 사천우주항공공학부 입학식을 7일 오전 11시 사천우주항공캠퍼스에서 열었다.이날 행사에는 박민원 총장을 비롯해 국민의힘 서천호 국회의원(사천·남해·하동), 윤영빈 우주항공청장, 박동식 사천시장, 김규헌 사천시의회 의장, 지역 유관기관 관계자들과 신입생 및 가족들이 참석했다. 글로컬대학30사업 선정에 따라 국립창원대와 통합을 추진 중인 경남도립거창대학, 경남도립남해대학 관계자도 함께 자리했다.행사는 1부 현판 제막식과 2부 입학식으로 진행됐으며, 박동식 사천시장은 신입생들에게 축하 선물로 금배지를 전달했고, 박민원 총장은 캠퍼스 설립에 기여한 유공자들에게 표창장을 수여했다.","국립창원대학교는 4월 7일 사천우주항공캠퍼스에서 2025학년도 사천우주항공공학부 입학식을 개최했다. 이날 행사에는 박민원 총장, 서천호 국회의원, 윤영빈 우주항공청장, 박동식 사천시장 등 주요 인사와 신입생 및 가족들이 참석했으며, 글로컬대학30사업과 관련된 거창대학·남해대학 관계자들도 함께했다. 행사는 현판 제막식과 입학식으로 나뉘어 진행되었고, 신입생들에게는 금배지가, 캠퍼스 설립 유공자들에게는 표창장이 수여되었다.")
+>>> EMR().entity("국립창원대학교(총장 박민원)가 사천우주항공캠퍼스 개교와 함께 2025학년도 사천우주항공공학부 입학식을 7일 오전 11시 사천우주항공캠퍼스에서 열었다.이날 행사에는 박민원 총장을 비롯해 국민의힘 서천호 국회의원(사천·남해·하동), 윤영빈 우주항공청장, 박동식 사천시장, 김규헌 사천시의회 의장, 지역 유관기관 관계자들과 신입생 및 가족들이 참석했다. 글로컬대학30사업 선정에 따라 국립창원대와 통합을 추진 중인 경남도립거창대학, 경남도립남해대학 관계자도 함께 자리했다.행사는 1부 현판 제막식과 2부 입학식으로 진행됐으며, 박동식 사천시장은 신입생들에게 축하 선물로 금배지를 전달했고, 박민원 총장은 캠퍼스 설립에 기여한 유공자들에게 표창장을 수여했다.","국립창원대학교는 4월 7일 사천우주항공캠퍼스에서 2025학년도 사천우주항공공학부 입학식을 개최했다. 이날 행사에는 박민원 총장, 서천호 국회의원, 윤영빈 우주항공청장, 박동식 사천시장 등 주요 인사와 신입생 및 가족들이 참석했으며, 글로컬대학30사업과 관련된 거창대학·남해대학 관계자들도 함께했다. 행사는 현판 제막식과 입학식으로 나뉘어 진행되었고, 신입생들에게는 금배지가, 캠퍼스 설립 유공자들에게는 표창장이 수여되었다.")
 Downloading Espresso5 model...
 0.8888888888888888
 ```

{nltkor-1.2.16 → nltkor-1.2.17}/nltkor/__init__.py

@@ -13,4 +13,4 @@ from nltkor import trans
 from nltkor import Kor_char
 from nltkor import etc
 
-__version__ = '1.2.16'
+__version__ = '1.2.17'

{nltkor-1.2.16 → nltkor-1.2.17}/nltkor/search/faiss_search.py

@@ -78,10 +78,10 @@ class FaissSearch:
             return FaissSearch_SenEmbed(model_name_or_path=model_name_or_path, embedding_type=embedding_type)
         elif mode == 'word':
             return FaissSearch_WordEmbed(model_name_or_path=model_name_or_path, embedding_type=embedding_type)
-        elif mode == 'splade':
-            return FaissSearch_Splade(model_name_or_path=model_name_or_path, embedding_type=embedding_type)
+        elif mode == 'sparse':
+            return FaissSearch_Sparse(model_name_or_path=model_name_or_path, embedding_type=embedding_type)
         else:
-            raise ValueError("choice 'sentence' or 'word' or 'splade'")
+            raise ValueError("choice 'sentence' or 'word' or 'sparse'")
 
 
 
@@ -233,7 +233,7 @@ class FaissSearch_SenEmbed:
 
         # Get the embeddings
         with torch.no_grad():
-            embeddings = self.model(**encoded_text)
+            embeddings = self.model(encoded_text['input_ids'])
 
         # Get the proper embedding type
         if embedding_type == 'last_hidden_state':
@@ -426,7 +426,7 @@ class FaissSearch_SenEmbed:
 
         # Return the dataset
         return self.dataset
-
+    
 
     # Search for the most similar elements in the dataset, given a query
     def search(self,
@@ -465,6 +465,7 @@ class FaissSearch_SenEmbed:
         # Add the scores
         results_df['score'] = scores
 
+
         # Sort the results by score
         results_df.sort_values("score", ascending=True, inplace=True)
 
@@ -473,8 +474,7 @@ class FaissSearch_SenEmbed:
 
 
 
-# FAISS Splade + ICT library wrapper class
-class FaissSearch_Splade(FaissSearch_SenEmbed):
+class FaissSearch_Sparse(FaissSearch_SenEmbed):
     def __init__(self,
         model_name_or_path: str = 'klue/bert-base',
         tokenizer_name_or_path: str = 'klue/bert-base',
@@ -580,14 +580,14 @@ class FaissSearch_Splade(FaissSearch_SenEmbed):
 
         # Get the embeddings
         with torch.no_grad():
-            embeddings = self.model(**encoded_text)
+            embeddings = self.model(encoded_text['input_ids'])
         
         # Get the last hidden state
         embeddings = embeddings['logits']
         
         embeddings = torch.sum(torch.log(1+torch.relu(embeddings)) * encoded_text['attention_mask'].unsqueeze(-1), dim=1)
         e_norm = torch.nn.functional.normalize(embeddings, p=2, dim=1, eps=1e-8)
-
+        
         # Return the embeddings
         return e_norm
 

{nltkor-1.2.16 → nltkor-1.2.17}/nltkor.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.4
+Metadata-Version: 2.1
 Name: nltkor
-Version: 1.2.16
+Version: 1.2.17
 Home-page: https://modi.changwon.ac.kr/air_cwnu/nlp_tool/nltk_ko.git
 Keywords: string matching,pattern matching,edit distance,string to string correction,string to string matching,Levenshtein edit distance,Hamming distance,Damerau-Levenshtein distance,Jaro-Winkler distance,longest common subsequence,longest common substring,dynamic programming,approximate string matching,semantic similarity,natural language processing,NLP,information retrieval,rouge,sacrebleu,bertscore,bartscore,fasttext,glove,cosine similarity,Smith-Waterman,Needleman-Wunsch,Hirschberg,Karp-Rabin,Knuth-Morris-Pratt,Boyer-Moore
 Classifier: Programming Language :: Python :: 3.7
@@ -34,9 +34,3 @@ Requires-Dist: bert_score
 Requires-Dist: chardet
 Requires-Dist: GPUtil
 Requires-Dist: fasttext
-Dynamic: classifier
-Dynamic: home-page
-Dynamic: keywords
-Dynamic: license-file
-Dynamic: requires-dist
-Dynamic: requires-python

{nltkor-1.2.16 → nltkor-1.2.17}/setup.py

@@ -66,7 +66,7 @@ module1 = cythonize([
 
 setup(
   name='nltkor',
-  version='1.2.16',
+  version='1.2.17',
 	url='https://modi.changwon.ac.kr/air_cwnu/nlp_tool/nltk_ko.git',
   packages=find_packages(exclude=[]),
   python_requires='>=3.7',