gs-tokenizer 0.1.0

package/README.ko.md

@@ -0,0 +1,262 @@
+# gs-tokenizer
+
+영어, 중국어, 일본어, 한국어 등 다국어를 지원하는 강력하고 가벼운 다국어 토크나이저 라이브러리입니다.
+
+## 문서
+
+- [English README](README.md)
+- [中文 README](README.cn.md)
+- [日本語 README](README.ja.md)
+- [한국어 README](README.ko.md)
+
+## 기능
+
+- **언어 지원**: 영어, 중국어, 일본어, 한국어
+- **지능형 토큰화**:
+  - 영어: 단어 경계 기반 토큰화
+  - CJK(중국어, 일본어, 한국어): 브라우저의 Intl.Segmenter를 사용한 자연스러운 단어 분할
+  - 날짜: 날짜 패턴에 대한 특별 처리
+- **사용자 정의 사전**: 우선순위와 이름이 있는 사용자 정의 단어 추가 지원
+- **자동 언어 감지**: 입력 텍스트의 언어를 자동으로 감지
+- **다양한 출력 형식**: 상세한 토큰 정보 또는 단어 목록만 가져오기
+- **가벼움**: 최소한의 종속성, 브라우저 환경에 최적화
+- **빠른 사용 API**: 쉽게 통합할 수 있는 편리한 정적 메서드
+
+## 설치
+
+```bash
+yarn add gs-tokenizer
+```
+
+### 대체 설치 방법
+
+```bash
+npm install gs-tokenizer
+```
+
+## 사용 방법
+
+### 기본 사용법
+
+```javascript
+import { MultilingualTokenizer, createTokenizer } from 'gs-tokenizer';
+
+// 토크나이저 인스턴스 생성
+const tokenizer = new MultilingualTokenizer();
+// 또는 팩토리 함수 사용
+// const tokenizer = createTokenizer();
+
+// 텍스트 토큰화
+const text = 'Hello world! 나는 북경 천안문을 좋아합니다.';
+const tokens = tokenizer.tokenize(text);
+console.log(tokens);
+
+// 단어 토큰만 가져오기
+const words = tokenizer.tokenizeToText(text);
+console.log(words);
+```
+
+### 빠른 사용 (권장)
+
+quick 모듈은 쉽게 통합할 수 있는 편리한 정적 메서드를 제공합니다:
+
+```javascript
+import { tokenize, tokenizeToText, addCustomDictionary } from 'gs-tokenizer';
+
+// 인스턴스 생성 없이 직접 토큰화
+const text = 'Hello world! 나는 북경 천안문을 좋아합니다.';
+const tokens = tokenize(text);
+const words = tokenizeToText(text);
+console.log(words);
+
+// 사용자 정의 사전 추가
+addCustomDictionary(['인공지능', '기술'], 'zh', 10, 'tech');
+```
+
+### 고급 사용법
+
+#### 빠른 모듈로 사용자 정의 사전 로드
+
+```javascript
+import { tokenize, addCustomDictionary } from 'gs-tokenizer';
+
+// 다른 언어에 대한 여러 사용자 정의 사전 로드
+addCustomDictionary(['인공지능', '머신러닝'], 'zh', 10, 'tech');
+addCustomDictionary(['Web3', 'Blockchain'], 'en', 10, 'crypto');
+addCustomDictionary(['인공지능'], 'ko', 10, 'tech-ko');
+
+// 사용자 정의 사전을 적용하여 토큰화
+const text = '인공지능과 Web3는 미래의 중요한 기술입니다. 인공지능도 중요합니다.';
+const tokens = tokenize(text);
+console.log(tokens.filter(token => token.src === 'tech'));
+```
+
+#### 기본 사전 사용 안함
+
+```javascript
+import { MultilingualTokenizer } from 'gs-tokenizer';
+
+// 기본 사전을 사용하지 않는 토크나이저 생성
+const tokenizer = new MultilingualTokenizer({
+  customDictionaries: {
+    'ko': [{ priority: 10, data: new Set(['사용자정의단어']), name: 'custom', lang: 'ko' }]
+  }
+});
+
+// 사용자 정의 사전만 사용하여 토큰화
+const text = '이것은 사용자정의단어의 예입니다.';
+const tokens = tokenizer.tokenize(text, 'ko');
+console.log(tokens);
+```
+
+### 사용자 정의 사전
+
+```javascript
+const tokenizer = new MultilingualTokenizer();
+
+// 언어, 우선순위, 이름을 지정하여 사용자 정의 단어 추가
+okenizer.addCustomDictionary(['인공지능', '기술'], 'zh', 10, 'tech');
+okenizer.addCustomDictionary(['Python', 'JavaScript'], 'en', 5, 'programming');
+
+const text = '나는 인공지능 기술과 Python 프로그래밍을 좋아합니다';
+const tokens = tokenizer.tokenize(text);
+const words = tokenizer.tokenizeToText(text);
+console.log(words); // '인공지능', 'Python'이 포함되어야 함
+
+// 사용자 정의 단어 삭제
+okenizer.removeCustomWord('Python', 'en', 'programming');
+```
+
+### 고급 옵션
+
+```javascript
+const tokenizer = createTokenizer({
+  defaultLanguage: 'ko',
+  customDictionaries: {
+    'ko': [{
+      priority: 10,
+      data: new Set(['사용자정의단어']),
+      name: 'custom',
+      lang: 'ko'
+    }]
+  }
+});
+
+// 지정된 언어로 토큰화
+const text = '나는 북경 천안문을 좋아합니다';
+const tokens = tokenizer.tokenize(text, 'zh');
+```
+
+## API 참조
+
+### `MultilingualTokenizer`
+
+다국어 텍스트 처리를 담당하는 주요 토크나이저 클래스입니다.
+
+#### 생성자
+
+```typescript
+import { MultilingualTokenizer, TokenizerOptions } from 'gs-tokenizer';
+
+new MultilingualTokenizer(options?: TokenizerOptions)
+```
+
+**옵션**:
+- `customDictionaries`: Record<string, LexiconEntry[]> - 각 언어에 대한 사용자 정의 사전
+- `defaultLanguage`: string - 기본 언어 코드 (기본값: 'en')
+
+#### 메서드
+
+| 메서드 | 설명 |
+|------|------|
+| `tokenize(text: string, language?: string): Token[]` | 입력 텍스트를 토큰화하고 상세한 토큰 정보를 반환합니다 |
+| `tokenizeToText(text: string, language?: string): string[]` | 입력 텍스트를 토큰화하고 단어 목록만 반환합니다 |
+| `addCustomDictionary(words: string[], language: string, priority: number, name: string): void` | 토크나이저에 사용자 정의 단어를 추가합니다 |
+| `removeCustomWord(word: string, language?: string, lexiconName?: string): void` | 토크나이저에서 사용자 정의 단어를 제거합니다 |
+
+### `createTokenizer(options?: TokenizerOptions): MultilingualTokenizer`
+
+선택적 구성으로 새로운 MultilingualTokenizer 인스턴스를 생성하는 팩토리 함수입니다.
+
+### 빠른 사용 API
+
+quick 모듈은 편리한 정적 메서드를 제공합니다:
+
+```typescript
+import { Token } from 'gs-tokenizer';
+
+// 텍스트 토큰화
+function tokenize(text: string, language?: string): Token[];
+
+// 텍스트만 토큰화
+function tokenizeToText(text: string, language?: string): string[];
+
+// 사용자 정의 사전 추가
+function addCustomDictionary(words: string[], language: string, priority: number, name: string): void;
+
+// 사용자 정의 단어 제거
+function removeCustomWord(word: string, language?: string, lexiconName?: string): void;
+
+// 사전 로딩의 기본 언어 설정
+function setDefaultLanguages(languages: string[]): void;
+
+// 사전 로딩의 기본 타입 설정
+function setDefaultTypes(types: string[]): void;
+```
+
+### 타입
+
+#### `Token` 인터페이스
+
+```typescript
+interface Token {
+  txt: string;              // 토큰 텍스트 내용
+  type: 'word' | 'punctuation' | 'space' | 'other' | 'emoji' | 'date';
+  lang?: string;            // 언어 코드
+  src?: string;             // 소스 (예: 사용자 정의 사전 이름)
+}
+```
+
+#### `TokenizerOptions` 인터페이스
+
+```typescript
+import { LexiconEntry } from 'gs-tokenizer';
+
+interface TokenizerOptions {
+  customDictionaries?: Record<string, LexiconEntry[]>;
+  granularity?: 'word' | 'grapheme' | 'sentence';
+  defaultLanguage?: string;
+}
+```
+
+## 브라우저 호환성
+
+- Chrome/Edge: 87+
+- Firefox: 86+
+- Safari: 14.1+
+
+참고: CJK 언어에 `Intl.Segmenter`를 사용하므로 최신 브라우저 지원이 필요합니다.
+
+## 개발
+
+### 빌드
+
+```bash
+npm run build
+```
+
+### 테스트 실행
+
+```bash
+npm run test          # 모든 테스트 실행
+npm run test:base     # 기본 테스트 실행
+npm run test:english  # 영어 특정 테스트 실행
+npm run test:cjk      # CJK 특정 테스트 실행
+npm run test:mixed    # 혼합 언어 테스트 실행
+```
+
+## 라이선스
+
+MIT
+
+[GitHub Repository](https://github.com/grain-sand/gs-tokenizer)

package/README.md

@@ -0,0 +1,262 @@
+# gs-tokenizer
+
+A powerful and lightweight multilingual tokenizer library that provides natural language processing capabilities for multiple languages including English, Chinese, Japanese, and Korean.
+
+## Documentation
+
+- [English README](README.md)
+- [中文 README](README.cn.md)
+- [日本語 README](README.ja.md)
+- [한국어 README](README.ko.md)
+
+## Features
+
+- **Language Support**: English, Chinese, Japanese, Korean
+- **Intelligent Tokenization**:
+  - English: Word boundary-based tokenization
+  - CJK (Chinese, Japanese, Korean): Natural word segmentation using browser's Intl.Segmenter
+  - Date: Special handling for date patterns
+- **Custom Dictionary**: Support for adding custom words with priority and name
+- **Auto Language Detection**: Automatically detects the language of input text
+- **Multiple Output Formats**: Get detailed token information or just word lists
+- **Lightweight**: Minimal dependencies, designed for browser environments
+- **Quick Use API**: Convenient static methods for easy integration
+
+## Installation
+
+```bash
+yarn add gs-tokenizer
+```
+
+### Alternative Installation
+
+```bash
+npm install gs-tokenizer
+```
+
+## Usage
+
+### Basic Usage
+
+```javascript
+import { MultilingualTokenizer, createTokenizer } from 'gs-tokenizer';
+
+// Create tokenizer instance
+const tokenizer = new MultilingualTokenizer();
+// or using factory function
+// const tokenizer = createTokenizer();
+
+// Tokenize text
+const text = 'Hello world! 我爱北京天安门。';
+const tokens = tokenizer.tokenize(text);
+console.log(tokens);
+
+// Get only word tokens
+const words = tokenizer.tokenizeToText(text);
+console.log(words);
+```
+
+### Quick Use (Recommended)
+
+The quick module provides convenient static methods for easy integration:
+
+```javascript
+import { tokenize, tokenizeToText, addCustomDictionary } from 'gs-tokenizer';
+
+// Direct tokenization without creating an instance
+const text = 'Hello world! 我爱北京天安门。';
+const tokens = tokenize(text);
+const words = tokenizeToText(text);
+console.log(words);
+
+// Add custom dictionary
+addCustomDictionary(['人工智能', '技术'], 'zh', 10, 'tech');
+```
+
+### Advanced Usage
+
+#### Load Custom Dictionary with Quick Module
+
+```javascript
+import { tokenize, addCustomDictionary } from 'gs-multilingual-tokenizer';
+
+// Load multiple custom dictionaries for different languages
+addCustomDictionary(['人工智能', '机器学习'], 'zh', 10, 'tech');
+addCustomDictionary(['Web3', 'Blockchain'], 'en', 10, 'crypto');
+addCustomDictionary(['アーティフィシャル・インテリジェンス'], 'ja', 10, 'tech-ja');
+
+// Tokenize with custom dictionaries applied
+const text = '人工智能和Web3是未来的重要技术。アーティフィシャル・インテリジェンスも重要です。';
+const tokens = tokenize(text);
+console.log(tokens.filter(token => token.src === 'tech'));
+```
+
+#### Without Built-in Lexicon
+
+```javascript
+import { MultilingualTokenizer } from 'gs-tokenizer';
+
+// Create tokenizer without using built-in lexicon
+const tokenizer = new MultilingualTokenizer({
+  customDictionaries: {
+    'zh': [{ priority: 10, data: new Set(['自定义词']), name: 'custom', lang: 'zh' }]
+  }
+});
+
+// Tokenize using only custom dictionary
+const text = '这是一个自定义词的示例。';
+const tokens = tokenizer.tokenize(text, 'zh');
+console.log(tokens);
+```
+
+### Custom Dictionary
+
+```javascript
+const tokenizer = new MultilingualTokenizer();
+
+// Add custom words with language, priority, and name
+tokenizer.addCustomDictionary(['人工智能', '技术'], 'zh', 10, 'tech');
+tokenizer.addCustomDictionary(['Python', 'JavaScript'], 'en', 5, 'programming');
+
+const text = '我爱人工智能技术和Python编程';
+const tokens = tokenizer.tokenize(text);
+const words = tokenizer.tokenizeToText(text);
+console.log(words); // Should include '人工智能', 'Python'
+
+// Remove custom word
+tokenizer.removeCustomWord('Python', 'en', 'programming');
+```
+
+### Advanced Options
+
+```javascript
+const tokenizer = createTokenizer({
+  defaultLanguage: 'en',
+  customDictionaries: {
+    'zh': [{
+      priority: 10,
+      data: new Set(['自定义词']),
+      name: 'custom',
+      lang: 'zh'
+    }]
+  }
+});
+
+// Tokenize with specified language
+const text = '我爱北京天安门';
+const tokens = tokenizer.tokenize(text, 'zh');
+```
+
+## API Reference
+
+### `MultilingualTokenizer`
+
+Main tokenizer class that handles multilingual text processing.
+
+#### Constructor
+
+```typescript
+import { MultilingualTokenizer, TokenizerOptions } from 'gs-tokenizer';
+
+new MultilingualTokenizer(options?: TokenizerOptions)
+```
+
+**Options**:
+- `customDictionaries`: Record<string, LexiconEntry[]> - Custom dictionaries for each language
+- `defaultLanguage`: string - Default language code (default: 'en')
+
+#### Methods
+
+| Method | Description |
+|--------|-------------|
+| `tokenize(text: string, language?: string): Token[]` | Tokenizes the input text and returns detailed token information |
+| `tokenizeToText(text: string, language?: string): string[]` | Tokenizes the input text and returns only word tokens |
+| `addCustomDictionary(words: string[], language: string, priority: number, name: string): void` | Adds custom words to the tokenizer |
+| `removeCustomWord(word: string, language?: string, lexiconName?: string): void` | Removes a custom word from the tokenizer |
+
+### `createTokenizer(options?: TokenizerOptions): MultilingualTokenizer`
+
+Factory function to create a new MultilingualTokenizer instance with optional configuration.
+
+### Quick Use API
+
+The quick module provides convenient static methods:
+
+```typescript
+import { Token } from 'gs-tokenizer';
+
+// Tokenize text
+function tokenize(text: string, language?: string): Token[];
+
+// Tokenize to text only
+function tokenizeToText(text: string, language?: string): string[];
+
+// Add custom dictionary
+function addCustomDictionary(words: string[], language: string, priority: number, name: string): void;
+
+// Remove custom word
+function removeCustomWord(word: string, language?: string, lexiconName?: string): void;
+
+// Set default languages for lexicon loading
+function setDefaultLanguages(languages: string[]): void;
+
+// Set default types for lexicon loading
+function setDefaultTypes(types: string[]): void;
+```
+
+### Types
+
+#### `Token` Interface
+
+```typescript
+interface Token {
+  txt: string;              // Token text content
+  type: 'word' | 'punctuation' | 'space' | 'other' | 'emoji' | 'date';
+  lang?: string;            // Language code
+  src?: string;             // Source (e.g., custom dictionary name)
+}
+```
+
+#### `TokenizerOptions` Interface
+
+```typescript
+import { LexiconEntry } from 'gs-tokenizer';
+
+interface TokenizerOptions {
+  customDictionaries?: Record<string, LexiconEntry[]>;
+  granularity?: 'word' | 'grapheme' | 'sentence';
+  defaultLanguage?: string;
+}
+```
+
+## Browser Compatibility
+
+- Chrome/Edge: 87+
+- Firefox: 86+
+- Safari: 14.1+
+
+Note: Uses `Intl.Segmenter` for CJK languages, which requires modern browser support.
+
+## Development
+
+### Build
+
+```bash
+npm run build
+```
+
+### Run Tests
+
+```bash
+npm run test          # Run all tests
+npm run test:base     # Run base tests
+npm run test:english  # Run English-specific tests
+npm run test:cjk      # Run CJK-specific tests
+npm run test:mixed    # Run mixed language tests
+```
+
+## License
+
+MIT
+
+[GitHub Repository](https://github.com/grain-sand/gs-tokenizer)

package/lib/core.cjs

@@ -0,0 +1 @@
+"use strict";class t{customDictionaries;constructor(t={}){this.customDictionaries=t}detectLanguage(t){return/[a-zA-Z]/.test(t)&&!/[一-鿿]/.test(t)?"en":""}tokenize(t,e){const s=[],n=t.split(/\b/);for(const t of n)t&&(t.match(/^\s+$/)?s.push({txt:t,type:"space",lang:e,src:""}):/^\p{Emoji}+$/u.test(t)&&!/[0-9]/.test(t)?s.push({txt:t,type:"emoji",lang:e,src:""}):t.match(/^[^a-zA-Z0-9]+$/)?s.push({txt:t,type:"punctuation",lang:e,src:""}):t.match(/^[a-zA-Z0-9]+$/)?s.push({txt:t,type:"word",lang:e,src:""}):s.push({txt:t,type:"other",lang:e,src:""}));return this.tagNameTokens(s,e)}tagNameTokens(t,e){const s=[];let n=0;for(;n<t.length;){if(n<t.length&&"word"===t[n].type){const i=t[n].txt;if(this.customDictionaries[e]){let t=!1;for(const r of this.customDictionaries[e].sort((t,e)=>e.priority-t.priority))if(r.data.has(i)){s.push({txt:i,type:"word",lang:e,src:r.name}),n++,t=!0;break}if(t)continue}}s.push({txt:t[n].txt,type:t[n].type,lang:e,src:t[n].src||""}),n++}return s}}class e{segmenters;customDictionaries;constructor(t={}){this.segmenters=new Map,this.customDictionaries=t}detectLanguage(t){return/[\u4e00-\u9fff]/.test(t)?"zh":/[\u3040-\u309f\u30a0-\u30ff]/.test(t)?"ja":/[\uac00-\ud7af]/.test(t)?"ko":""}tokenize(t,e){const s=[],n=this.getSegmenter(e);for(const i of n.segment(t)){const{segment:t,isWordLike:n}=i;t.match(/^\s+$/)?s.push({txt:t,type:"space",lang:e,src:""}):/^\p{Emoji}+$/u.test(t)&&!/[0-9]/.test(t)?s.push({txt:t,type:"emoji",lang:e,src:""}):t.match(/^[^\p{L}\p{N}]+$/u)?s.push({txt:t,type:"punctuation",lang:e,src:""}):n?s.push({txt:t,type:"word",lang:e,src:""}):s.push({txt:t,type:"other",lang:e,src:""})}return this.applyCustomDictionary(s,e)}getSegmenter(t,e="word"){const s=`${t}-${e}`;return this.segmenters.has(s)||this.segmenters.set(s,new Intl.Segmenter(t,{granularity:e})),this.segmenters.get(s)}applyCustomDictionary(t,e){const s=this.customDictionaries[e]||[];let n=t;if(s.length>0){const t=[];let i=0;for(;i<n.length;){let r=!1;for(let o=Math.min(5,n.length-i);o>=1;o--){if(o>1&&n.slice(i,i+o).some(t=>"word"!==t.type))continue;const a=n.slice(i,i+o).map(t=>t.txt).join("");for(const n of s.sort((t,e)=>e.priority-t.priority))if(n.data.has(a)){t.push({txt:a,type:"word",lang:e,src:""}),i+=o,r=!0;break}if(r)break}r||(t.push({...n[i],src:""}),i++)}n=t}return n}}class s{comprehensiveDatePattern=/\d{8}|\d{4}[-/.]\d{2}[-/.]\d{2}|\d{1,2}[-/.]\d{1,2}[-/.]\d{2,4}|(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|June?|July?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\s+\d{1,2}(?:,\s+\d{4})?|\d{4}年\d{1,2}月(?:\d{1,2}日)?|\d{1,2}月\d{1,2}日(?:\d{4}年)?/gi;detectLanguage(t){return""}tokenize(t,e="zh"){const s=[];let n=0;const i=[];for(const e of t.matchAll(this.comprehensiveDatePattern))void 0!==e.index&&e[0]&&i.push({text:e[0],index:e.index});i.sort((t,e)=>t.index-e.index);const r=[];let o=null;for(const e of i){const s=e.index+e.text.length;o?e.index<=o.end?o={text:t.slice(o.index,Math.max(o.end,s)),index:o.index,end:Math.max(o.end,s)}:(r.push({text:o.text,index:o.index}),o={...e,end:s}):o={...e,end:s}}o&&r.push({text:o.text,index:o.index});for(const i of r){if(i.index>n){const r=t.slice(n,i.index);s.push({txt:r,type:"other",lang:e,src:""})}this.isValidDate(i.text)?s.push({txt:i.text,type:"date",lang:e,src:""}):s.push({txt:i.text,type:"other",lang:e,src:""}),n=i.index+i.text.length}if(n<t.length){const i=t.slice(n);s.push({txt:i,type:"other",lang:e,src:""})}return s}isValidDate(t){let e,s,n;if(/^\d{8}$/.test(t))e=parseInt(t.slice(0,4)),s=parseInt(t.slice(4,6)),n=parseInt(t.slice(6,8));else if(/^\d{4}[-.]\d{2}[-.]\d{2}$/.test(t)){const i=t.split(/[-.]/).map(Number);e=i[0],s=i[1],n=i[2]}else if(/^\d{1,2}[-/.]\d{1,2}[-/.]\d{2,4}$/.test(t)||/^\d{4}[-/.]\d{1,2}[-/.]\d{1,2}$/.test(t)){const i=t.split(/[-/.]/).map(Number);i[0]>=1e3?(e=i[0],s=i[1],n=i[2]):i[2]>31?(s=i[0],n=i[1],e=i[2]):(s=i[0],n=i[1],e=i[2]<50?2e3+i[2]:1900+i[2])}else if(/^(Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|June?|July?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\s+(\d{1,2})(?:,\s+(\d{4}))?$/i.test(t)){const i=["Jan","Feb","Mar","Apr","May","Jun","Jul","Aug","Sep","Oct","Nov","Dec"],r=t.match(/^(\w+)\s+(\d{1,2})(?:,\s+(\d{4}))?$/i);if(!r)return!1;s=i.findIndex(t=>t.toLowerCase()===r[1].substring(0,3).toLowerCase())+1,n=parseInt(r[2]),e=r[3]?parseInt(r[3]):(new Date).getFullYear()}else{if(!/^(\d{4})?年?(\d{1,2})月(\d{1,2})日?(\d{4})?$/.test(t))return!1;{const i=t.match(/^(\d{4})?年?(\d{1,2})月(\d{1,2})日?(\d{4})?$/);if(!i)return!1;e=parseInt(i[1]||i[4]||(new Date).getFullYear().toString()),s=parseInt(i[2]),n=parseInt(i[3])}}return this.isValidDateComponents(e,s,n)}isValidDateComponents(t,e,s){if(e<1||e>12||s<1||s>31)return!1;if(2===e){if(s>(t%4==0&&t%100!=0||t%400==0?29:28))return!1}else if(s>[31,28,31,30,31,30,31,31,30,31,30,31][e-1])return!1;return!0}}class n{static detectLanguage(t){return/[\u3040-\u309f\u30a0-\u30ff]/.test(t)?"ja":/[\uac00-\ud7af]/.test(t)?"ko":/[\u4e00-\u9fff]/.test(t)?"zh":"en"}}class i{detectLanguage(t){return"en"}tokenize(t,e){const s=[];let n=0;const i=/\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b/g,r=/(?:https?:\/\/)?(?:[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}(?:\.[a-zA-Z]{2,})?|(?:localhost|127\.0\.0\.1)|(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?))(?::\d{1,5})?(?:\/[^\s]*)?/g,o=[];let a;for(;null!==(a=i.exec(t));)o.push({index:a.index,endIndex:a.index+a[0].length,type:"ip",text:a[0]});for(;null!==(a=r.exec(t));)o.push({index:a.index,endIndex:a.index+a[0].length,type:"url",text:a[0]});o.sort((t,e)=>t.index-e.index);const c=[];for(let t=0;t<o.length;t++){let e=!1;for(let s=0;s<o.length;s++)if(t!==s){const n=o[t].index===o[s].index&&o[t].endIndex===o[s].endIndex,i=o[t].index>=o[s].index&&o[t].endIndex<=o[s].endIndex;if(n){if("ip"===o[s].type){e=!0;break}}else if(i){e=!0;break}}e||c.push(o[t])}for(const i of c)i.index>n&&s.push({txt:t.substring(n,i.index),type:"other",lang:e}),s.push({txt:i.text,type:i.type,lang:"en"}),n=i.endIndex;return n<t.length&&s.push({txt:t.substring(n),type:"other",lang:e}),s}}class r{tokenizers;customDictionaries;defaultLanguage;constructor(n={}){this.customDictionaries=n.customDictionaries||{},this.defaultLanguage=n.defaultLanguage||"en",this.tokenizers=[new s,new i,new t,new e(this.customDictionaries)]}addCustomDictionary(t,e,s,n){const i=e||this.defaultLanguage;this.customDictionaries[i]||(this.customDictionaries[i]=[]);const r=this.customDictionaries[i].findIndex(t=>t.name===n&&t.lang===i&&t.priority===s);if(r>=0){const e=this.customDictionaries[i][r];t.forEach(t=>e.data.add(t))}else this.customDictionaries[i].push({priority:s,data:new Set(t),name:n,lang:i})}removeCustomWord(t,e,s){if(e){if(this.customDictionaries[e])if(s){const n=this.customDictionaries[e].find(t=>t.name===s);n&&n.data.delete(t)}else this.customDictionaries[e].forEach(e=>{e.data.delete(t)})}else Object.values(this.customDictionaries).forEach(e=>{e.forEach(e=>{e.data.has(t)&&e.data.delete(t)})})}tokenize(r,o){const a=o||n.detectLanguage(r),c=this.tokenizers.find(t=>t instanceof s);if(!c)return[];const u=c.tokenize(r,a),d=[],l=this.tokenizers.find(t=>t instanceof i);if(!l)return d;for(const s of u)if("date"===s.type)d.push(s);else{const n=l.tokenize(s.txt,a);for(const s of n)if("url"===s.type||"ip"===s.type)d.push(s);else{let n=[];if("en"===a){const e=this.tokenizers.find(e=>e instanceof t);e&&(n=e.tokenize(s.txt,a))}else if(["zh","ja","ko"].includes(a)){const t=this.tokenizers.find(t=>t instanceof e);t&&(n=t.tokenize(s.txt,a))}else{const t=this.tokenizers.find(t=>t instanceof e);t&&(n=t.tokenize(s.txt,a))}n.length>0?d.push(...n):d.push(s)}}return d}tokenizeText(t,e){const s=this.tokenize(t,e?.language),n=["punctuation","space","other",...e?.excludeTypes||[]];return s.filter(t=>!(e?.includeTypes&&e.includeTypes.length>0&&!e.includeTypes.includes(t.type))&&!n.includes(t.type)).map(t=>t.txt)}}exports.CJKTokenizer=e,exports.DateTokenizer=s,exports.EnglishTokenizer=t,exports.LanguageDetector=n,exports.MultilingualTokenizer=r,exports.createTokenizer=function(t){return new r(t)};