tokmor 1.2.9__py3-none-any.whl

tokmor/morphology/thai_native.py

@@ -0,0 +1,274 @@
+"""
+Thai Native Morphological Analyzer - 자체 구현
+==============================================
+
+외부 라이브러리 없이 순수 Python으로 구현한 태국어 분석기
+
+특징:
+- 최장일치 분词 (Maximum Matching)
+- 기본 단어 사전
+- 숫자/라틴 문자 처리
+"""
+
+import re
+from typing import List, Tuple
+from dataclasses import dataclass
+
+
+@dataclass
+class Morpheme:
+    """형태소"""
+    surface: str
+    lemma: str
+    pos: str
+    start: int
+    end: int
+
+    def __repr__(self):
+        return f"{self.surface}/{self.pos}"
+
+
+class ThaiNativeAnalyzer:
+    """
+    태국어 자체 형태소 분석기
+
+    Usage:
+        analyzer = ThaiNativeAnalyzer()
+        result = analyzer.analyze("สวัสดีครับ")
+    """
+
+    def __init__(self):
+        self._build_dictionary()
+
+    def _build_dictionary(self):
+        """사전 구축"""
+
+        # 고빈도 태국어 단어 사전 (확장)
+        self.dictionary = {
+            # 인사/기본
+            'สวัสดี': 'INTJ', 'ครับ': 'PART', 'ค่ะ': 'PART', 'ขอบคุณ': 'V',
+            'ใช่': 'V', 'ไม่': 'ADV', 'ไม่ใช่': 'V', 'มี': 'V', 'ไม่มี': 'V',
+            'หวัดดี': 'INTJ', 'บาย': 'INTJ', 'ลาก่อน': 'INTJ', 'โทษ': 'V',
+            'ขอโทษ': 'V', 'ยินดี': 'V', 'เชิญ': 'V',
+
+            # 대명사
+            'ผม': 'PRON', 'ฉัน': 'PRON', 'คุณ': 'PRON', 'เขา': 'PRON',
+            'เรา': 'PRON', 'พวกเขา': 'PRON', 'มัน': 'PRON', 'ตัวเอง': 'PRON',
+            'ใคร': 'PRON', 'อะไร': 'PRON', 'ที่ไหน': 'PRON', 'เมื่อไหร่': 'PRON',
+            'ดิฉัน': 'PRON', 'ข้าพเจ้า': 'PRON', 'ท่าน': 'PRON', 'เธอ': 'PRON',
+            'พวกเรา': 'PRON', 'ตัว': 'PRON', 'นี่': 'PRON', 'นั่น': 'PRON',
+            'โน่น': 'PRON', 'ไหน': 'PRON', 'อย่างไร': 'PRON', 'ทำไม': 'PRON',
+
+            # 동사 (확장)
+            'กิน': 'V', 'ดื่ม': 'V', 'ไป': 'V', 'มา': 'V', 'ทำ': 'V',
+            'พูด': 'V', 'เห็น': 'V', 'ฟัง': 'V', 'อ่าน': 'V', 'เขียน': 'V',
+            'รัก': 'V', 'ชอบ': 'V', 'เกลียด': 'V', 'ต้องการ': 'V', 'อยาก': 'V',
+            'รู้': 'V', 'คิด': 'V', 'เชื่อ': 'V', 'หวัง': 'V', 'กลัว': 'V',
+            'เป็น': 'V', 'อยู่': 'V', 'นอน': 'V', 'นั่ง': 'V', 'ยืน': 'V',
+            'วิ่ง': 'V', 'เดิน': 'V', 'ขับ': 'V', 'บิน': 'V', 'ว่ายน้ำ': 'V',
+            'เรียน': 'V', 'สอน': 'V', 'เล่น': 'V', 'ทำงาน': 'V', 'พักผ่อน': 'V',
+            'ซื้อ': 'V', 'ขาย': 'V', 'จ่าย': 'V', 'ให้': 'V', 'รับ': 'V',
+            'เปิด': 'V', 'ปิด': 'V', 'เริ่ม': 'V', 'หยุด': 'V', 'จบ': 'V',
+            'หา': 'V', 'พบ': 'V', 'เจอ': 'V', 'ค้นหา': 'V', 'ส่ง': 'V',
+            'ถาม': 'V', 'ตอบ': 'V', 'บอก': 'V', 'เรียก': 'V', 'ร้อง': 'V',
+            'ดู': 'V', 'มอง': 'V', 'จ้อง': 'V', 'สังเกต': 'V', 'ตรวจ': 'V',
+            'ช่วย': 'V', 'แก้': 'V', 'สร้าง': 'V', 'ทำลาย': 'V', 'ซ่อม': 'V',
+            'ใช้': 'V', 'เลือก': 'V', 'ตัดสินใจ': 'V', 'ลอง': 'V', 'พยายาม': 'V',
+            'จำ': 'V', 'ลืม': 'V', 'เข้าใจ': 'V', 'รู้สึก': 'V', 'หมายความ': 'V',
+            'เยือน': 'V', 'เดินทาง': 'V', 'ท่องเที่ยว': 'V', 'แวะ': 'V', 'เข้า': 'V',
+            'ออก': 'V', 'ขึ้น': 'V', 'ลง': 'V', 'ผ่าน': 'V', 'ข้าม': 'V',
+
+            # 명사 - 일반 (추가)
+            'ทาง': 'N', 'ที่': 'N', 'แห่ง': 'N', 'จุด': 'N', 'ด้าน': 'N',
+
+            # 형용사 (확장)
+            'ดี': 'ADJ', 'ไม่ดี': 'ADJ', 'สวย': 'ADJ', 'หล่อ': 'ADJ',
+            'ใหญ่': 'ADJ', 'เล็ก': 'ADJ', 'สูง': 'ADJ', 'ต่ำ': 'ADJ',
+            'ร้อน': 'ADJ', 'เย็น': 'ADJ', 'หนาว': 'ADJ', 'อุ่น': 'ADJ',
+            'เร็ว': 'ADJ', 'ช้า': 'ADJ', 'ใหม่': 'ADJ', 'เก่า': 'ADJ',
+            'แพง': 'ADJ', 'ถูก': 'ADJ', 'ยาก': 'ADJ', 'ง่าย': 'ADJ',
+            'สำคัญ': 'ADJ', 'น่าสนใจ': 'ADJ', 'สนุก': 'ADJ', 'เบื่อ': 'ADJ',
+            'ยาว': 'ADJ', 'สั้น': 'ADJ', 'กว้าง': 'ADJ', 'แคบ': 'ADJ',
+            'หนัก': 'ADJ', 'เบา': 'ADJ', 'แข็ง': 'ADJ', 'อ่อน': 'ADJ',
+            'สะอาด': 'ADJ', 'สกปรก': 'ADJ', 'สด': 'ADJ', 'เน่า': 'ADJ',
+            'ถูกต้อง': 'ADJ', 'ผิด': 'ADJ', 'จริง': 'ADJ', 'เท็จ': 'ADJ',
+            'พิเศษ': 'ADJ', 'ธรรมดา': 'ADJ', 'แปลก': 'ADJ', 'ปกติ': 'ADJ',
+
+            # 명사 - 장소 (확장)
+            'คน': 'N', 'บ้าน': 'N', 'รถ': 'N', 'น้ำ': 'N', 'อาหาร': 'N',
+            'เมือง': 'N', 'ประเทศ': 'N', 'โลก': 'N', 'ทะเล': 'N', 'ภูเขา': 'N',
+            'โรงเรียน': 'N', 'มหาวิทยาลัย': 'N', 'วิทยาลัย': 'N', 'ห้องเรียน': 'N',
+            'โรงพยาบาล': 'N', 'คลินิก': 'N', 'ร้านขายยา': 'N', 'ห้องน้ำ': 'N',
+            'โรงแรม': 'N', 'ร้านอาหาร': 'N', 'ร้านกาแฟ': 'N', 'ตลาด': 'N',
+            'ห้างสรรพสินค้า': 'N', 'ร้านค้า': 'N', 'ธนาคาร': 'N', 'ไปรษณีย์': 'N',
+            'สถานี': 'N', 'สนามบิน': 'N', 'ท่าเรือ': 'N', 'ถนน': 'N',
+            'สวนสาธารณะ': 'N', 'สวน': 'N', 'วัด': 'N', 'โบสถ์': 'N',
+            'สำนักงาน': 'N', 'โรงงาน': 'N', 'บริษัท': 'N', 'ห้อง': 'N',
+
+            # 명사 - 시간/기간
+            'วัน': 'N', 'เดือน': 'N', 'ปี': 'N', 'เวลา': 'N', 'ชั่วโมง': 'N',
+            'นาที': 'N', 'วินาที': 'N', 'สัปดาห์': 'N', 'ศตวรรษ': 'N',
+            'วันนี้': 'N', 'พรุ่งนี้': 'N', 'เมื่อวาน': 'N', 'ตอนนี้': 'N',
+            'เช้า': 'N', 'บ่าย': 'N', 'เย็น': 'N', 'กลางคืน': 'N',
+            'วันจันทร์': 'N', 'วันอังคาร': 'N', 'วันพุธ': 'N', 'วันพฤหัส': 'N',
+            'วันพฤหัสบดี': 'N', 'วันศุกร์': 'N', 'วันเสาร์': 'N', 'วันอาทิตย์': 'N',
+
+            # 명사 - 가족/사람
+            'พ่อ': 'N', 'แม่': 'N', 'ลูก': 'N', 'พี่': 'N', 'น้อง': 'N',
+            'เพื่อน': 'N', 'ครู': 'N', 'หมอ': 'N', 'ตำรวจ': 'N', 'ทหาร': 'N',
+            'ลูกชาย': 'N', 'ลูกสาว': 'N', 'พี่ชาย': 'N', 'พี่สาว': 'N',
+            'น้องชาย': 'N', 'น้องสาว': 'N', 'ปู่': 'N', 'ย่า': 'N',
+            'ตา': 'N', 'ยาย': 'N', 'ลุง': 'N', 'ป้า': 'N', 'อา': 'N',
+            'สามี': 'N', 'ภรรยา': 'N', 'แฟน': 'N', 'คู่รัก': 'N',
+            'นักเรียน': 'N', 'นักศึกษา': 'N', 'อาจารย์': 'N', 'ผู้อำนวยการ': 'N',
+            'พนักงาน': 'N', 'ลูกค้า': 'N', 'ผู้จัดการ': 'N', 'เจ้าของ': 'N',
+
+            # 명사 - 물건
+            'โทรศัพท์': 'N', 'คอมพิวเตอร์': 'N', 'โน๊ตบุ๊ค': 'N', 'แท็บเล็ต': 'N',
+            'หนังสือ': 'N', 'สมุด': 'N', 'ปากกา': 'N', 'ดินสอ': 'N',
+            'เสื้อ': 'N', 'กางเกง': 'N', 'รองเท้า': 'N', 'กระเป๋า': 'N',
+            'แว่นตา': 'N', 'นาฬิกา': 'N', 'กุญแจ': 'N', 'เงิน': 'N',
+            'อาหาร': 'N', 'ข้าว': 'N', 'ผัก': 'N', 'ผลไม้': 'N', 'เนื้อ': 'N',
+            'ไก่': 'N', 'หมู': 'N', 'ปลา': 'N', 'กุ้ง': 'N', 'ไข่': 'N',
+
+            # 명사 - 추상/자연
+            'ความรัก': 'N', 'ความสุข': 'N', 'ความเศร้า': 'N', 'ความโกรธ': 'N',
+            'ความหวัง': 'N', 'ความกลัว': 'N', 'ความฝัน': 'N', 'ความคิด': 'N',
+            'ปัญหา': 'N', 'คำตอบ': 'N', 'คำถาม': 'N', 'ความหมาย': 'N',
+            'เรื่อง': 'N', 'เหตุการณ์': 'N', 'สถานการณ์': 'N', 'โอกาส': 'N',
+            'อากาศ': 'N', 'ฝน': 'N', 'แดด': 'N', 'ลม': 'N', 'เมฆ': 'N',
+            'ฟ้า': 'N', 'ดิน': 'N', 'ไฟ': 'N', 'ต้นไม้': 'N', 'ดอกไม้': 'N',
+            'สัตว์': 'N', 'หมา': 'N', 'แมว': 'N', 'นก': 'N', 'ช้าง': 'N',
+
+            # 지명 (확장)
+            'กรุงเทพ': 'PROPN', 'กรุงเทพมหานคร': 'PROPN', 'เชียงใหม่': 'PROPN',
+            'ภูเก็ต': 'PROPN', 'พัทยา': 'PROPN', 'หัวหิน': 'PROPN',
+            'ไทย': 'PROPN', 'ประเทศไทย': 'PROPN', 'อเมริกา': 'PROPN',
+            'จีน': 'PROPN', 'ญี่ปุ่น': 'PROPN', 'เกาหลี': 'PROPN',
+            'อังกฤษ': 'PROPN', 'ฝรั่งเศส': 'PROPN', 'เยอรมัน': 'PROPN',
+            'รัสเซีย': 'PROPN', 'อินเดีย': 'PROPN', 'ออสเตรเลีย': 'PROPN',
+            'สิงคโปร์': 'PROPN', 'มาเลเซีย': 'PROPN', 'เวียดนาม': 'PROPN',
+            'ลาว': 'PROPN', 'กัมพูชา': 'PROPN', 'พม่า': 'PROPN',
+
+            # News/Wiki-high frequency (helps segmentation quality immediately)
+            'ประชากร': 'N',
+            'เมืองหลวง': 'N',
+            'ราชอาณาจักร': 'N',
+            'รัฐบาล': 'N',
+
+            # 조사/전치사/접속사
+            'ที่': 'PART', 'ของ': 'PART', 'ใน': 'ADP', 'บน': 'ADP',
+            'ใต้': 'ADP', 'หน้า': 'ADP', 'หลัง': 'ADP', 'ข้าง': 'ADP',
+            'และ': 'CCONJ', 'หรือ': 'CCONJ', 'แต่': 'CCONJ', 'เพราะ': 'SCONJ',
+            'ถ้า': 'SCONJ', 'เมื่อ': 'SCONJ', 'ตอน': 'SCONJ', 'ขณะ': 'SCONJ',
+            'กับ': 'ADP', 'จาก': 'ADP', 'ถึง': 'ADP', 'เพื่อ': 'ADP',
+            'โดย': 'ADP', 'ตาม': 'ADP', 'ระหว่าง': 'ADP', 'ต่อ': 'ADP',
+            'แม้': 'SCONJ', 'แม้ว่า': 'SCONJ', 'เพราะว่า': 'SCONJ', 'เนื่องจาก': 'SCONJ',
+            'ดังนั้น': 'ADV', 'ฉะนั้น': 'ADV', 'อย่างไรก็ตาม': 'ADV',
+
+            # 수사
+            'หนึ่ง': 'NUM', 'สอง': 'NUM', 'สาม': 'NUM', 'สี่': 'NUM', 'ห้า': 'NUM',
+            'หก': 'NUM', 'เจ็ด': 'NUM', 'แปด': 'NUM', 'เก้า': 'NUM', 'สิบ': 'NUM',
+            'ร้อย': 'NUM', 'พัน': 'NUM', 'หมื่น': 'NUM', 'แสน': 'NUM', 'ล้าน': 'NUM',
+            'ยี่สิบ': 'NUM', 'สามสิบ': 'NUM', 'สี่สิบ': 'NUM', 'ห้าสิบ': 'NUM',
+            'หกสิบ': 'NUM', 'เจ็ดสิบ': 'NUM', 'แปดสิบ': 'NUM', 'เก้าสิบ': 'NUM',
+            'ที่หนึ่ง': 'NUM', 'ที่สอง': 'NUM', 'ที่สาม': 'NUM', 'แรก': 'NUM',
+
+            # 부사 (확장)
+            'มาก': 'ADV', 'น้อย': 'ADV', 'เสมอ': 'ADV', 'บ่อย': 'ADV',
+            'แล้ว': 'ADV', 'ก่อน': 'ADV', 'หลัง': 'ADV', 'เดี๋ยว': 'ADV',
+            'ก็': 'ADV', 'จะ': 'AUX', 'ได้': 'AUX', 'อาจ': 'AUX',
+            'คง': 'AUX', 'ต้อง': 'AUX', 'ควร': 'AUX', 'น่า': 'AUX',
+            'เคย': 'AUX', 'กำลัง': 'AUX', 'ยัง': 'ADV', 'เพิ่ง': 'ADV',
+            'ทันที': 'ADV', 'ตลอด': 'ADV', 'บางที': 'ADV', 'อาจจะ': 'ADV',
+            'แน่นอน': 'ADV', 'แน่': 'ADV', 'จริงๆ': 'ADV', 'จังๆ': 'ADV',
+            'ค่อนข้าง': 'ADV', 'เกือบ': 'ADV', 'ประมาณ': 'ADV', 'ราว': 'ADV',
+
+            # 기타
+            'นาย': 'N', 'นาง': 'N', 'นางสาว': 'N',
+            'รัฐมนตรี': 'N', 'นายกรัฐมนตรี': 'N', 'ประธานาธิบดี': 'N',
+            'กล่าว': 'V', 'ปราศรัย': 'V', 'ประกาศ': 'V', 'ประชุม': 'V',
+            'โรง': 'N', 'เรียน': 'V',  # Fallback components
+        }
+
+        # 최대 단어 길이
+        self.max_word_len = max(len(w) for w in self.dictionary) if self.dictionary else 10
+
+        # 태국 문자 패턴
+        self.thai = re.compile(r'[\u0e00-\u0e7f]+')
+
+    def analyze(self, text: str) -> List[Morpheme]:
+        """분석"""
+        if not text:
+            return []
+
+        result = []
+        pos = 0
+
+        while pos < len(text):
+            # 공백 스킵
+            if text[pos].isspace():
+                pos += 1
+                continue
+
+            # 비태국 문자
+            if not self.thai.match(text[pos:pos+1]):
+                # 라틴/숫자
+                match = re.match(r'[a-zA-Z0-9]+', text[pos:])
+                if match:
+                    word = match.group()
+                    result.append(Morpheme(word, word, 'X', pos, pos + len(word)))
+                    pos += len(word)
+                else:
+                    pos += 1
+                continue
+
+            # 최장일치 사전 검색
+            matched = False
+            for length in range(min(self.max_word_len, len(text) - pos), 0, -1):
+                word = text[pos:pos+length]
+                if word in self.dictionary:
+                    result.append(Morpheme(
+                        word, word, self.dictionary[word],
+                        pos, pos + length
+                    ))
+                    pos += length
+                    matched = True
+                    break
+
+            if not matched:
+                # 미등록어 그룹화:
+                # - 사전 단어의 시작점이 보이면 그 직전에서 끊는다 (boundary-safe)
+                # - 너무 길어지면 상한으로 끊는다
+                def _dict_starts_at(i: int) -> bool:
+                    if i < 0 or i >= len(text):
+                        return False
+                    if not self.thai.match(text[i:i+1]):
+                        return False
+                    mx = min(self.max_word_len, len(text) - i)
+                    for L in range(mx, 0, -1):
+                        if text[i:i+L] in self.dictionary:
+                            return True
+                    return False
+
+                max_unknown = 12
+                end_pos = min(len(text), pos + 1)
+                while end_pos < len(text) and self.thai.match(text[end_pos:end_pos+1]):
+                    # If a known word starts here, stop before it.
+                    if _dict_starts_at(end_pos):
+                        break
+                    end_pos += 1
+                    if end_pos - pos >= max_unknown:
+                        break
+
+                # If we still ended up right before a known word, good.
+                # If not, keep the span as-is.
+                word = text[pos:end_pos]
+                result.append(Morpheme(word, word, 'N', pos, end_pos))
+                pos = end_pos
+
+        return result
+
+    def segment(self, text: str) -> List[str]:
+        """단어 분리"""
+        return [m.surface for m in self.analyze(text)]