lsr-fabric 0.1.0__tar.gz

lsr_fabric-0.1.0/PKG-INFO

@@ -0,0 +1,8 @@
+Metadata-Version: 2.4
+Name: lsr_fabric
+Version: 0.1.0
+Summary: Dynamic Layer-Skipping & Parameter-Efficient Fabric for LLMs
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+Requires-Dist: torch>=2.0.0
+Requires-Dist: transformers>=4.30.0

lsr_fabric-0.1.0/lsr_fabric/__init__.py

@@ -0,0 +1,2 @@
+from .adapters import apply_fabric
+from .core import LSRFabricWrapper, LSRGateway

lsr_fabric-0.1.0/lsr_fabric/adapters.py

@@ -0,0 +1,36 @@
+import torch
+from .core import LSRFabricWrapper
+
+def apply_fabric(model, threshold=0.15, mode="inference"):
+    """
+    ฟังก์ชันวิเศษที่ใช้แฮกสถาปัตยกรรมโมเดลเดิมในหน่วยความจำ
+    """
+    # ค้นหาโมเดลในระดับ Layer (ซัพพอร์ตตระกูล Llama / Typhoon / Mistral)
+    if hasattr(model, "model") and hasattr(model.model, "layers"):
+        layers = model.model.layers
+        hidden_size = model.config.hidden_size
+        
+        for i, layer in enumerate(layers):
+            # เอาสถาปัตยกรรมใหม่ของเราไปครอบทับแต่ละ Layer เดิม
+            layers[i] = LSRFabricWrapper(layer, hidden_size, threshold, mode)
+            
+        print(f"🎉 [LSR-Fabric] สวมสถาปัตยกรรมใหม่เสร็จสิ้นในโหมด: {mode}")
+    else:
+        raise ValueError("สถาปัตยกรรมโมเดลนี้ยังไม่ได้รับการสนับสนุนในแพ็กเกจเวอร์ชันแรก")
+        
+    # ปรับพฤติกรรมการอัปเดต Weight ตามกติกาพิเศษของคุณ
+    if mode == "finetune":
+        # ฟรีซโมเดลหลักทั้งหมด!
+        for param in model.parameters():
+            param.requires_grad = False
+        # เปิดให้เทรนเฉพาะตัว Fabric เท่านั้น (ประหยัดแรมการ์ดจอ)
+        for name, param in model.named_parameters():
+            if "gateway" in name:
+                param.requires_grad = True
+                
+    elif mode == "scratch":
+        # ถ้าสร้างจากศูนย์ เปิดให้ทุกอย่างอัปเดตพร้อมกันหมดอย่างสมดุล
+        for param in model.parameters():
+            param.requires_grad = True
+            
+    return model

lsr_fabric-0.1.0/lsr_fabric/core.py

@@ -0,0 +1,53 @@
+import torch
+import torch.nn as nn
+
+class LSRGateway(nn.Module):
+    """
+    Gateway อัจฉริยะประเมินว่า Token นี้ยากหรือง่าย 
+    และทำหน้าที่เป็น 'Adapter' ตอน Fine-tuning ไปในตัว
+    """
+    def __init__(self, hidden_size, threshold=0.15, mode="inference"):
+        super().__init__()
+        self.gateway_layer = nn.Linear(hidden_size, 1)
+        self.threshold = threshold
+        self.mode = mode # mode สามารถเป็น: 'inference', 'finetune', 'scratch'
+        
+        # คลังเก็บพารามิเตอร์เสริม (เปรียบเสมือน LoRA ขนาดจิ๋วฝังในตัวสับราง)
+        self.adaptation_layer = nn.Linear(hidden_size, hidden_size, bias=False)
+        # ตั้งค่าเริ่มต้นให้เป็นศูนย์เพื่อไม่ให้กระทบโมเดลเดิมในตอนแรก
+        nn.init.zeros_(self.adaptation_layer.weight)
+
+    def forward(self, hidden_states):
+        # 1. คำนวณความมั่นใจ
+        confidence_score = torch.sigmoid(self.gateway_layer(hidden_states))
+        should_skip = confidence_score.mean().item() < self.threshold
+        
+        # 2. ปรับพฤติกรรมตามโหมด (ตอบโจทย์กติกาเพิ่มเติม)
+        if self.mode == "finetune":
+            # ในโหมด Fine-tuning จะส่งสารอาหาร (Gradients) ผ่าน Adaptation Layer จิ๋วนี้
+            hidden_states = hidden_states + self.adaptation_layer(hidden_states)
+            
+        return should_skip, hidden_states
+
+class LSRFabricWrapper(nn.Module):
+    """
+    ตัวครอบชั้น Layer เดิม ไม่ว่าจะเป็นโมเดลเก่า หรือโมเดลสร้างใหม่จากศูนย์
+    """
+    def __init__(self, original_layer, hidden_size, threshold=0.15, mode="inference"):
+        super().__init__()
+        self.original_layer = original_layer
+        self.gateway = LSRGateway(hidden_size, threshold, mode)
+
+    def forward(self, hidden_states, *args, **kwargs):
+        # รันผ่านช่องประตู Gateway ก่อน
+        should_skip, hidden_states = self.gateway(hidden_states)
+        
+        # โหมดสร้างจากศูนย์ (scratch) จะไม่ Skip ทันทีแต่จะใช้ความมั่นใจไปคุมน้ำหนักลอส
+        if self.gateway.mode == "scratch":
+            return self.original_layer(hidden_states, *args, **kwargs)
+            
+        # โหมด Inference / Fine-tune ทั่วไป
+        if should_skip and self.gateway.mode == "inference":
+            return (hidden_states,) # ⚡ Skip! ทางด่วนพิเศษ ไม่คิด Compute ใน Layer นี้
+        else:
+            return self.original_layer(hidden_states, *args, **kwargs) # 🐢 คำนวณปกติ

lsr_fabric-0.1.0/lsr_fabric.egg-info/PKG-INFO

@@ -0,0 +1,8 @@
+Metadata-Version: 2.4
+Name: lsr_fabric
+Version: 0.1.0
+Summary: Dynamic Layer-Skipping & Parameter-Efficient Fabric for LLMs
+Requires-Python: >=3.8
+Description-Content-Type: text/markdown
+Requires-Dist: torch>=2.0.0
+Requires-Dist: transformers>=4.30.0

lsr_fabric-0.1.0/lsr_fabric.egg-info/SOURCES.txt

@@ -0,0 +1,9 @@
+pyproject.toml
+lsr_fabric/__init__.py
+lsr_fabric/adapters.py
+lsr_fabric/core.py
+lsr_fabric.egg-info/PKG-INFO
+lsr_fabric.egg-info/SOURCES.txt
+lsr_fabric.egg-info/dependency_links.txt
+lsr_fabric.egg-info/requires.txt
+lsr_fabric.egg-info/top_level.txt

lsr_fabric-0.1.0/lsr_fabric.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

lsr_fabric-0.1.0/lsr_fabric.egg-info/requires.txt

@@ -0,0 +1,2 @@
+torch>=2.0.0
+transformers>=4.30.0

lsr_fabric-0.1.0/lsr_fabric.egg-info/top_level.txt

@@ -0,0 +1 @@
+lsr_fabric

lsr_fabric-0.1.0/pyproject.toml

@@ -0,0 +1,14 @@
+[build-system]
+requires = ["setuptools>=61.0"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "lsr_fabric"
+version = "0.1.0"
+description = "Dynamic Layer-Skipping & Parameter-Efficient Fabric for LLMs"
+readme = "README.md"
+requires-python = ">=3.8"
+dependencies = [
+    "torch>=2.0.0",
+    "transformers>=4.30.0"
+]

lsr_fabric-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+