prpm-dbp 0.2.2 → 0.3.0

package/SKILL.md

@@ -73,6 +73,24 @@ Jawi Melayu menulis vokal dengan alif, wau dan ya, tidak seperti Arab. Kerana it
 
 `rumi` bekerja dari cache sahaja dan tidak menyentuh rangkaian. Perkataan yang belum pernah disemak dalam arah Rumi ke Jawi tidak akan dikenali. Jalankan `warm` atau `audit` dahulu pada kosa kata yang berkaitan.
 
+## Istilah Arab
+
+Kebanyakan istilah agama ialah **kata Melayu**, bukan kata asing. Diuji terhadap PRPM: 29 daripada 30 istilah lazim ada entri, termasuk `yasin`, `fatihah`, `baqarah`, `rahman`, `rasulullah`. Jangan andaikan sesuatu itu Arab semata-mata kerana ia berbunyi Arab; tanya DBP dahulu.
+
+Tiga keadaan berbeza, dilaporkan berasingan:
+
+| Keadaan | Contoh | Maksud |
+|---|---|---|
+| Ada entri dan ejaan Jawi | `solat` صلاة, `zakat` زکاة | guna terus |
+| `adaEntriTanpaJawi` | `yasin`, `fatihah`, `baqarah`, `wuduk` | DBP iktiraf sebagai kata Melayu, cuma tiada ejaan Jawi disimpan |
+| `belumDisahkan` | `ahzab` | bukan kata Melayu; nama khas Arab |
+
+Ejaan Jawi bagi pinjaman Arab **mengekalkan ejaan Arab asal**, bukan dieja secara fonetik: `صلاة` bukan `سولت`, `زکاة` bukan `زکات`. Ta marbutah dan alef maksura dikekalkan. Sebab itu ta marbutah tidak pernah dilipat semasa perbandingan.
+
+Sesetengah entri memulangkan **dua perkataan Jawi untuk satu perkataan Rumi**: `rasulullah` → `رسول الله`. Pembacaan songsang memadan jujukan, jadi ia tidak pecah menjadi `rasul allah`.
+
+**Teks Arab yang dipetik dibiarkan sepenuhnya.** Jawi Melayu tidak menggunakan baris tanda vokal, jadi kehadiran fathah, kasrah, dammah, sukun atau tanwin bermakna potongan itu Arab, bukan Jawi. Ayat al-Quran dan hadis dalam dokumen Melayu lulus tanpa disentuh dan dilaporkan dalam medan `arab`.
+
 ## Rantai kepercayaan
 
 Setiap ejaan Jawi yang dikeluarkan membawa asal-usulnya. Jangan runtuhkan lapisan ini.

package/bin/cli.js

@@ -154,6 +154,12 @@ async function main() {
       if (h.belumDisahkan.length) {
         console.error(`\nbelum disahkan (${h.belumDisahkan.length}): ${h.belumDisahkan.join(', ')}`)
       }
+      if (h.adaEntriTanpaJawi.length) {
+        console.error(
+          `DBP ada entri tetapi tiada ejaan Jawi (${h.adaEntriTanpaJawi.length}): ` +
+            h.adaEntriTanpaJawi.join(', '),
+        )
+      }
       if (h.terbitanSah.length) {
         console.error(
           `terbitan sah tanpa ejaan Jawi (${h.terbitanSah.length}): ` +
@@ -165,13 +171,14 @@ async function main() {
 
     case 'rumi': {
       const teks = await readFile(baki[0], 'utf8')
-      const h = keRumi(teks, cache)
+      const h = keRumi(teks, cache, { dataset: await muatDataset() })
       if (pilihan.json) { keluar(h); break }
       console.log(h.teks)
       console.error(`\npeta songsang: ${h.saizPeta} ejaan`)
       if (h.tidakDikenali.length) {
         console.error(`tidak dikenali (${h.tidakDikenali.length}): ${h.tidakDikenali.join(', ')}`)
       }
+      if (h.arab.length) console.error(`teks Arab dibiarkan (${h.arab.length}): ${h.arab.join(' ')}`)
       for (const k of h.kabur) console.error(`kabur: ${k.jawi} -> ${k.calon.join(', ')}`)
       break
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "prpm-dbp",
-  "version": "0.2.2",
+  "version": "0.3.0",
   "description": "Semak ejaan Bahasa Melayu dan Jawi terhadap PRPM Dewan Bahasa dan Pustaka. CLI dan skill untuk AI agent.",
   "keywords": [
     "bahasa-melayu",

package/src/tukar.js

@@ -10,7 +10,13 @@
 
 import { lookup } from './prpm.js'
 import { normalisasiJawi } from './kamus.js'
-import { cariDataset } from './dataset.js'
+import { cariDataset, muatDataset } from './dataset.js'
+
+// Baris tanda vokal Arab (fathah, kasrah, dammah, sukun, syaddah, tanwin,
+// alef superscript). Jawi Melayu TIDAK menggunakannya; teks al-Quran dan
+// hadis yang dipetik dalam dokumen Melayu menggunakannya. Kehadirannya
+// bermakna potongan itu bahasa Arab, bukan Jawi, dan tidak boleh ditukar.
+const HARAKAT = /[\u064B-\u0652\u0670\u0653-\u0655]/
 
 const JAWI_JULAT = '؀-ۿݐ-ݿﭐ-﷿ﹰ-'
 // Token dipecah supaya pemisah dikekalkan, jadi tanda baca, baris baru dan
@@ -80,15 +86,36 @@ export async function cariDasar(kata, cache, opts = {}) {
   return null
 }
 
-/** Bina peta Jawi -> Rumi daripada segala yang sudah disahkan dalam cache. */
-export function petaSongsang(cache) {
+/**
+ * Bina peta Jawi -> Rumi. Menggabungkan cache DBP dengan dataset yang
+ * diimport, jika ada: tanpa dataset, apa-apa yang ditukar melalui lapisan
+ * ketiga tidak boleh dipusingkan balik langsung.
+ *
+ * Sesetengah nilai mengandungi RUANG (rasulullah -> رسول الله). Peta menjejaki
+ * bilangan perkataan terpanjang supaya pembacaan songsang boleh memadan
+ * jujukan, bukan token tunggal sahaja.
+ */
+export function petaSongsang(cache, dataset = null) {
   const peta = new Map()
-  for (const rec of Object.values(cache)) {
-    if (!rec?.jawi) continue
-    const kunci = normalisasiJawi(rec.jawi)
+  let maxKata = 1
+
+  const tambah = (jawi, rumi) => {
+    const kunci = normalisasiJawi(jawi)
+    if (!kunci) return
+    const bilangan = kunci.split(/\s+/).length
+    if (bilangan > maxKata) maxKata = bilangan
     if (!peta.has(kunci)) peta.set(kunci, [])
-    if (!peta.get(kunci).includes(rec.kata)) peta.get(kunci).push(rec.kata)
+    if (!peta.get(kunci).includes(rumi)) peta.get(kunci).push(rumi)
   }
+
+  for (const rec of Object.values(cache)) {
+    if (rec?.jawi) tambah(rec.jawi, rec.kata)
+  }
+  for (const [rumi, ejaan] of Object.entries(dataset?.peta ?? {})) {
+    for (const j of ejaan) tambah(j, rumi)
+  }
+
+  peta.maxKata = maxKata
   return peta
 }
 
@@ -102,6 +129,7 @@ export async function keJawi(teks, cache, opts = {}) {
   const terbitanSah = []
   const dariDataset = []
   const dbp = []
+  const adaEntriTanpaJawi = []
   const bahagian = teks.split(PECAH_RUMI)
   const keluar = []
 
@@ -111,6 +139,11 @@ export async function keJawi(teks, cache, opts = {}) {
     const rec = await lookup(cebis.toLowerCase(), cache, opts)
     if (rec?.jawi) { keluar.push(rec.jawi); dbp.push(cebis); continue }
 
+    // Keadaan berbeza daripada tiada entri: DBP mengiktiraf perkataan ini
+    // sebagai Melayu, cuma tidak menyimpan ejaan Jawinya. Lazim bagi nama
+    // surah dan istilah agama seperti yasin, fatihah, baqarah.
+    if (rec?.dijumpai) adaEntriTanpaJawi.push(cebis)
+
     // Lapisan ketiga: dataset yang diimport pengguna. Berlabel, tidak pernah
     // menyamar sebagai ejaan DBP.
     if (gunaDataset) {
@@ -141,6 +174,7 @@ export async function keJawi(teks, cache, opts = {}) {
     teks: keluar.join(''),
     disahkanDbp: dbp.length,
     dariDataset,
+    adaEntriTanpaJawi: [...new Set(adaEntriTanpaJawi)],
     belumDisahkan: [...new Set(belumDisahkan)],
     terbitanSah,
     lengkap: belumDisahkan.length === 0 && terbitanSah.length === 0,
@@ -156,32 +190,66 @@ export async function keJawi(teks, cache, opts = {}) {
  * menggugurkannya. Kerana itu perlanggaran jauh lebih jarang daripada yang
  * disangka. Bila ia berlaku, SEMUA calon dilaporkan, bukan dipilih satu.
  */
-export function keRumi(teksJawi, cache, { penanda = ['«', '»'] } = {}) {
-  const peta = petaSongsang(cache)
+export function keRumi(teksJawi, cache, { penanda = ['«', '»'], dataset = null } = {}) {
+  const peta = petaSongsang(cache, dataset)
   const tidakDikenali = []
   const kabur = []
+  const arab = []
   const bahagian = teksJawi.split(PECAH_JAWI)
   const keluar = []
 
-  for (const [i, cebis] of bahagian.entries()) {
-    if (i % 2 === 0) { keluar.push(cebis); continue }
+  for (let i = 0; i < bahagian.length; i++) {
+    if (i % 2 === 0) { keluar.push(bahagian[i]); continue }
+
+    // Teks Arab bertanda baris dibiarkan seadanya. Cuba menukarnya akan
+    // merosakkan petikan al-Quran dan hadis dalam dokumen Melayu.
+    if (HARAKAT.test(bahagian[i])) {
+      arab.push(bahagian[i])
+      keluar.push(bahagian[i])
+      continue
+    }
+
+    // Padanan jujukan terpanjang dahulu, supaya رسول الله ditemui sebagai
+    // satu perkataan dan bukan dipecah jadi rasul + allah.
+    let padanan = null
+    let hujung = i
+    // Had atas MESTI integer. Nilai pecahan menyebabkan n melompat 3.5, 2.5,
+    // 1.5 dan tidak pernah menyentuh bilangan perkataan sebenar, lalu hujung
+    // jatuh pada pemisah dan bukan token.
+    const maxN = Math.min(peta.maxKata, Math.floor((bahagian.length - i + 1) / 2))
+    for (let n = maxN; n >= 1; n--) {
+      const akhir = i + (n - 1) * 2
+      if (akhir >= bahagian.length || akhir % 2 === 0) continue
+      // Hanya gabung apabila pemisah antara token benar-benar ruang.
+      let bolehGabung = true
+      for (let k = i + 1; k < akhir; k += 2) {
+        if (!/^\s+$/.test(bahagian[k])) { bolehGabung = false; break }
+      }
+      if (!bolehGabung) continue
+      const frasa = bahagian.slice(i, akhir + 1).join(' ').replace(/\s+/g, ' ')
+      const jumpa = peta.get(normalisasiJawi(frasa))
+      if (jumpa) { padanan = jumpa; hujung = akhir; break }
+    }
 
-    const padanan = peta.get(normalisasiJawi(cebis))
     if (!padanan) {
-      tidakDikenali.push(cebis)
-      keluar.push(penanda[0] + cebis + penanda[1])
-    } else if (padanan.length === 1) {
-      keluar.push(padanan[0])
-    } else {
-      kabur.push({ jawi: cebis, calon: padanan })
+      tidakDikenali.push(bahagian[i])
+      keluar.push(penanda[0] + bahagian[i] + penanda[1])
+      continue
+    }
+
+    if (padanan.length === 1) keluar.push(padanan[0])
+    else {
+      kabur.push({ jawi: bahagian.slice(i, hujung + 1).join(''), calon: padanan })
       keluar.push(padanan.join('|'))
     }
+    i = hujung
   }
 
   return {
     teks: keluar.join(''),
     tidakDikenali: [...new Set(tidakDikenali)],
     kabur,
+    arab: [...new Set(arab)],
     saizPeta: peta.size,
     lengkap: tidakDikenali.length === 0,
   }