prpm-dbp 0.14.0 → 0.16.0

package/README.md

@@ -132,7 +132,9 @@ Pengguna kemudian menarik versi baharu dengan `npx skills update`.
 | `banding <kata...>` | silang semak PRPM lawan KamusDBP |
 | `cache` | status cache, `--buang <kata>` untuk padam satu |
 
-Pilihan: `--refresh`, `--had <n>`, `--delay <ms>`, `--json`, `--cepat`, `--pedoman`.
+Pilihan: `--refresh`, `--had <n>`, `--delay <ms>`, `--json`, `--cepat`, `--pedoman`, `--luar-talian`, `--homograf`, `--konteks`.
+
+Merumikan ialah keputusan peringkat ayat, bukan peringkat perkataan. `مڠيکوت` ialah ejaan sah bagi `mengikut` dan `mengekot` sekali gus, kedua-duanya entri PRPM sebenar. Gunakan `--konteks` supaya ayat dan makna setiap calon dipaparkan bersama, berserta bilangan rujukan korpus DBP yang mengisih calon lazim ke hadapan.
 
 `--luar-talian` tidak pernah menyentuh rangkaian. Wajib untuk laluan permintaan aplikasi: dokumen penuh dari cache mengambil 0.19 saat, manakala satu perkataan baharu daripada PRPM mengambil beberapa saat.
 

package/SKILL.md

@@ -17,6 +17,36 @@ Model boleh hasilkan Jawi yang nampak betul tetapi salah, dan pembaca tidak dapa
 
 0c. **PRPM sendiri boleh tersilap.** Entri `menyebuk` membawa sebutan dan definisi yang betul tetapi ejaan Jawi `مڽبوت`, iaitu ejaan `menyebut`. Pakej menandakannya dalam medan `mencurigakan` apabila huruf akhir Jawi tidak sepadan dengan hujung Rumi. Tandaan itu bermakna semak sendiri di PRPM, bukan buang.
 
+0d. **Merumikan ialah keputusan peringkat AYAT, bukan peringkat perkataan.** Jangan tukar token demi token dan anggap ia selesai. Ejaan Jawi menggunakan empat huruf vokal berbanding enam dalam Rumi, jadi satu ejaan kerap membawa lebih daripada satu bacaan sah. `مڠيکوت` ialah `mengikut` **dan** `mengekot`, dua-duanya entri PRPM sebenar dengan sebutan sendiri. Kamus mengesahkan kedua-duanya wujud; hanya ayat menentukan yang mana dimaksudkan.
+
+   Gunakan `--konteks` supaya ayat dan makna setiap calon dipaparkan bersama:
+
+   ```
+   مڠيکوت  ->  mengikut  atau  mengekot
+     ayat: itu mengikut|mengekot sukatan pelajaran.
+       mengikut    2439 rujukan  pergi bersama-sama dgn, menurut, mengiring
+       mengekot       6 rujukan  merapatkan paha dan tangan ke badan
+   ```
+
+   Bilangan rujukan itu datang daripada panel korpus DBP sendiri, bukan anggaran. Ia **mengisih** calon supaya yang lazim dilihat dahulu; ia **tidak memilih**. Perkataan jarang tetap betul apabila ayat menghendakinya.
+
+0e. **Pembahagian kerja: alat mengemukakan, ANDA memutuskan.** CLI tidak boleh membaca konteks; anda boleh. Jangan sesekali menghantar `mengikut|mengekot` sebagai hasil akhir kepada pengguna.
+
+   Aliran yang betul:
+
+   ```bash
+   npx prpm-dbp rumi teks.txt --pilih --konteks
+   ```
+
+   `--pilih` menghasilkan teks bersih dengan memilih calon paling lazim, dan menyenaraikan setiap pilihan itu:
+
+   ```
+   itu mengikut sukatan pelajaran.
+   dipilih ikut kekerapan (SEMAK konteks): مڠيکوت -> mengikut  [lain: mengekot]
+   ```
+
+   Setiap baris `dipilih` ialah tekaan berasaskan kekerapan, **bukan pemahaman konteks**. Baca ayatnya. Dalam contoh di atas `mengikut sukatan pelajaran` jelas betul dan `mengekot` mustahil. Tetapi dalam ayat tentang orang kesejukan merapatkan tangan ke badan, `mengekot` yang betul walaupun kekerapannya 6 berbanding 2439. Kekerapan ialah tekaan terbaik tanpa konteks; ia kalah kepada konteks setiap kali.
+
 1. **Jangan hantar Jawi yang belum disemak.** Setiap perkataan Jawi dalam output mesti datang dari PRPM atau ditanda belum disahkan.
 2. **Tanda, jangan sekat.** Kalau satu perkataan tiada dalam PRPM, hantar kerja itu dan senaraikan perkataan berkenaan di hujung. Jangan tahan seluruh dokumen sebab satu nama khas.
 3. **Sebut sumber.** PRPM ada beberapa kamus. Bila petik definisi, sebut kamus mana (Kamus Dewan Edisi Keempat, Kamus Pelajar Edisi Kedua, dan lain-lain).

package/bin/cli.js

@@ -37,6 +37,9 @@ Pilihan: --refresh  --had <n>  --delay <ms>  --json  --cepat
          --pedoman       jana imbuhan ikut peraturan DBP (88-98% tepat, hasil ditanda)
          --luar-talian   jangan sentuh rangkaian langsung (wajib untuk laluan permintaan app)
          --homograf      tandakan perkataan yang ejaan Jawinya dikongsi perkataan lain
+         --konteks       papar ayat dan makna setiap calon bagi kekaburan (rumi)
+         --pilih         pilih calon paling lazim supaya teks boleh terus dibaca;
+                         setiap pilihan disenaraikan untuk disemak ikut konteks
 
 Cache: ${CACHE_PATH}
 `
@@ -53,6 +56,8 @@ function huraiArgs(argv) {
     else if (a === '--pedoman') pilihan.pedoman = true
     else if (a === '--luar-talian') pilihan.luarTalian = true
     else if (a === '--homograf') pilihan.homograf = true
+    else if (a === '--konteks') pilihan.konteks = true
+    else if (a === '--pilih') pilihan.pilih = true
     else if (a === '--jenis') pilihan.jenis = argv[++i]
     else if (a === '--had') pilihan.had = Number(argv[++i])
     else if (a === '--delay') pilihan.delay = Number(argv[++i])
@@ -218,15 +223,46 @@ async function main() {
 
     case 'rumi': {
       const teks = await readFile(baki[0], 'utf8')
-      const h = keRumi(teks, cache, { dataset: await muatDataset() })
+      const h = keRumi(teks, cache, {
+        dataset: await muatDataset(),
+        pilihLazim: pilihan.pilih,
+      })
       if (pilihan.json) { keluar(h); break }
       console.log(h.teks)
       console.error(`\npeta songsang: ${h.saizPeta} ejaan`)
       if (h.tidakDikenali.length) {
         console.error(`tidak dikenali (${h.tidakDikenali.length}): ${h.tidakDikenali.join(', ')}`)
       }
+      if (pilihan.konteks && h.kabur.length) {
+        // Kekaburan hanya boleh diselesaikan oleh ayat, bukan oleh kamus.
+        // Papar ayat penuh berserta makna setiap calon supaya keputusan
+        // itu boleh dibuat tanpa membuka PRPM satu per satu.
+        const ayat = h.teks.split(/(?<=[.!?])\s+/)
+        console.error('\n--- konteks untuk kekaburan ---')
+        for (const k of h.kabur) {
+          const pilihanTeks = k.calon.join('|')
+          const induk = ayat.find((a) => a.includes(pilihanTeks)) ?? ''
+          console.error(`\n${k.jawi}  ->  ${k.calon.join('  atau  ')}`)
+          if (induk) console.error(`  ayat: ${induk.trim()}`)
+          for (const c of k.calon) {
+            const rec = cache[c]
+            const def = (rec?.entri?.[0]?.definisi ?? '').slice(0, 70)
+            const kerap = rec?.rujukanKorpus
+            console.error(
+              `    ${c.padEnd(12)} ${kerap != null ? String(kerap).padStart(5) + ' rujukan' : '     kekerapan tidak diketahui'}` +
+                (def ? `  ${def}` : ''),
+            )
+          }
+        }
+      }
       if (h.arab.length) console.error(`teks Arab dibiarkan (${h.arab.length}): ${h.arab.join(' ')}`)
-      for (const k of h.kabur) console.error(`kabur: ${k.jawi} -> ${k.calon.join(', ')}`)
+      for (const k of h.kabur) {
+        console.error(
+          k.dipilih
+            ? `dipilih ikut kekerapan (SEMAK konteks): ${k.jawi} -> ${k.dipilih}  [lain: ${k.calon.slice(1).join(', ')}]`
+            : `kabur: ${k.jawi} -> ${k.calon.join(', ')}`,
+        )
+      }
       break
     }
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "prpm-dbp",
-  "version": "0.14.0",
+  "version": "0.16.0",
   "description": "Semak ejaan Bahasa Melayu dan Jawi terhadap PRPM Dewan Bahasa dan Pustaka. CLI dan skill untuk AI agent.",
   "keywords": [
     "bahasa-melayu",

package/src/prpm.js

@@ -34,6 +34,15 @@ const DEFINISI = /<b>Definisi\s*:\s*<\/b>([\s\S]*?)(?=<b>\(|$)/
 const SUMBER = /<b>\(([^)]+)\)<\/b>/
 const TIADA_TESAURUS = /Tiada maklumat tesaurus untuk kata/
 
+// Panel "Juga ditemukan dalam" menyenaraikan bilangan rujukan perkataan itu
+// dalam setiap korpus DBP. Jumlahnya ialah isyarat kekerapan yang BERSUMBER,
+// bukan tekaan: mengikut 2439 rujukan berbanding mengekot 6.
+//
+// Digunakan untuk MENGISIH calon yang kabur, bukan untuk memilih. Perkataan
+// jarang tetap betul apabila ayat menghendakinya.
+const PANEL_KORPUS = /Juga ditemukan dalam:([\s\S]*?)Perkhidmatan/
+const KIRAAN_KORPUS = /<i>\((\d+)\)<\/i>/g
+
 const ENTITIES = { amp: '&', lt: '<', gt: '>', quot: '"', '#39': "'", nbsp: ' ' }
 
 export function stripTags(raw) {
@@ -65,11 +74,17 @@ export function parse(kata, page) {
     })
   }
 
+  const panel = page.match(PANEL_KORPUS)
+  const rujukanKorpus = panel
+    ? [...panel[1].matchAll(KIRAAN_KORPUS)].reduce((jum, m) => jum + Number(m[1]), 0)
+    : null
+
   const semuaJawi = entri.map((e) => e.jawi).filter(Boolean)
   const unik = [...new Set(semuaJawi)]
   return {
     kata,
     dijumpai: entri.length > 0,
+    rujukanKorpus,
     jawi: unik[0] ?? null,
     jawiVarian: unik.slice(1),
     entri,

package/src/tukar.js

@@ -226,10 +226,21 @@ export function petaSongsang(cache, dataset = null) {
  * Apabila tiada calon lapisan 1, calon yang belum diketahui digunakan dan
  * sumbernya dilabel, tidak dipulangkan secara senyap.
  */
-export function pilihCalon(masuk) {
+export function pilihCalon(masuk, cache = null) {
   if (!masuk) return null
   if (Array.isArray(masuk)) return { calon: masuk, sumber: 'campur' }
-  if (masuk.layak?.length) return { calon: masuk.layak, sumber: 'dbp' }
+
+  // Isih ikut kekerapan korpus DBP apabila diketahui: calon yang lebih
+  // lazim didahulukan supaya pembaca melihatnya dahulu. Ini MENGISIH,
+  // bukan memilih; semua calon tetap dipulangkan.
+  const isih = (senarai) => {
+    if (!cache || senarai.length < 2) return senarai
+    return [...senarai].sort(
+      (a, b) => (cache[b]?.rujukanKorpus ?? 0) - (cache[a]?.rujukanKorpus ?? 0),
+    )
+  }
+
+  if (masuk.layak?.length) return { calon: isih(masuk.layak), sumber: 'dbp' }
   if (masuk.entah?.length) return { calon: masuk.entah, sumber: 'dataset' }
   if (masuk.tolak?.length) return { calon: masuk.tolak, sumber: 'rujukan' }
   return null
@@ -414,7 +425,11 @@ export async function keJawi(teks, cache, opts = {}) {
  * menggugurkannya. Kerana itu perlanggaran jauh lebih jarang daripada yang
  * disangka. Bila ia berlaku, SEMUA calon dilaporkan, bukan dipilih satu.
  */
-export function keRumi(teksJawi, cache, { penanda = ['«', '»'], dataset = null } = {}) {
+export function keRumi(
+  teksJawi,
+  cache,
+  { penanda = ['«', '»'], dataset = null, pilihLazim = false } = {},
+) {
   const peta = petaSongsang(cache, dataset)
   const tidakDikenali = []
   const kabur = []
@@ -452,7 +467,7 @@ export function keRumi(teksJawi, cache, { penanda = ['«', '»'], dataset = null
       }
       if (!bolehGabung) continue
       const frasa = bahagian.slice(i, akhir + 1).join(' ').replace(/\s+/g, ' ')
-      const jumpa = pilihCalon(peta.get(normalisasiJawi(frasa)))
+      const jumpa = pilihCalon(peta.get(normalisasiJawi(frasa)), cache)
       if (jumpa) { padanan = jumpa.calon; hujung = akhir; break }
     }
 
@@ -483,8 +498,19 @@ export function keRumi(teksJawi, cache, { penanda = ['«', '»'], dataset = null
 
     if (padanan.length === 1) keluar.push(padanan[0])
     else {
-      kabur.push({ jawi: bahagian.slice(i, hujung + 1).join(''), calon: padanan })
-      keluar.push(padanan.join('|'))
+      const rekod = { jawi: bahagian.slice(i, hujung + 1).join(''), calon: padanan }
+      kabur.push(rekod)
+      // pilihLazim menghasilkan teks yang boleh terus dibaca dengan memilih
+      // calon paling lazim dalam korpus DBP. Ia BUKAN pemahaman konteks:
+      // setiap pilihan direkod dalam medan `kabur` supaya agen atau manusia
+      // yang membaca ayat boleh menggantikannya. Kekerapan ialah tekaan
+      // terbaik tanpa konteks, bukan jawapan.
+      if (pilihLazim) {
+        rekod.dipilih = padanan[0]
+        keluar.push(padanan[0])
+      } else {
+        keluar.push(padanan.join('|'))
+      }
     }
     i = hujung
   }