dsh-paper-search 0.1.1 → 0.1.3

package/CHANGELOG.md

@@ -4,7 +4,7 @@
 
 | dsh-paper-search | DeepSeek Harness | Diuji pada |
 |---|---|---|
-| 0.1.1 | 0.1.7-rc.2 | 28 Sep 2026, Windows, Node 24 |
+| 0.1.3 | 0.1.7-rc.2 | 28 Sep 2026, Windows, Node 24 |
 | ~~0.1.0~~ | — | **JANGAN DIPAKAI — plugin gagal dimuat, lihat 0.1.1** |
 
 Paket ini tidak memakai API internal DSH selain `ctx.tools.register` dan
@@ -12,6 +12,74 @@ Paket ini tidak memakai API internal DSH selain `ctx.tools.register` dan
 berjalan di profil ini (`dsh-search-cascade`), jadi titik patahnya sama dan sudah
 diketahui.
 
+## [0.1.3] - 2026-09-28
+
+### Fixed
+
+- **Portal Indonesia melaporkan GAGAL padahal hasilnya cuma KOSONG.** Ketiga
+  konektor Indonesia melempar `markup ... berubah` setiap kali penanda hasil tidak
+  ditemukan — termasuk saat portal itu **sah-sah saja menjawab nol hasil**. Itu
+  keliru dengan arah berlawanan dari prinsip paket ini: melaporkan kegagalan di
+  tempat yang seharusnya kosong sama menyesatkannya dengan menyembunyikan
+  kegagalan.
+
+  Ketahuan dari **uji orkestrasi**, bukan dari uji unit: `Sinta` gagal untuk
+  `"literasi digital remaja"` padahal berhasil untuk `"pendidikan karakter"`.
+  Setelah halaman kosong dan halaman ber-hasil dibandingkan, ternyata ketiga
+  portal punya penanda nol-hasilnya sendiri:
+
+  | Portal | Penanda nol hasil | Halaman kosong |
+  |---|---|---|
+  | Garuda | `Found 0 documents` | 11.181 huruf |
+  | Sinta | header `Results for "<q>"` tetap ada, tautan profil nol | 34.063 huruf |
+  | IOS | `No Results!` | 23.041 huruf |
+
+  `portalNolHasil()` sekarang membedakan **tiga** kemungkinan — nol hasil (→ `[]`),
+  markup berubah (→ error), dan diblokir (→ error) — bukan dua.
+
+  Akibatnya untuk Sinta: kueri spesifik yang memang nol hasil tidak lagi tampak
+  seperti kerusakan. Sinta mendaftar **jurnal**, bukan artikel, jadi nol hasil itu
+  wajar dan sekarang dilaporkan sebagai nol.
+
+### Added
+
+- 3 asersi regresi: kueri omong kosong ke ketiga portal Indonesia harus
+  menghasilkan **0 hasil tanpa error**.
+
+## [0.1.2] - 2026-09-28
+
+### Fixed
+
+- **Judul Garuda masih bisa terduplikasi.** Perbaikan di rilis sebelumnya baru
+  menangani pengulangan **persis** (`X X X`). Setelah mengukur **50 judul
+  sungguhan** (5 kueri, diambil apa adanya dari halaman Garuda), ternyata ada
+  **empat** bentuk pengulangan, bukan satu:
+
+  | Bentuk | Contoh | Panjang |
+  |---|---|---|
+  | A — periode persis | `X X X X X X` | 255 → 43 |
+  | B — diulang sesudah `": "` | `X: X` | 194 → 96 |
+  | C — awalan lalu `X: X` | `NLP, Machine Learning X: X` | 270 → 145 |
+  | D — frasa diulang di awal | `IMPLEMENTASI PENDIDIKAN KARAKTER IMPLEMENTASI …` | 306 → 295 |
+
+  `runtuhkanPeriodik()` diganti **`runtuhkanJudul()`** yang menangani keempatnya,
+  termasuk pengulangan dengan **kapitalisasi berbeda** (252 → 125) — Garuda
+  memang sering mengulang judul dalam huruf besar lalu huruf kecil.
+
+  **Yang paling penting, dan inilah yang diuji:** judul **sah** berformat
+  `Judul: subjudul`, `Judul: (studi kasus)`, dan `Judul: kata kunci` **tidak**
+  ikut terpotong. Karena itu aturannya menuntut bagian sesudah `": "` benar-benar
+  **sama** dengan akhiran bagian sebelumnya — bukan sekadar ada titik dua. Pada
+  50 judul itu hasilnya: **14 diringkas, 36 dibiarkan, 0 cacat**, dan **15 judul
+  bertitik dua tetap utuh**.
+
+### Added
+
+- **11 asersi regresi baru** di `test/uji-sumber.mjs`, memakai teks yang diambil
+  apa adanya dari Garuda. Lima di antaranya justru menjaga agar judul **sah**
+  tidak terpotong — tanpa itu, aturannya bisa "lulus" hanya dengan memotong
+  setiap judul yang bertitik dua.
+
 ## [0.1.1] - 2026-09-28
 
 ### Fixed

package/lib/sources.js

@@ -74,26 +74,56 @@ function normDoi(doi) {
 }
 
 /**
- * Beberapa portal menulis judul di dalam elemen <xmp> dan MENGULANGNYA untuk
- * mengisi lebar tampilan. Terukur di Garuda 28 Sep 2026: judul
- * "PENDIDIKAN KARAKTER ANAK USIA SEKOLAH DASAR" (44 huruf) muncul sekitar enam
- * kali dalam satu <xmp> sehingga panjangnya 255 huruf.
+ * Garuda menulis judul di dalam elemen <xmp> dengan BEBERAPA bentuk pengulangan,
+ * dan mengulanginya untuk mengisi lebar tampilan. Keempatnya diukur 28 Sep 2026
+ * dari **50 judul sungguhan** (5 kueri):
  *
- * Fungsi ini mencari periode terkecil dan menyisakan SATU salinan. Ia hanya
- * bertindak bila pengulangannya PERSIS dari awal sampai akhir — kalau tidak,
- * teks dibiarkan apa adanya. Sengaja konservatif: lebih baik judul berlebihan
- * daripada judul yang terpotong salah.
+ *   A. periode persis        "X X X X X X"                         (255 huruf)
+ *   B. diulang sesudah ": "   "X: X"                                (194 huruf)
+ *   C. awalan lalu "X: X"     "NLP, Machine Learning X: X"          (270 huruf)
+ *   D. frasa diulang di awal  "IMPLEMENTASI PENDIDIKAN KARAKTER IMPLEMENTASI …"
+ *
+ * Yang TIDAK boleh disentuh — dan sudah diperiksa pada 50 sampel itu: judul SAH
+ * berformat "Judul: subjudul", "Judul: (studi kasus)", dan "Judul: kata kunci".
+ * Karena itu aturan (c) menuntut bagian sesudah ": " benar-benar SAMA dengan
+ * akhiran bagian sebelumnya — bukan sekadar ada titik dua. Pada 50 sampel,
+ * tidak satu pun judul sah ikut terpotong.
+ *
+ * Sengaja konservatif: lebih baik judul berlebihan daripada judul terpotong salah.
  */
-function runtuhkanPeriodik(s) {
-  const t = (s ?? '').trim();
-  const n = t.length;
-  if (n < 30) return t;
-  for (let p = 10; p <= Math.floor(n / 2); p++) {
-    let cocok = true;
-    for (let i = p; i < n; i++) {
-      if (t[i] !== t[i % p]) { cocok = false; break; }
+export function runtuhkanJudul(s) {
+  let t = (s ?? '').trim();
+  for (let putaran = 0; putaran < 4; putaran++) {
+    const sebelum = t;
+
+    // (A) periode persis: cari periode terkecil, sisakan satu salinan.
+    const n = t.length;
+    for (let p = 10; p <= Math.floor(n / 2); p++) {
+      let cocok = true;
+      for (let i = p; i < n; i++) {
+        if (t[i] !== t[i % p]) { cocok = false; break; }
+      }
+      if (cocok) { t = t.slice(0, p).trim(); break; }
+    }
+
+    // (D) frasa yang diulang di awal: "A A sisa" -> "A sisa".
+    // `A` harus berakhir di batas kata, supaya tidak memotong di tengah kata.
+    for (let p = 8; p <= Math.floor(t.length / 2); p++) {
+      const a = t.slice(0, p);
+      if (!/[\s.)\]]$/.test(a)) continue;
+      if (t.startsWith(a + a)) { t = (a + t.slice(2 * p)).trim(); break; }
     }
-    if (cocok) return t.slice(0, p).trim();
+
+    // (B)/(C) diulang sesudah ": " terakhir — dibandingkan TANPA peduli huruf
+    // besar/kecil, karena Garuda sering mengulang judul dengan kapitalisasi beda.
+    const pisah = t.lastIndexOf(': ');
+    if (pisah > 0) {
+      const ekor = t.slice(pisah + 2).trim();
+      const kepala = t.slice(0, pisah).trim();
+      if (ekor.length >= 20 && kepala.toLowerCase().endsWith(ekor.toLowerCase())) t = kepala;
+    }
+
+    if (t === sebelum) break;
   }
   return t;
 }
@@ -101,7 +131,7 @@ function runtuhkanPeriodik(s) {
 function buatPaper(p) {
   const doi = normDoi(p.doi);
   return {
-    title: potong(runtuhkanPeriodik(bersihTeks(p.title) ?? ''), 300),
+    title: potong(runtuhkanJudul(bersihTeks(p.title) ?? ''), 300),
     authors: Array.isArray(p.authors) ? p.authors.map(bersihTeks).filter(Boolean).slice(0, 15) : [],
     year: Number.isFinite(Number(p.year)) && Number(p.year) > 1500 ? Number(p.year) : null,
     source: p.source,
@@ -429,6 +459,29 @@ function ambilHtml(html, pola, batas) {
   return out;
 }
 
+/**
+ * Saat penanda hasil tidak ditemukan, ada TIGA kemungkinan yang BERBEDA:
+ *   1. portal menjawab "nol hasil"  -> `[]`, itu hasil yang SAH
+ *   2. markup portal berubah        -> error
+ *   3. portal memblokir/mengalihkan -> error
+ *
+ * Sebelum ini (1) dan (2) diperlakukan sama, sehingga portal yang benar-benar
+ * kosong dilaporkan sebagai **GAGAL**. Itu keliru dengan arah berlawanan:
+ * melaporkan kegagalan padahal hasilnya sah-sah saja kosong — sama
+ * menyesatkannya dengan menyembunyikan kegagalan.
+ *
+ * Penanda nol-hasil diukur 28 Sep 2026 memakai kueri omong kosong, lalu
+ * dibandingkan dengan kueri yang ada hasilnya:
+ *
+ *   Garuda : "Found 0 documents"                (halaman 11.181 huruf)
+ *   Sinta  : header `Results for "<q>"` tetap ada, tautan profil nol
+ *            (halaman 34.063 huruf) — Sinta TIDAK menulis pesan kosong
+ *   IOS    : "No Results!"                      (halaman 23.041 huruf)
+ */
+function portalNolHasil(html, ...penanda) {
+  return penanda.some((re) => re.test(html));
+}
+
 const GARUDA_BASE = 'https://garuda.kemdiktisaintek.go.id';
 
 /** Garuda — indeks artikel jurnal Indonesia (Kemdiktisaintek). */
@@ -442,9 +495,10 @@ async function garuda(query, { rows }) {
     journal: 'Garuda (jurnal Indonesia)',
     openAccess: true,
   })).filter((p) => p.title);
-  // Penguraian HTML yang tidak menemukan satu pun pola = kemungkinan markup
-  // berubah. Laporkan sebagai error, JANGAN sebagai "tidak ada hasil".
+  // Penguraian HTML yang tidak menemukan satu pun pola bisa berarti DUA hal yang
+  // berlawanan. Bedakan: Garuda menulis "Found 0 documents" saat memang kosong.
   if (hasil.length === 0 && !/title-article/.test(html)) {
+    if (portalNolHasil(html, /Found\s+0\s+document/i)) return [];
     throw new Error('markup Garuda berubah: penanda "title-article" tidak ditemukan lagi');
   }
   return hasil;
@@ -461,7 +515,12 @@ async function sinta(query, { rows }) {
     journal: 'Sinta (jurnal terakreditasi)',
     openAccess: true,
   })).filter((p) => p.title);
+  // Sinta TIDAK menulis pesan kosong — ia tetap menampilkan header
+  // `Results for "<kueri>"` lalu daftar yang kosong. Jadi header itu yang
+  // dipakai sebagai bukti "halaman dimuat, hasilnya memang nol".
+  // (Sinta mendaftar JURNAL, bukan artikel, jadi kueri spesifik memang sering nol.)
   if (hasil.length === 0 && !/journals\/profile\//.test(html)) {
+    if (portalNolHasil(html, /Results for/i)) return [];
     throw new Error('markup Sinta berubah: tautan "journals/profile" tidak ditemukan lagi');
   }
   return hasil;
@@ -479,6 +538,7 @@ async function ios(query, { rows }) {
     openAccess: true,
   })).filter((p) => p.title);
   if (hasil.length === 0 && !/class="title"/.test(html)) {
+    if (portalNolHasil(html, /No Results!/i)) return [];
     throw new Error('markup IOS berubah: tautan hasil ber-class "title" tidak ditemukan lagi');
   }
   return hasil;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "dsh-paper-search",
-  "version": "0.1.1",
+  "version": "0.1.3",
   "description": "Literature search for DeepSeek Harness: thirteen international sources (Crossref, OpenAlex, DOAJ, Europe PMC, PubMed, PubMed Central, arXiv, Semantic Scholar, CORE, Zenodo, HAL, IACR ePrint, Unpaywall) and three Indonesian journal portals (Garuda, Sinta, IOS OneSearch), all native HTTP with no external CLI required, plus a status tool that reports which sources answer and which credentials are configured.",
   "license": "MIT",
   "type": "module",