@sideid/id-profanity-filter 1.10.5 → 1.11.0

package/src/constants/categories/profanity.ts

@@ -0,0 +1,139 @@
+import { ProfanityWord } from "../../types";
+import { general } from "../regions/general";
+import { jawa } from "../regions/jawa";
+import { sunda } from "../regions/sunda";
+import { betawi } from "../regions/betawi";
+
+export const profanity: ProfanityWord[] = [
+  ...general.filter((word) => word.category === "profanity"),
+  ...jawa.filter((word) => word.category === "profanity"),
+  ...sunda.filter((word) => word.category === "profanity"),
+  ...betawi.filter((word) => word.category === "profanity"),
+
+  {
+    word: "anjing",
+    category: "profanity",
+    region: "general",
+    severity: 0.9,
+    aliases: ["anjir", "anying", "njing", "njir"],
+    description: "Kata umpatan yang mengacu pada hewan anjing",
+    context: "Digunakan sebagai ekspresi kemarahan atau frustasi",
+  },
+  {
+    word: "babi",
+    category: "profanity",
+    region: "general",
+    severity: 0.8,
+    aliases: ["babik", "khinzir"],
+    description: "Kata umpatan yang mengacu pada hewan babi",
+    context:
+      "Digunakan untuk mengekspresikan kemarahan atau menghina seseorang",
+  },
+  {
+    word: "bangsat",
+    category: "profanity",
+    region: "general",
+    severity: 0.8,
+    aliases: ["bgst", "bangst"],
+    description: "Kata umpatan kasar yang berarti kutu atau parasit",
+    context: "Digunakan untuk menunjukkan kemarahan atau menghina seseorang",
+  },
+  {
+    word: "kampret",
+    category: "profanity",
+    region: "general",
+    severity: 0.7,
+    aliases: ["kampret lu", "kampretot"],
+    description: "Kata umpatan yang mengacu pada jenis kelelawar kecil",
+    context: "Digunakan untuk mengungkapkan kekesalan atau menghina seseorang",
+  },
+  {
+    word: "sialan",
+    category: "profanity",
+    region: "general",
+    severity: 0.6,
+    aliases: ["sial", "siaal"],
+    description: "Kata umpatan yang menunjukkan nasib buruk",
+    context: "Digunakan untuk mengekspresikan kekesalan atau kemarahan",
+  },
+  {
+    word: "monyet",
+    category: "profanity",
+    region: "general",
+    severity: 0.7,
+    aliases: ["monyong", "munyuk"],
+    description: "Kata umpatan yang mengacu pada hewan primata",
+    context: "Digunakan untuk menghina atau mengekspresikan kemarahan",
+  },
+  {
+    word: "bajingan",
+    category: "profanity",
+    region: "general",
+    severity: 0.8,
+    aliases: ["bajinga", "bjngn"],
+    description: "Kata umpatan yang berarti penjahat atau orang jahat",
+    context:
+      "Digunakan untuk mengumpat seseorang yang dianggap buruk perilakunya",
+  },
+  {
+    word: "jancok",
+    category: "profanity",
+    region: "jawa",
+    severity: 0.9,
+    aliases: ["jancuk", "jancik", "dancok"],
+    description: "Kata umpatan kasar dalam bahasa Jawa",
+    context:
+      "Umpatan sangat kasar dalam budaya Jawa, menunjukkan kemarahan yang tinggi",
+  },
+  {
+    word: "cuk",
+    category: "profanity",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["cok", "cug"],
+    description: "Bentuk singkat dari jancok",
+    context:
+      "Versi pendek dari umpatan jancok, digunakan dalam percakapan sehari-hari",
+  },
+  {
+    word: "asu",
+    category: "profanity",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["asyu", "su"],
+    description: "Kata Jawa untuk anjing, digunakan sebagai umpatan",
+    context: "Ekspresi umpatan yang umum di masyarakat Jawa",
+  },
+  {
+    word: "sia",
+    category: "profanity",
+    region: "sunda",
+    severity: 0.6,
+    aliases: ["siah", "siaa"],
+    description: "Kata ganti orang kedua dalam bahasa Sunda yang kasar",
+    context:
+      "Menunjukkan ketidakhormatan pada lawan bicara dalam konteks Sunda",
+  },
+  {
+    word: "lu",
+    category: "profanity",
+    region: "betawi",
+    severity: 0.4,
+    aliases: ["elu", "lo"],
+    description: "Kata ganti orang kedua dalam dialek Betawi",
+    context:
+      "Dapat dianggap kasar dalam konteks formal atau saat berbicara dengan orang yang lebih tua",
+  },
+  {
+    word: "goblok",
+    category: "profanity",
+    region: "general",
+    severity: 0.7,
+    aliases: ["goblog", "goblokk", "bego", "bodoh"],
+    description: "Kata umpatan yang menunjukkan kebodohan",
+    context: "Digunakan untuk menghina kecerdasan seseorang",
+  },
+];
+
+export const profanityWords = profanity.map((item) => item.word);
+export default profanity;

package/src/constants/categories/slur.ts

@@ -0,0 +1,102 @@
+import { ProfanityWord } from "../../types";
+import { general } from "../regions/general";
+import { jawa } from "../regions/jawa";
+import { sunda } from "../regions/sunda";
+import { betawi } from "../regions/betawi";
+
+export const slur: ProfanityWord[] = [
+  ...general.filter((word) => word.category === "slur"),
+  ...jawa.filter((word) => word.category === "slur"),
+  ...sunda.filter((word) => word.category === "slur"),
+  ...betawi.filter((word) => word.category === "slur"),
+
+  {
+    word: "cina",
+    category: "slur",
+    region: "general",
+    severity: 0.7,
+    aliases: ["cino", "china"],
+    description:
+      "Sebutan yang dianggap merendahkan untuk orang keturunan Tionghoa",
+    context: 'Dianggap tidak sopan dan sebaiknya diganti dengan "Tionghoa"',
+  },
+  {
+    word: "banci",
+    category: "slur",
+    region: "general",
+    severity: 0.7,
+    aliases: ["bencong", "waria", "bences"],
+    description:
+      "Istilah merendahkan untuk transgender atau pria yang dianggap feminin",
+    context:
+      "Digunakan sebagai hinaan terhadap identitas gender atau ekspresi gender seseorang",
+  },
+  {
+    word: "autis",
+    category: "slur",
+    region: "general",
+    severity: 0.6,
+    aliases: ["autis lu", "autisan"],
+    description: "Penyalahgunaan kondisi medis sebagai hinaan",
+    context:
+      "Menggunakan kondisi spektrum autisme sebagai hinaan untuk seseorang yang dianggap aneh",
+  },
+  {
+    word: "londo",
+    category: "slur",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["landa", "landi"],
+    description: "Sebutan untuk orang Belanda atau orang berkulit putih",
+    context: "Dapat bersifat merendahkan tergantung konteks dan nada bicara",
+  },
+  {
+    word: "keling",
+    category: "slur",
+    region: "general",
+    severity: 0.8,
+    aliases: ["kaling", "hitam legam"],
+    description: "Istilah merendahkan untuk orang India atau berkulit gelap",
+    context: "Dianggap sangat tidak sopan dan bernada rasis",
+  },
+  {
+    word: "cacat",
+    category: "slur",
+    region: "general",
+    severity: 0.7,
+    aliases: ["cacad", "difabel"],
+    description: "Istilah merendahkan untuk penyandang disabilitas",
+    context: "Digunakan sebagai hinaan untuk menunjukkan ketidaksempurnaan",
+  },
+  {
+    word: "gembel",
+    category: "slur",
+    region: "general",
+    severity: 0.6,
+    aliases: ["gembul", "gelandangan"],
+    description: "Istilah merendahkan untuk orang tidak mampu atau tunawisma",
+    context: "Mengandung stigma terhadap kemiskinan dan kelas sosial",
+  },
+  {
+    word: "kampungan",
+    category: "slur",
+    region: "general",
+    severity: 0.5,
+    aliases: ["ndeso", "katrok", "udik"],
+    description: "Istilah merendahkan untuk orang dari daerah pedesaan",
+    context:
+      "Menyiratkan seseorang tidak beradab, tidak berpendidikan, atau ketinggalan zaman",
+  },
+  {
+    word: "tolol",
+    category: "slur",
+    region: "general",
+    severity: 0.6,
+    aliases: ["tololnya", "tolo"],
+    description: "Hinaan terhadap kecerdasan seseorang",
+    context: "Digunakan untuk menghina kapasitas mental seseorang",
+  },
+];
+
+export const slurWords = slur.map((item) => item.word);
+export default slur;

package/src/constants/regions/jawa.ts

@@ -14,7 +14,7 @@ export const jawa: ProfanityWord[] = [
     word: "jancok",
     category: "sexual",
     region: "jawa",
-    severity: 0.8,
+    severity: 0.9,
     aliases: ["jancuk", "jncok", "jancuk", "jncuk", "dancok", "dancuk"],
     description: "Kata umpatan kasar dalam Bahasa Jawa",
     context: "Umpatan kasar yang umum digunakan di Jawa Timur",
@@ -52,7 +52,7 @@ export const jawa: ProfanityWord[] = [
     word: "mbokne ancok",
     category: "insult",
     region: "jawa",
-    severity: 0.8,
+    severity: 0.9,
     aliases: ["mbokne", "mbokneancok"],
     description: "Umpatan yang menyinggung ibu seseorang",
     context: "Umpatan kasar yang menyinggung orangtua orang lain",
@@ -61,7 +61,7 @@ export const jawa: ProfanityWord[] = [
     word: "pekok",
     category: "insult",
     region: "jawa",
-    severity: 0.6,
+    severity: 0.7,
     aliases: ["pekak", "pekilk"],
     description: "Kata hinaan yang menunjukkan kebodohan",
     context: "Hinaan untuk menyebut orang yang dianggap sangat bodoh",
@@ -95,6 +95,250 @@ export const jawa: ProfanityWord[] = [
     context:
       "Umpatan ringan untuk menanggapi sesuatu yang dianggap tidak benar",
   },
+  {
+    word: "kontol",
+    category: "sexual",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["kntl", "kontl"],
+    description: "Mengacu ke alat kelamin laki-laki",
+    context: "Kata vulgar yang sering digunakan sebagai umpatan kasar",
+  },
+  {
+    word: "tempek",
+    category: "sexual",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["mpek", "torok", "tempk"],
+    description: "Mengacu pada alat kelamin perempuan",
+    context: "Kata vulgar yang digunakan sebagai umpatan atau hinaan",
+  },
+  {
+    word: "silit",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["selet", "tilis"],
+    description: "Mengacu pada bagian dubur atau anus",
+    context: "Kata kasar yang digunakan sebagai hinaan",
+  },
+  {
+    word: "mbahmu",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["mbahmu kiper", "mbah mu"],
+    description: "Hinaan yang menyinggung nenek/kakek seseorang",
+    context: "Umpatan ringan untuk menanggapi sesuatu yang tidak masuk akal",
+  },
+  {
+    word: "makmu",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: ["mak mu", "mamamu"],
+    description: "Hinaan yang menyinggung ibu seseorang",
+    context: "Umpatan yang dianggap kasar karena menyinggung orang tua",
+  },
+  {
+    word: "bajingan",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: [
+      "bajilak",
+      "bajhingan",
+      "bajingak",
+      "bajingseng",
+      "bajindul",
+      "bajigur",
+      "jingan",
+    ],
+    description: "Sebutan untuk orang yang dianggap jahat atau tidak bermoral",
+    context: "Umpatan untuk mengekspresikan kemarahan atau kekesalan",
+  },
+  {
+    word: "cocote",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["cocot", "bacot", "nyocot"],
+    description: "Mengacu pada mulut dengan konotasi negatif",
+    context: "Umpatan untuk menyuruh seseorang berhenti berbicara",
+  },
+  {
+    word: "ngentot",
+    category: "sexual",
+    region: "jawa",
+    severity: 0.9,
+    aliases: ["kentu", "kentot", "iclik", "ngtt", "iclk"],
+    description: "Mengacu pada aktivitas seksual",
+    context: "Kata vulgar yang digunakan sebagai umpatan kasar",
+  },
+  {
+    word: "edan",
+    category: "insult",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["gendeng", "gila", "gendheng", "sarap"],
+    description: "Secara harfiah berarti gila atau tidak waras",
+    context: "Umpatan untuk menyebut seseorang yang dianggap tidak masuk akal",
+  },
+  {
+    word: "dapuranmu",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["raimu", "rai mu"],
+    description: "Secara harfiah mengacu pada wajah atau rupa seseorang",
+    context: "Umpatan untuk menghina penampilan atau wajah seseorang",
+  },
+  {
+    word: "damput",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: ["diamput"],
+    description: "Variasi bentuk umpatan dengan makna serupa dengan jancok",
+    context: "Umpatan kasar untuk mengekspresikan kemarahan",
+  },
+  {
+    word: "mbathang",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: ["mbatang"],
+    description: "Secara harfiah berarti bangkai",
+    context: "Umpatan kasar untuk menghina seseorang",
+  },
+  {
+    word: "ndlogok",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["ndelodok", "ndlodok"],
+    description:
+      "Mengacu pada tindakan yang dianggap bodoh atau tidak masuk akal",
+    context: "Hinaan untuk mengkritik tindakan seseorang",
+  },
+  {
+    word: "nggateli",
+    category: "insult",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["gateli", "gathel"],
+    description: "Secara harfiah berarti gatal atau menyebalkan",
+    context: "Ungkapan untuk menunjukkan kekesalan terhadap perilaku seseorang",
+  },
+  {
+    word: "perek",
+    category: "sexual",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["lonthe", "pelacur"],
+    description: "Istilah merendahkan untuk pekerja seks komersial",
+    context: "Kata kasar untuk menghina wanita",
+  },
+  {
+    word: "picek",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["pcek", "buta"],
+    description: "Secara harfiah berarti buta atau tidak bisa melihat",
+    context: "Hinaan untuk orang yang dianggap tidak bisa melihat kenyataan",
+  },
+  {
+    word: "untumu",
+    category: "insult",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["gigimu", "untu mu"],
+    description: "Secara harfiah berarti gigimu",
+    context: "Umpatan ringan untuk menanggapi sesuatu yang tidak disetujui",
+  },
+  {
+    word: "goblog",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: ["ghoblog", "goblok", "gobhlok", "pekok"],
+    description: "Kata hinaan yang menunjukkan kebodohan ekstrem",
+    context: "Hinaan untuk menyebut seseorang yang dianggap sangat bodoh",
+  },
+  {
+    word: "tolol",
+    category: "insult",
+    region: "jawa",
+    severity: 0.7,
+    aliases: ["tholol", "tlol"],
+    description: "Kata hinaan yang menunjukkan kebodohan",
+    context: "Hinaan untuk menyebut seseorang yang dianggap bodoh",
+  },
+  {
+    word: "budheg",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["budeg", "bdeg"],
+    description: "Secara harfiah berarti tuli atau tidak bisa mendengar",
+    context: "Hinaan untuk orang yang dianggap tidak mau mendengarkan",
+  },
+  {
+    word: "jiangkrik",
+    category: "insult",
+    region: "jawa",
+    severity: 0.4,
+    aliases: ["jiangkrek", "jangkrik"],
+    description: "Secara harfiah berarti jangkrik, digunakan sebagai eufemisme",
+    context: "Umpatan ringan sebagai pengganti kata kasar yang lebih vulgar",
+  },
+  {
+    word: "diamput",
+    category: "insult",
+    region: "jawa",
+    severity: 0.8,
+    aliases: ["damput", "djamput"],
+    description: "Bentuk umpatan kasar dengan makna serupa jancok",
+    context: "Kata kasar untuk mengekspresikan kemarahan",
+  },
+  {
+    word: "celeng",
+    category: "insult",
+    region: "jawa",
+    severity: 0.6,
+    aliases: ["cleng", "babi hutan"],
+    description: "Secara harfiah berarti babi hutan",
+    context: "Hinaan untuk orang yang dianggap jorok atau rakus",
+  },
+  {
+    word: "kampret",
+    category: "insult",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["kmpret", "kmprt"],
+    description: "Secara harfiah berarti kelelawar kecil",
+    context: "Umpatan ringan untuk mengekspresikan kekesalan",
+  },
+  {
+    word: "ndeso",
+    category: "insult",
+    region: "jawa",
+    severity: 0.4,
+    aliases: ["ndesa", "deso"],
+    description: "Secara harfiah berarti dari desa atau kampungan",
+    context:
+      "Hinaan untuk orang yang dianggap kurang modern atau berpendidikan",
+  },
+  {
+    word: "kere",
+    category: "insult",
+    region: "jawa",
+    severity: 0.5,
+    aliases: ["miskin", "mlarat"],
+    description: "Secara harfiah berarti miskin atau tidak punya uang",
+    context: "Hinaan untuk status ekonomi seseorang yang dianggap rendah",
+  },
   {
     word: "itil",
     category: "sexual",

package/src/core/analyzer.ts

@@ -12,7 +12,10 @@ import {
   calculateSeverity,
 } from "./matcher";
 import { splitIntoSentences } from "../utils/stringUtils";
-import { findPossibleProfanityBySimiliarity } from "../utils/similarityUtils";
+import {
+  findPossibleProfanityBySimiliarity,
+  findProfanityByLevenshteinDistance,
+} from "../utils/similarityUtils";
 import { createContextRegex } from "../utils/regexUtils";
 import { DEFAULT_OPTIONS } from "../config/options";
 
@@ -54,12 +57,30 @@ export function analyze(
   }> = [];
 
   if (mergedOptions.detectSimilarity) {
-    const wordList = matchDetails.map((word) => word.word);
-    similarWords = findPossibleProfanityBySimiliarity(
-      text,
-      wordList,
-      mergedOptions.similarityThreshold || 0.8,
-    );
+    if (matchDetails.length > 0) {
+      const wordList = matchDetails.map((word) => word.word);
+
+      if (mergedOptions.useLevenshtein) {
+        const levenshteinResults = findProfanityByLevenshteinDistance(
+          text,
+          wordList,
+          mergedOptions.similarityThreshold || 0.8,
+          mergedOptions.maxLevenshteinDistance || 2,
+        );
+
+        similarWords = levenshteinResults.map((item) => ({
+          word: item.word,
+          original: item.original,
+          similarity: item.similarity,
+        }));
+      } else {
+        similarWords = findPossibleProfanityBySimiliarity(
+          text,
+          wordList,
+          mergedOptions.similarityThreshold || 0.8,
+        );
+      }
+    }
   }
 
   return {

package/src/core/matcher.ts

@@ -13,6 +13,21 @@ import {
   findProfanityByLevenshteinDistance,
 } from "../utils/similarityUtils";
 import { DEFAULT_OPTIONS } from "../config/options";
+import { AhoCorasick } from "../utils/ahoCorasick";
+
+const globalAhoCorasick = new AhoCorasick();
+let ahoCorasickInitialized = false;
+
+function initializeAhoCorasick(words: string[]) {
+  if (ahoCorasickInitialized) return;
+
+  for (const word of words) {
+    globalAhoCorasick.addPattern(word);
+  }
+
+  globalAhoCorasick.build();
+  ahoCorasickInitialized = true;
+}
 
 interface FindProfanityFunction {
   (text: string, options?: FilterOptions): string[];
@@ -85,27 +100,19 @@ export function findProfanity(
   const matches = new Set<string>();
   const actualMatches = new Map<string, string[]>();
 
-  wordsToCheck.forEach((word) => {
-    const regex = createWordRegex(word, {
-      wholeWord: !checkSubstring,
-      caseSensitive: false,
-      leetSpeak: false,
-      detectSplit: false,
-      indonesianVariation: false,
-    });
+  initializeAhoCorasick(wordsToCheck);
 
-    let match;
-    while ((match = regex.exec(normalizedText)) !== null) {
-      const originalWord =
-        aliasMap.get(word.toLowerCase()) || word.toLowerCase();
-      matches.add(originalWord);
+  const basicMatches = globalAhoCorasick.searchUnique(normalizedText);
+  for (const match of basicMatches) {
+    const originalWord =
+      aliasMap.get(match.toLowerCase()) || match.toLowerCase();
+    matches.add(originalWord);
 
-      if (!actualMatches.has(originalWord)) {
-        actualMatches.set(originalWord, []);
-      }
-      actualMatches.get(originalWord)?.push(match[0]);
+    if (!actualMatches.has(originalWord)) {
+      actualMatches.set(originalWord, []);
     }
-  });
+    actualMatches.get(originalWord)?.push(match);
+  }
 
   if (detectLeetSpeak) {
     wordsToCheck.forEach((word) => {