@sideid/id-profanity-filter 1.1.0 → 1.9.5

package/src/index.ts

@@ -1,133 +1,188 @@
-export * from './types';
-export * from './core/matcher';
-export * from './core/filter';
-export * from './core/analyzer';
-
-import { filter, isProfane } from './core/filter';
-import {
-  analyze,
-  batchAnalyze,
-  analyzeBySentence,
-  analyzeWithContext,
-} from './core/analyzer';
-import { FilterOptions, FilterResult, AnalysisResult } from './types';
-
-export class IDProfanityFilter {
-  private options: FilterOptions;
-
-  /**
-   * Membuat instance filter baru
-   * @param options Opsi untuk filter
-   */
-  constructor(options: FilterOptions = {}) {
-    this.options = options;
-  }
-
-  /**
-   * Menyensor teks yang diberikan
-   * @param text Teks yang akan disensor
-   * @returns Hasil filter
-   */
-  filter(text: string): FilterResult {
-    return filter(text, this.options);
-  }
-
-  /**
-   * Memeriksa apakah teks mengandung kata kotor
-   * @param text Teks yang akan diperiksa
-   * @returns Boolean apakah teks mengandung kata kotor
-   */
-  isProfane(text: string): boolean {
-    return isProfane(text, this.options);
-  }
-
-  /**
-   * Menganalisis teks untuk kata kotor
-   * @param text Teks yang akan dianalisis
-   * @returns Hasil analisis
-   */
-  analyze(text: string): AnalysisResult {
-    return analyze(text, this.options);
-  }
-
-  /**
-   * Menganalisis batch teks untuk kata kotor
-   * @param texts Array dari teks yang akan dianalisis
-   * @returns Hasil analisis batch
-   */
-  batchAnalyze(texts: string[]) {
-    return batchAnalyze(texts, this.options);
-  }
-
-  /**
-   * Menganalisis teks per-kalimat
-   * @param text Teks yang akan dianalisis
-   * @returns Array hasil analisis per-kalimat
-   */
-  analyzeBySentence(text: string) {
-    return analyzeBySentence(text, this.options);
-  }
-
-  /**
-   * Menganalisis teks dengan konteks di sekitar kata kotor
-   * @param text Teks yang akan dianalisis
-   * @param contextWindowSize Jumlah kata konteks
-   * @returns Konteks di dekat kata kotor
-   */
-  analyzeWithContext(text: string, contextWindowSize: number = 5) {
-    return analyzeWithContext(text, contextWindowSize, this.options);
-  }
-
-  /**
-   * Mengubah opsi filter
-   * @param options Opsi baru untuk filter
-   */
-  setOptions(options: Partial<FilterOptions>) {
-    this.options = {
-      ...this.options,
-      ...options,
-    };
-  }
-
-  /**
-   * Menetapkan daftar kata kustom
-   * @param wordList Daftar kata untuk digunakan
-   */
-  setWordList(wordList: string[]) {
-    this.options.wordList = wordList;
-  }
-
-  /**
-   * Menambahkan kata ke whitelist
-   * @param word Kata yang akan diabaikan
-   */
-  addToWhitelist(word: string) {
-    this.options.whitelist = [
-      ...(this.options.whitelist || []),
-      word.toLowerCase(),
-    ];
-  }
-
-  /**
-   * Menghapus kata dari whitelist
-   * @param word Kata yang akan dihapus dari whitelist
-   */
-  removeFromWhitelist(word: string) {
-    if (!this.options.whitelist) return;
-
-    this.options.whitelist = this.options.whitelist.filter(
-      (w) => w.toLowerCase() !== word.toLowerCase(),
-    );
-  }
-}
-
-export default IDProfanityFilter;
-
-export const idFilter = {
-  filter: (text: string, options?: FilterOptions) => filter(text, options),
-  isProfane: (text: string, options?: FilterOptions) =>
-    isProfane(text, options),
-  analyze: (text: string, options?: FilterOptions) => analyze(text, options),
-  batchAnalyze: (texts: string[], options?: FilterOptions) =>
-    batchAnalyze(texts, options),
-};
+export * from "./types";
+export * from "./core/matcher";
+export * from "./core/filter";
+export * from "./core/analyzer";
+export * from "./utils/stringUtils";
+export * from "./utils/regexUtils";
+export * from "./utils/similarityUtils";
+export * from "./config/options";
+
+import { filter, isProfane } from "./core/filter";
+import {
+  analyze,
+  batchAnalyze,
+  analyzeBySentence,
+  analyzeWithContext,
+} from "./core/analyzer";
+import { FilterOptions, FilterResult, AnalysisResult } from "./types";
+import {
+  DEFAULT_OPTIONS,
+  FILTER_PRESETS,
+  CATEGORY_PRESETS,
+  REGION_PRESETS,
+  getPresetOptions,
+  makeRandomGrawlixString,
+} from "./config/options";
+
+export class IDProfanityFilter {
+  private options: FilterOptions;
+
+  /**
+   * Membuat instance filter baru
+   * @param options Opsi untuk filter
+   */
+  constructor(options: FilterOptions = {}) {
+    this.options = { ...DEFAULT_OPTIONS, ...options };
+  }
+
+  /**
+   * Menyensor teks yang diberikan
+   * @param text Teks yang akan disensor
+   * @returns Hasil filter
+   */
+  filter(text: string): FilterResult {
+    return filter(text, this.options);
+  }
+
+  /**
+   * Memeriksa apakah teks mengandung kata kotor
+   * @param text Teks yang akan diperiksa
+   * @returns Boolean apakah teks mengandung kata kotor
+   */
+  isProfane(text: string): boolean {
+    return isProfane(text, this.options);
+  }
+
+  /**
+   * Menganalisis teks untuk kata kotor
+   * @param text Teks yang akan dianalisis
+   * @returns Hasil analisis
+   */
+  analyze(text: string): AnalysisResult {
+    return analyze(text, this.options);
+  }
+
+  /**
+   * Menganalisis batch teks untuk kata kotor
+   * @param texts Array dari teks yang akan dianalisis
+   * @returns Hasil analisis batch
+   */
+  batchAnalyze(texts: string[]) {
+    return batchAnalyze(texts, this.options);
+  }
+
+  /**
+   * Menganalisis teks per-kalimat
+   * @param text Teks yang akan dianalisis
+   * @returns Array hasil analisis per-kalimat
+   */
+  analyzeBySentence(text: string) {
+    return analyzeBySentence(text, this.options);
+  }
+
+  /**
+   * Menganalisis teks dengan konteks di sekitar kata kotor
+   * @param text Teks yang akan dianalisis
+   * @param contextWindowSize Jumlah kata konteks
+   * @returns Konteks di dekat kata kotor
+   */
+  analyzeWithContext(text: string, contextWindowSize: number = 5) {
+    return analyzeWithContext(text, contextWindowSize, this.options);
+  }
+
+  /**
+   * Mengubah opsi filter
+   * @param options Opsi baru untuk filter
+   */
+  setOptions(options: Partial<FilterOptions>) {
+    this.options = {
+      ...this.options,
+      ...options,
+    };
+  }
+
+  /**
+   * Menggunakan preset yang telah ditentukan
+   * @param presetName Nama preset yang akan digunakan
+   * @param additionalOptions Opsi tambahan untuk override
+   */
+  usePreset(
+    presetName: string,
+    additionalOptions: Partial<FilterOptions> = {},
+  ) {
+    this.options = getPresetOptions(presetName, additionalOptions);
+  }
+
+  /**
+   * Menetapkan daftar kata kustom
+   * @param wordList Daftar kata untuk digunakan
+   */
+  setWordList(wordList: string[]) {
+    this.options.wordList = wordList;
+  }
+
+  /**
+   * Menambahkan kata ke whitelist
+   * @param word Kata yang akan diabaikan
+   */
+  addToWhitelist(word: string) {
+    this.options.whitelist = [
+      ...(this.options.whitelist || []),
+      word.toLowerCase(),
+    ];
+  }
+
+  /**
+   * Menghapus kata dari whitelist
+   * @param word Kata yang akan dihapus dari whitelist
+   */
+  removeFromWhitelist(word: string) {
+    if (!this.options.whitelist) return;
+
+    this.options.whitelist = this.options.whitelist.filter(
+      (w) => w.toLowerCase() !== word.toLowerCase(),
+    );
+  }
+
+  /**
+   * Mengaktifkan deteksi variasi ejaan Indonesia
+   */
+  enableIndonesianVariations() {
+    this.options.indonesianVariation = true;
+  }
+
+  /**
+   * Mengaktifkan deteksi kata yang dipisah
+   */
+  enableSplitWordDetection() {
+    this.options.detectSplit = true;
+  }
+
+  /**
+   * Mengaktifkan deteksi berdasarkan kesamaan
+   * @param threshold Threshold kesamaan (0-1)
+   */
+  enableSimilarityDetection(threshold: number = 0.8) {
+    this.options.detectSimilarity = true;
+    this.options.similarityThreshold = threshold;
+  }
+}
+
+export default IDProfanityFilter;
+
+export const idFilter = {
+  filter: (text: string, options?: FilterOptions) =>
+    filter(text, { ...DEFAULT_OPTIONS, ...options }),
+  isProfane: (text: string, options?: FilterOptions) =>
+    isProfane(text, { ...DEFAULT_OPTIONS, ...options }),
+  analyze: (text: string, options?: FilterOptions) =>
+    analyze(text, { ...DEFAULT_OPTIONS, ...options }),
+  batchAnalyze: (texts: string[], options?: FilterOptions) =>
+    batchAnalyze(texts, { ...DEFAULT_OPTIONS, ...options }),
+  getPresetOptions,
+  presets: {
+    filter: FILTER_PRESETS,
+    category: CATEGORY_PRESETS,
+    region: REGION_PRESETS,
+  },
+};

package/src/types/index.ts

@@ -1,115 +1,88 @@
-export type ProfanityCategory =
-  | 'sexual' // Kata-kata berbau seksual
-  | 'insult' // Kata-kata penghinaan
-  | 'profanity' // Umpatan umum
-  | 'slur' // Perkataan merendahkan berdasarkan identitas
-  | 'drugs' // Terkait narkoba
-  | 'disgusting' // Kata-kata menjijikkan
-  | 'blasphemy'; // Penistaan agama
-
-
-export type Region =
-  | 'general' // Umum di Indonesia
-  | 'jawa' 
-  | 'sunda' 
-  | 'betawi' 
-  | 'batak' 
-  | 'minang' 
-  | 'bali' 
-  | 'madura' 
-  | 'bugis' 
-  | 'aceh' 
-  | 'ambon' 
-  | 'papua' 
-  | 'manado' 
-  | 'banjar' 
-  | 'palembang' 
-  | 'lampung' 
-  | 'ntt' 
-  | 'ntb'; 
-
-/**
- * Definisi kata kotor
- */
-export interface ProfanityWord {
-  word: string; // Kata kotor
-  category: ProfanityCategory; // Kategori kata
-  region: Region; // Daerah asal kata
-  severity: number; // Tingkat keparahan (0-1)
-  aliases?: string[]; // Variasi kata atau alias
-  description?: string; // Deskripsi atau makna kata
-  context?: string; // Konteks penggunaan kata
-}
-
-/**
- * Opsi untuk konfigurasi filter
- */
-export interface FilterOptions {
-  /** List kata yang ingin difilter */
-  wordList?: string[];
-
-  /** Karakter pengganti untuk kata yang disensor */
-  replaceWith?: string;
-
-  /** Apakah harus menyensor seluruh kata atau hanya sebagian */
-  fullWordCensor?: boolean;
-
-  /** Apakah harus mendeteksi kata dengan variasi penulisan */
-  detectLeetSpeak?: boolean;
-
-  /** Mengabaikan kata-kata dalam konteks tertentu (misalnya nama) */
-  whitelist?: string[];
-
-  /** Apakah harus memeriksa substring (lebih ketat) */
-  checkSubstring?: boolean;
-
-  /** Kategori kata yang ingin difilter */
-  categories?: ProfanityCategory[];
-
-  /** Daerah yang ingin difilter katanya */
-  regions?: Region[];
-
-  /** Tingkat keparahan minimum yang akan difilter (0-1) */
-  severityThreshold?: number;
-}
-
-/**
- * Hasil analisis dari teks
- */
-export interface AnalysisResult {
-  /** Apakah teks mengandung kata kotor */
-  hasProfanity: boolean;
-
-  /** Daftar kata kotor yang ditemukan */
-  matches: string[];
-
-  /** Daftar kata kotor lengkap dengan metadata */
-  matchDetails: ProfanityWord[];
-
-  /** Daftar kategori kata kotor yang ditemukan */
-  categories: ProfanityCategory[];
-
-  /** Daftar daerah asal kata kotor yang ditemukan */
-  regions: Region[];
-
-  /** Tingkat keparahan (0-1) berdasarkan jumlah dan jenis kata */
-  severityScore: number;
-}
-
-/**
- * Hasil filter dari teks
- */
-export interface FilterResult {
-  /** Teks hasil filter */
-  filtered: string;
-
-  /** Jumlah kata yang disensor */
-  censored: number;
-
-  /** Kata asli yang disensor dan penggantinya */
-  replacements: Array<{
-    original: string;
-    censored: string;
-    metadata?: ProfanityWord;
-  }>;
-}
+export type ProfanityCategory =
+  | "sexual"
+  | "insult"
+  | "profanity"
+  | "slur"
+  | "drugs"
+  | "disgusting"
+  | "blasphemy";
+
+export type Region =
+  | "general"
+  | "jawa"
+  | "sunda"
+  | "betawi"
+  | "batak"
+  | "minang"
+  | "bali"
+  | "madura"
+  | "bugis"
+  | "aceh"
+  | "ambon"
+  | "papua"
+  | "manado"
+  | "banjar"
+  | "palembang"
+  | "lampung"
+  | "ntt"
+  | "ntb";
+
+export interface ProfanityWord {
+  word: string;
+  category: ProfanityCategory;
+  region: Region;
+  severity: number;
+  aliases?: string[];
+  description?: string;
+  context?: string;
+}
+
+export interface FilterOptions {
+  replaceWith?: string;
+  fullWordCensor?: boolean;
+  detectLeetSpeak?: boolean;
+  checkSubstring?: boolean;
+  wordList?: string[];
+  whitelist?: string[];
+  categories?: ProfanityCategory[];
+  regions?: Region[];
+  severityThreshold?: number;
+  useRandomGrawlix?: boolean;
+  keepFirstAndLast?: boolean;
+  indonesianVariation?: boolean;
+  detectSimilarity?: boolean;
+  similarityThreshold?: number;
+  detectSplit?: boolean;
+}
+
+export interface FilterResult {
+  filtered: string;
+  censored: number;
+  replacements: Array<{
+    original: string;
+    censored: string;
+    metadata?: ProfanityWord;
+  }>;
+}
+
+export interface AnalysisResult {
+  hasProfanity: boolean;
+  matches: string[];
+  matchDetails: ProfanityWord[];
+  categories: ProfanityCategory[];
+  regions: Region[];
+  severityScore: number;
+  similarWords?: Array<{
+    word: string;
+    original: string;
+    similarity: number;
+  }>;
+}
+
+export interface RegexOptions {
+  wholeWord?: boolean;
+  caseSensitive?: boolean;
+  leetSpeak?: boolean;
+  detectSplit?: boolean;
+  indonesianVariation?: boolean;
+}