@echogarden/text-segmentation 0.1.0

package/src/Patterns.ts

@@ -0,0 +1,225 @@
+import { anyOf, buildRegExp, charRange, inputEnd, inputStart, matches, oneOrMore, possibly, repeated, tab, unicodeProperty, whitespace } from 'regexp-composer'
+
+export function buildWordOrNumberPattern(suppressions: string[]) {
+	return anyOf(
+		buildSuppressionPattern(suppressions),
+		wordSegmentPattern
+	)
+}
+
+export function buildSuppressionPattern(suppressions: string[]) {
+	const suppressionsPattern =
+		matches(
+			anyOf(...suppressions),
+			{ ifNotFollowedBy: wordCharacterPattern }
+		)
+
+	return suppressionsPattern
+}
+
+////////////////////////////////////////////////////////////////////////////////////////////////
+// Numeric patterns
+////////////////////////////////////////////////////////////////////////////////////////////////
+export const punctuationPattern = unicodeProperty('Punctuation')
+export const digitPattern = unicodeProperty('Decimal_Number')
+export const arabicNumeralPattern = charRange('0', '9')
+
+export const numericSeparatorPattern =
+	matches(
+		anyOf('.', ',', '٬', '_'), {
+		ifPrecededBy: arabicNumeralPattern,
+		ifFollowedBy: arabicNumeralPattern
+	})
+
+export const dateTimeSeparatorPattern = matches(
+	anyOf('/', '-', ':'), {
+	ifPrecededBy: arabicNumeralPattern,
+	ifFollowedBy: arabicNumeralPattern
+})
+
+export const dateTimePattern =
+	oneOrMore(anyOf(
+		arabicNumeralPattern,
+		dateTimeSeparatorPattern,
+	))
+
+export const spacedThousandsSeparatorPattern =
+	matches(
+		' ', {
+		ifPrecededBy: arabicNumeralPattern,
+		ifFollowedBy: repeated(2, arabicNumeralPattern)
+	})
+
+export const numericSignPattern =
+	matches(
+		anyOf('-', '+'), {
+		ifPrecededBy: anyOf(whitespace, punctuationPattern),
+		ifFollowedBy: arabicNumeralPattern,
+	})
+
+export const numberPattern = [
+	oneOrMore(anyOf(
+		digitPattern,
+		numericSeparatorPattern,
+		spacedThousandsSeparatorPattern,
+		numericSignPattern,
+	)),
+]
+
+const percentageChars = ['%']
+const currencySpecialChars = ['$', '¥', '€', '£', '¥', '₩', '₭', '₽', '₫', '฿', '¢', '₮', '؋', '₦', '₱', '₴', '₪']
+
+const percentageOrCurrencyPattern = anyOf(...percentageChars, ...currencySpecialChars)
+
+export const prefixPercentageOrCurrencyPattern =
+	matches([
+		percentageOrCurrencyPattern,
+		numberPattern,
+	], {
+		ifNotPrecededBy: digitPattern,
+		ifFollowedBy: anyOf(whitespace, punctuationPattern),
+	})
+
+export const suffixPercentagePattern =
+	matches([
+		numberPattern,
+		percentageOrCurrencyPattern,
+	], {
+		ifPrecededBy: anyOf(whitespace, punctuationPattern),
+		ifNotFollowedBy: digitPattern,
+	})
+
+export const percentagePattern = anyOf(
+	prefixPercentageOrCurrencyPattern,
+	suffixPercentagePattern
+)
+
+////////////////////////////////////////////////////////////////////////////////////////////////
+// Letter patterns
+////////////////////////////////////////////////////////////////////////////////////////////////
+export const letterPattern = unicodeProperty('Letter')
+export const markPattern = unicodeProperty('Mark')
+export const apostrophPattern = anyOf(`'`, `’`, `‘`)
+
+export const letterOrMarkPattern = anyOf(
+	letterPattern,
+	markPattern,
+)
+
+export const dottedAbbreviationSequencePattern =
+	matches(
+		anyOf(
+			[
+				letterPattern,
+
+				oneOrMore([
+					'. ',
+					letterPattern,
+				]),
+
+				possibly('.'),
+			],
+			[
+				letterPattern,
+
+				oneOrMore([
+					'.',
+					possibly(' '),
+					letterPattern,
+				]),
+
+				possibly('.'),
+			]
+		), {
+		ifNotPrecededBy: anyOf(letterOrMarkPattern, digitPattern),
+		ifNotFollowedBy: anyOf(letterOrMarkPattern, digitPattern)
+	})
+
+
+export const wordCharacterPattern =
+	anyOf(
+		letterPattern,
+		markPattern,
+		digitPattern,
+	)
+
+export const wordSeparatorPattern =
+	matches(
+		anyOf('-', '_', '·', '‧', '&'), {
+
+		ifPrecededBy: letterOrMarkPattern,
+		ifFollowedBy: letterOrMarkPattern
+	})
+
+export const wordInnerApostrophPattern =
+	matches(
+		apostrophPattern, {
+
+		ifPrecededBy: letterOrMarkPattern,
+		ifFollowedBy: letterOrMarkPattern,
+	})
+
+export const wordStartApostrophPattern =
+	matches(
+		apostrophPattern, {
+
+		ifPrecededBy: whitespace,
+		ifFollowedBy: [letterOrMarkPattern, letterOrMarkPattern, whitespace]
+	})
+
+export const basicWordPattern =
+	oneOrMore(
+		anyOf(
+			wordCharacterPattern,
+			wordSeparatorPattern,
+			wordInnerApostrophPattern,
+		),
+	)
+
+export const wordSegmentPattern = anyOf(
+	dottedAbbreviationSequencePattern,
+	dateTimeSeparatorPattern,
+	percentagePattern,
+	numberPattern,
+	basicWordPattern,
+)
+
+////////////////////////////////////////////////////////////////////////////////////////////////
+// Prebuilt regular expressions
+////////////////////////////////////////////////////////////////////////////////////////////////
+export const phraseSeparators = [',', '、', '，', '،', ';', '；', ':', '：', '—']
+
+export const phraseSeparatorRegExp = buildRegExp([
+	inputStart,
+	anyOf(...phraseSeparators),
+	inputEnd
+])
+
+export const sentenceSeparators = ['.', '。', '?', '？', '!', '！', '\n']
+
+export const sentenceSeparatorRegExp = buildRegExp([
+	inputStart,
+	anyOf(...sentenceSeparators),
+	inputEnd
+])
+
+export const sentenceSeparatorTrailingPunctuationRegExp = buildRegExp([
+	inputStart,
+	anyOf('"', '”', '’', ')', ']', '}', '»', ...sentenceSeparators, ...phraseSeparators, oneOrMore(whitespace)),
+	inputEnd
+])
+
+export const phraseSeparatorTrailingPunctuationRegExp = buildRegExp([
+	inputStart,
+	anyOf(...phraseSeparators, ' ', tab),
+	inputEnd
+])
+
+export const oneOrMoreSpacesRegExp = buildRegExp([
+	inputStart,
+	oneOrMore(' '),
+	inputEnd
+])
+
+export const wordCharacterRegExp = buildRegExp(wordCharacterPattern)
+export const whitespacePatternRegExp = buildRegExp(whitespace)

package/src/Suppressions.ts

@@ -0,0 +1,35 @@
+export const cldrSuppressions: Record<string, string[]> = {
+	'en': ['L.P.', 'Alt.', 'Approx.', 'E.G.', 'O.', 'Maj.', 'Misc.', 'P.O.', 'J.D.', 'Jam.', 'Card.', 'Dec.', 'Sept.', 'MR.', 'Long.', 'Hat.', 'G.', 'Link.', 'DC.', 'D.C.', 'M.T.', 'Hz.', 'Mrs.', 'By.', 'Act.', 'Var.', 'N.V.', 'Aug.', 'B.', 'S.A.', 'Up.', 'Job.', 'Num.', 'M.I.T.', 'Ok.', 'Org.', 'Ex.', 'Cont.', 'U.', 'Mart.', 'Fn.', 'Abs.', 'Lt.', 'OK.', 'Z.', 'E.', 'Kb.', 'Est.', 'A.M.', 'L.A.', 'Prof.', 'U.S.', 'Nov.', 'Ph.D.', 'Mar.', 'I.T.', 'exec.', 'Jan.', 'N.Y.', 'X.', 'Md.', 'Op.', 'vs.', 'D.A.', 'A.D.', 'R.L.', 'P.M.', 'Or.', 'M.R.', 'Cap.', 'PC.', 'Feb.', 'Exec.', 'I.e.', 'Sep.', 'Gb.', 'K.', 'U.S.C.', 'Mt.', 'S.', 'A.S.', 'C.O.D.', 'Capt.', 'Col.', 'In.', 'C.F.', 'Adj.', 'AD.', 'I.D.', 'Mgr.', 'R.T.', 'B.V.', 'M.', 'Conn.', 'Yr.', 'Rev.', 'Phys.', 'pp.', 'Ms.', 'To.', 'Sgt.', 'J.K.', 'Nr.', 'Jun.', 'Fri.', 'S.A.R.', 'Lev.', 'Lt.Cdr.', 'Def.', 'F.', 'Do.', 'Joe.', 'Id.', 'Mr.', 'Dept.', 'Is.', 'Pvt.', 'Diff.', 'Hon.B.A.', 'Q.', 'Mb.', 'On.', 'Min.', 'J.B.', 'Ed.', 'AB.', 'A.', 'S.p.A.', 'I.', 'a.m.', 'Comm.', 'Go.', 'VS.', 'L.', 'All.', 'PP.', 'P.V.', 'T.', 'K.R.', 'Etc.', 'D.', 'Adv.', 'Lib.', 'E.g.', 'Pro.', 'U.S.A.', 'S.E.', 'AA.', 'Rep.', 'Sq.', 'As.'],
+	'de': ['Port.', 'Alt.', 'Di.', 'Ges.', 'frz.', 'entspr.', 'Gebr.', 'erw.', 'Frl.', 'Inh.', 'k.u.k.', 'Ca.', 'J.D.', 'Ausg.', 'evtl.', 'So.', 'i.B.', 's.a.', 'kgl.', 'Sept.', 'o.B.', 'Sa.', 'ev.', 'Dez.', 'am.', 'i.R.', 'eigtl.', 'i.J.', 'u.U.', 'G.', 'z.Hd.', 'u.A.w.g.', 'Kl.', 'Spezif.', 'Obj.', 'Ing.', 'D. h.', 'Folg.', 'Akt.', 'i.A.', 'Msp.', 'U.U.', 'Chr.', 'R.', 'Einh.', 'schwäb.', 'Vgl.', 'Aug.', 'Dipl.-Ing.', 'W.', 'B.', 'U. U.', 'J.', 'Fa.', 'Mo.', 'n.u.Z.', 'Op.', 'Mrd.', 'e.h.', 'Hr.', 'Hrn.', 'Ztr.', 'k. u. k.', 'Bibl.', 'd.Ä.', 'b.', 'M.', 'i.H.', 'v.R.w.', 'o.A.', 'St.', 'Dr.', 'Fn.', 'Abs.', 'Rd.', 'Dtzd.', 'Jahrh.', 'Z.', 'Std.', 'n. Chr.', 'möbl.', 'tägl.', 'gest.', 'gesch.', 'z.B.', 'Hbf.', 'Abt.', 'A.M.', 'e.Wz.', 'v.T.', 'Nov.', 'z.', 'Prot.', 'U.S.', 'Wg.', 'u.v.a.', 'Adr.', 'App.', 'ggf.', 'ggfs.', 'Jan.', 'O.', 'Rel.', 'od.', 'Pfd.', 'a.a.O.', 'p.Adr.', 'P.', 'Gem.', 'v. Chr.', 'Art.', 'z.Z.', 'S.A.', 'i.V.', 'verh.', 'Ausschl.', 'm.W.', 'Dir.', 'Verf.', 'Sek.', 'r.', 'Chin.', 'Feb.', 'Int.', 'Sep.', 'Gesch.', 'schweiz.', 'Bed.', 'a.Rh.', 'jew.', 'vgl.', 'a.M.', 'Str.', 'exkl.', 'gek.', 'Erf.', 'u.Ä.', 'ehem.', 'näml.', 'u. Z.', 'v. u. Z.', 'sog.', 'C.', 'Dipl.-Kfm.', 'mtl.', 'Hrsg.', 'Qu.', 'röm.', 'u.', 'U.', 'Adj.', 'Kap.', 'hpts.', 'a.D.', 'gedr.', 'Best.', 'N.', 'v.u.Z.', 'Phys.', 'Fr.', 'd.J.', 'Reg.-Bez.', 'm.E.', 'schles.', 'Max.', 'Ltd.', 'südd.', 'inkl.', 'geb.', 'Ggf.', 'Inc.', 'kath.', 'kfm.', 'Nr.', 'Proz.', 'Dim.', 'verw.', 'Reg.', 'Dat.', 'Evtl.', 'led.', 'F.', 'Test.', 'Schr.', 'Do.', 'PIN.', 'Z. Zt.', 'v.Chr.', 'Tägl.', 's.', 'amtl.', 'Temp.', 'Mind.', 'e.V.', 'Abw.', 'P.M.', 'F.f.', 'a.a.S.', 'Mod.', 'Co.', 'Min.', 'Allg.', 'Geograph.', 'Jr.', 'Urspr.', 'Apr.', 'Z. B.', 'v.H.', 'A.', 'einschl.', 'Trans.', 'zzgl.', 'StR.', 'Fam.', 'I.', 'jhrl.', 'u.a.', 'Ben.', 'o.g.', 'Kfm.', 'Konv.', 'Mi.', 'L.', 'beil.', 'T.', 'Ursprüngl.', 'röm.-kath.', 'Okt.', 'u.ä.', 'Tel.', 'D.', 'Ber.', 'Kop.', 'Mio.', 'Y.', 'U.S.A.', 'v. H.', 'Forts. f.', 'Rep.', 'Hptst.', 'österr.'],
+	'es': ['Rdos.', 'JJ.OO.', 'Sres.', 'fig.', 'may.', 'RR.HH.', 'oct.', 'cap.', 'mié.', 'doc.', 'Excmo.', 'Trab.', 'Excmos.', 'Kit.', 'Inc.', 'FF.CC.', 'DC.', 'ago.', 'trad.', 'SA.', 'Rvdos.', 'ed.', 'Exmo.', 'jul.', 'col.', 'RAM.', 'Srtas.', 'ene.', 'Rol.', 'Fabric.', 'Comm.', 'vid.', 'Da.', 'dic.', 'ss.', 'abr.', 'ntra.', 'Sra.', 'dtor.', 'cf.', 'dom.', 'prov.', 'Emm.', 'Sr.', 'licdo.', 'p.ej.', 'bol.', 'figs.', 'Vda.', 'Dr.', 'ntro.', 'Desv.', 'O.M.', 'Ldo.', 'Drs.', 'sáb.', 'feb.', 'Ltda.', 'Lcda.', 'Exma.', 'C.V.', 'SS.MM.', 'Lda.', 'U.S.', 'hnos.', 'R.D.', 'Korn.', 'v.gr.', 'vs.', 'Ilmas.', 'Rdo.', 'ej.', 'vie.', 'jue.', 'a. C.', 'Ilmos.', 'e. c.', 'Excma.', 'afma.', 'licda.', 'Em.', 'K.', 'sras.', 'MM.', 'fund.', 'Mons.', 'Lcdo.', 'afmo.', 'C.', 'A.C.', 'dptos.', 'Col.', 'Srta.', 'Av.', 'Ant.', 'depto.', 'Var.', 'H.P.', 'D.', 'M.', 'C.P.', 'Rev.', 'Rvdmos.', 'Fr.', 'Ilmo.', 'afmos.', 'Ltd.', 'afmas.', 'prof.', 'lun.', 'SS.AA.', 'Sol.', 'nov.', 'mss.', 'Dña.', 'Seg.', 'mar.', 'Rvdmo.', 'Reg.', 'ms.', 'Sras.', 'sres.', 'U.S.A.', 'Sta.', 'Sdad.', 'Dra.', 'srs.', 'R.U.', 'deptos.', 'dpto.', 'jun.', 'bco.', 'Cía.', 'Id.', 'Mr.', 'e.g.', 'C.S.', 'Excmas.', 'Dª.', 'Rvdo.', 'Lic.', 'cfr.', 'Corp.', 'Dto.', 'Ilma.', 'L.', 'All.', 'PP.', 'd. C.', 'Ltdo.', 'mtro.', 'Mrs.', 'Desc.', 'Avda.', 'Exmas.', 'a. e. c.', 'Bien.', 'Exmos.', 'AA.', 'Sto.', 'CA.', 'sept.', 'Exc.', 'c/c.'],
+	'fr': ['aux.', 'config.', 'collab.', 'M.', 'dim.', 'imprim.', 'oct.', 'syst.', 'bull.', 'MM.', 'doc.', 'P.O.', 'hôp.', 'Mart.', 'juil.', 'broch.', 'adr.', 'symb.', 'C.', 'anc.', 'voit.', 'Jr.', 'graph.', 'dir.', 'éd.', 'fig.', 'édit.', 'niv.', 'quart.', 'cam.', 'éval.', 'anon.', 'réf.', 'Comm.', 'Prof.', 'févr.', 'indus.', 'DC.', 'équiv.', 'illustr.', 'acoust.', 'nov.', 'L.', 'All.', 'U.S.', 'S.M.A.R.T.', 'sept.', 'avr.', 'jeu.', 'dest.', 'P.-D. G.', 'ill.', 'coll.', 'encycl.', 'mer.', 'Desc.', 'ven.', 'P.', 'lun.', 'Inc.', 'sam.', 'D.', 'append.', 'Var.', 'categ.', 'janv.', 'S.A.', 'imm.', 'U.S.A.', 'mar.', 'exempl.', 'déc.', 'ann.', 'U.', 'synth.', 'dict.', 'av. J.-C.', 'W.', 'Op.', 'ap. J.-C.', 'gouv.', 'trav. publ.'],
+	'it': ['N.B.', 'div.', 'a.C.', 'fig.', 'd.p.R.', 'c.c.p.', 'Cfr.', 'vol.', 'Geom.', 'O.d.G.', 'S.p.A.', 'ver.', 'N.d.A.', 'dott.', 'arch.', 'd.C.', 'N.d.T.', 'rag.', 'Sig.', 'Mod.', 'pag.', 'dr.', 'tav.', 'N.d.E.', 'DC.', 'mitt.', 'Ing.', 'int.', 'on.', 'C.P.', 'ag.', 'L.', 'U.S.', 'S.M.A.R.T.', 'p.i.', 'tab.', 'Ltd.', 'Liv.', 'D.', 'U.S.A.', 'sez.', 'avv.', 'S.A.R.', 'all.', 'p.'],
+	'pt': ['psicol.', 'fig.', 'compl.', 'rep.', 'cap.', 'doc.', 'fisiol.', 'dipl.', 'astron.', 'port.', 'eletrôn.', 'geom.', 'mov.', 'ago.', 'trad.', 'arquit.', 'dez.', 'ed.', 'apt.', 'Exmo.', 'col.', 'ff.', 'univ.', 'res.', 'R.', 'transp.', 'D.C', 'l.', 'des.', 'fev.', 'abr.', 'liter.', 'lat.', 'Dir.', 'cf.', 'adm.', 'fot.', 'p.m.', 'P.M.', 'créd.', 'jur.', 'com.', 'anat.', 'dir.', 'end.', 'fís.', 'E.', 'Est.', 'cont.', 'matem.', 'Drs.', 'gên.', 'neol.', 'pág.', 'índ.', 'Ltda.', 'Exma.', 'esp.', 'ingl.', 'tecnol.', 'Mar.', 'símb.', 'Pe.', 'pal.', 'filos.', 'V.T.', 'fasc.', 'vs.', 'mai.', 'S.A.', 'profa.', 'N.Sra.', 'r.s.v.p.', 'cel.', 'mat.', 'abrev.', 'out.', 'long.', 'aux.', 'arit.', 'aer.', 'jul.', 'lin.', 'S.', 'méd.', 'odontol.', 'org.', 'A.C.', 'jun.', 'déb.', 'Av.', 'álg.', 'sup.', 'fl.', 'odont.', 'caps.', 'relat.', 'organiz.', 'hist.', 'Fr.', 'Ilmo.', 'fem.', 'ap.', 'Ltd.', 'pol.', 'séc.', 'prof.', 'cx.', 'nov.', 'quím.', 'mús.', 'agric.', 'mar.', 'W.C.', 'fr.', 'cat.', 'jan.', 'pron.', 'rel.', 'autom.', 'Sta.', 'Dra.', 'p.', 'tel.', 'div.', 'p. ex.', 'a.C.', 'bras.', 'Alm.', 'Dr.', 'comp.', 'pq.', 'arqueol.', 'náut.', 'biogr.', 'f.', 'círc.', 'fac.', 'd.C.', 'apart.', 'ex.', 'Jr.', 'set.', 'tec.', 'sociol.', 'gram.', 'ind.', 'Ilma.', 'vol.', 'eng.', 'rod.', 'Ph.D.', 'Dras.', 'pp.', 'elem.', 'máq.', 'cód.', 'eletr.', 'prod.', 'ref.', 'fil.', 'a.m.', 'A.M', 'obs.', 'N.T.', 'contab.', 'Sto.', 'lit.', 'educ.', 'rementente', 'desc.', 'próx.'],
+	'ru': ['руб.', 'янв.', 'до н. э.', 'сент.', 'тел.', 'дек.', 'февр.', 'нояб.', 'апр.', 'н. э.', 'окт.', 'тыс.', 'авг.', 'проф.', 'н.э.', 'кв.', 'ул.', 'отд.'],
+}
+
+export const leadingApostropheContractionSuppressions: Record<string, string[]> = {
+	'en': [`'cause`, `'til`, `'bout`, `'twas`, `'tis`],
+	'af': [`'n`]
+}
+
+export const nounSuppressions = [
+	'C#', 'F#', 'C++', 'Yahoo!', 'Toys"R"Us', `Dunkin'`, 'Ke$ha', 'I/O', 'Sky+', 'A/C', 'A/V'
+]
+
+export const tldSuppressions = [
+	'.com', '.org', '.net', '.co', '.us'
+]
+
+// What about plural possesive English nouns like:
+// The brothers' friend.
+// The professors' books.
+// Trees' roots.
+// Diplomats' contracts.
+//
+// Not easy to confidently identify these.
+// The apostrophe can also represent an ending single quotation mark,
+// or a misplaced opening single quotation mark.
+// Maybe if a word ends with `s'` and there is no opening `'` seen anywhere near,
+// but that is still not 100% certain. The opening `'` may have appeared long before that.
+

package/src/Test.ts

@@ -0,0 +1,55 @@
+import { segmentText, splitToWords } from "./TextSegmentation.js"
+import { Timer } from "./utilities/Timer.js"
+
+const log = console.log
+
+async function test1() {
+	{
+		const wordSequence = await splitToWords('Hello world! Привет мир! 你好世界！')
+		console.log(JSON.stringify(wordSequence.words))
+	}
+
+	const { readFileSync, writeFileSync } = await import('fs')
+	const text = readFileSync('test-data/Test.txt', 'utf-8')
+
+	const timer = new Timer()
+
+	const result = await segmentText(text, {
+		language: 'en',
+		customSuppressions: [],
+		enableEastAsianPostprocessing: true
+	})
+
+	//const json = JSON.stringify(result.sentences)
+
+	timer.logAndRestart(`Total execution time`)
+
+	log('')
+
+	//
+
+	let segmentedText = ''
+
+	for (let sentenceIndex = 0; sentenceIndex < result.sentences.length; sentenceIndex++) {
+		const sentence = result.sentences[sentenceIndex]
+		const phrases = sentence.phrases
+
+		for (let phraseIndex = 0; phraseIndex < phrases.length; phraseIndex++) {
+			const phrase = phrases[phraseIndex]
+
+			segmentedText += phrase.wordSequence.words.join(' | ')
+
+			if (phraseIndex < phrases.length - 1) {
+				segmentedText += `\n${'-'.repeat(100)}\n`
+			}
+		}
+
+		if (sentenceIndex < result.sentences.length - 1) {
+			segmentedText += `\n${ '='.repeat(100) } \n`
+		}
+	}
+
+	writeFileSync('out/segmented.txt', segmentedText)
+}
+
+test1()

package/src/TextSegmentation.ts

@@ -0,0 +1,303 @@
+import { buildRegExp } from 'regexp-composer'
+import { buildWordOrNumberPattern as buildWordSplitterPattern, phraseSeparatorRegExp, sentenceSeparatorTrailingPunctuationRegExp, sentenceSeparatorRegExp, whitespacePatternRegExp } from './Patterns.js'
+import { cldrSuppressions, leadingApostropheContractionSuppressions, nounSuppressions, tldSuppressions } from './Suppressions.js'
+import { eastAsianCharRangesRegExp } from './EastAsianCharacterPatterns.js'
+import { WordSequence } from './WordSequence.js'
+
+export { cldrSuppressions } from './Suppressions.js'
+
+export async function segmentText(text: string, options?: SegmentationOptions) {
+	options = { ...defaultSegmentationOptions, ...(options ?? {}) }
+
+	const wordSequence = await splitToWords(text, options)
+
+	return segmentWordSequence(wordSequence)
+}
+
+export async function segmentWordSequence(wordSequence: WordSequence) {
+	const sentenceWordRanges: Range[] = []
+
+	let sentenceStartWordOffset = 0
+
+	for (let wordIndex = 0; wordIndex < wordSequence.length; wordIndex++) {
+		const word = wordSequence.getWordAt(wordIndex)
+
+		if (sentenceSeparatorRegExp.test(word)) {
+			while (wordIndex < wordSequence.length - 1) {
+				const nextWord = wordSequence.getWordAt(wordIndex + 1)
+
+				if (!sentenceSeparatorTrailingPunctuationRegExp.test(nextWord)) {
+					break
+				}
+
+				wordIndex += 1
+			}
+
+			sentenceWordRanges.push({
+				start: sentenceStartWordOffset,
+				end: wordIndex + 1
+			})
+
+			sentenceStartWordOffset = wordIndex + 1
+		}
+	}
+
+	if (sentenceStartWordOffset < wordSequence.length) {
+		sentenceWordRanges.push({ start: sentenceStartWordOffset, end: wordSequence.length })
+	}
+
+	const sentences: Sentence[] = []
+
+	for (const wordRange of sentenceWordRanges) {
+		const sentenceWordSequence = wordSequence.slice(wordRange.start, wordRange.end)
+
+		sentences.push(new Sentence(wordRange, sentenceWordSequence))
+	}
+
+	for (const sentence of sentences) {
+		const phraseWordRanges: Range[] = []
+
+		let sentenceEndWordOffset = sentence.wordRange.end
+		let phraseStartWordOffset = sentence.wordRange.start
+
+		for (let wordIndex = phraseStartWordOffset; wordIndex < sentenceEndWordOffset; wordIndex++) {
+			const currentWord = wordSequence.getWordAt(wordIndex)
+
+			if (phraseSeparatorRegExp.test(currentWord)) {
+				let whitespaceSeenOnce = false
+
+				while (wordIndex < sentenceEndWordOffset - 1) {
+					const nextWord = wordSequence.getWordAt(wordIndex + 1)
+
+					if (!sentenceSeparatorTrailingPunctuationRegExp.test(nextWord)) {
+						break
+					}
+
+					if (whitespacePatternRegExp.test(nextWord)) {
+						whitespaceSeenOnce = true
+					}
+
+					if (nextWord === '"' && whitespaceSeenOnce) {
+						break
+					}
+
+					wordIndex += 1
+				}
+
+				phraseWordRanges.push({
+					start: phraseStartWordOffset,
+					end: wordIndex + 1
+				})
+
+				phraseStartWordOffset = wordIndex + 1
+			}
+		}
+
+		if (phraseStartWordOffset < sentenceEndWordOffset) {
+			phraseWordRanges.push({ start: phraseStartWordOffset, end: sentenceEndWordOffset })
+		}
+
+		for (const wordRange of phraseWordRanges) {
+			const phraseWordSequence = wordSequence.slice(wordRange.start, wordRange.end)
+
+			sentence.phrases.push(new Phrase(wordRange, phraseWordSequence))
+		}
+	}
+
+	const result: SegmentationResult = {
+		wordSequence,
+		sentences,
+	}
+
+	return result
+}
+
+export async function splitToWords(text: string, options?: SegmentationOptions) {
+	options = { ...defaultSegmentationOptions, ...(options ?? {}) }
+
+	const cldrSuppressionsForLang = cldrSuppressions[options.language ?? ''] ?? []
+	const contractionSuppressionsForLang = leadingApostropheContractionSuppressions[options.language ?? ''] ?? []
+	const contractionSuppressionsForLangWithSingleQuote = contractionSuppressionsForLang.map(str => str.replaceAll(`'`, `’`))
+	const customSuppressions = options.customSuppressions ?? []
+
+	let suppressions = [
+		...customSuppressions,
+		...cldrSuppressionsForLang,
+		...contractionSuppressionsForLang,
+		...contractionSuppressionsForLangWithSingleQuote,
+		...nounSuppressions,
+		...tldSuppressions,
+	]
+
+	const wordPattern = buildWordSplitterPattern([
+		...suppressions,
+		...suppressions.map(word => word.toLocaleLowerCase()),
+		...suppressions.map(word => word.toLocaleUpperCase()),
+	])
+
+	const wordSplitterRegExp = buildRegExp(wordPattern, { global: true })
+
+	//console.log(`Encoded pattern: ${wordSplitterRegExp.source}\n`)
+
+	let wordSequence = new WordSequence()
+
+	function addNonWordsBetween(startOffset: number, endOffset: number) {
+		const nonWordSubstring = text.substring(startOffset, endOffset)
+
+		let charOffset = startOffset
+		let nonwordStartOffset = startOffset
+
+		function addNonWordIfNeeded() {
+			if (charOffset > nonwordStartOffset) {
+				wordSequence.addWordEntry(text, nonwordStartOffset, charOffset, true)
+				nonwordStartOffset = charOffset
+			}
+		}
+
+		for (const char of nonWordSubstring) {
+			if (char === ' ') {
+				charOffset += 1
+
+				continue
+			}
+
+			addNonWordIfNeeded()
+
+			charOffset += char.length
+
+			addNonWordIfNeeded()
+		}
+
+		addNonWordIfNeeded()
+	}
+
+	const wordMatches = text.matchAll(wordSplitterRegExp)
+
+	let lastMatchEndOffset = 0
+
+	if (wordMatches) {
+		for (const match of wordMatches) {
+			const offsets = match.indices![0]
+			const matchStartOffset = offsets[0]
+			const matchEndOffset = offsets[1]
+
+			if (matchStartOffset > lastMatchEndOffset) {
+				addNonWordsBetween(lastMatchEndOffset, matchStartOffset)
+			}
+
+			wordSequence.addWordEntry(text, matchStartOffset, matchEndOffset, false)
+
+			lastMatchEndOffset = matchEndOffset
+		}
+
+		addNonWordsBetween(lastMatchEndOffset, text.length)
+	}
+
+	if (options.enableEastAsianPostprocessing) {
+		wordSequence = await postprocessEastAsianWords(text, wordSequence)
+	}
+
+	return wordSequence
+}
+
+async function postprocessEastAsianWords(containingText: string, wordSequence: WordSequence) {
+	const icuSegmentation = await getIcuSegmentation()
+
+	if (icuSegmentation === undefined) {
+		return wordSequence
+	}
+
+	let icuInitialized = false
+
+	const newWordSequence = new WordSequence()
+
+	for (let wordIndex = 0; wordIndex < wordSequence.length; wordIndex++) {
+		const wordEntry = wordSequence.entries[wordIndex]
+		const wordStartOffset = wordEntry.startOffset
+
+		const word = wordSequence.getWordAt(wordIndex)
+
+		if (eastAsianCharRangesRegExp.test(word)) {
+			if (!icuInitialized) {
+				await icuSegmentation.initialize()
+
+				icuInitialized = true
+			}
+
+			const wordBreaks = [...icuSegmentation.createWordBreakIterator(word)]
+
+			for (let i = 0; i < wordBreaks.length - 1; i++) {
+				newWordSequence.addWordEntry(
+					containingText,
+					wordStartOffset + wordBreaks[i],
+					wordStartOffset + wordBreaks[i + 1],
+					false
+				)
+			}
+		} else {
+			newWordSequence.addWordEntry(containingText, wordEntry.startOffset, wordEntry.endOffset, wordEntry.isPunctuation)
+		}
+	}
+
+	return newWordSequence
+}
+
+async function getIcuSegmentation() {
+	try {
+		const icuSegmentation = await import('@echogarden/icu-segmentation-wasm')
+
+		return icuSegmentation
+	} catch {
+		return undefined
+	}
+}
+
+export interface SegmentationResult {
+	wordSequence: WordSequence
+	sentences: Sentence[]
+}
+
+export class TextFragment {
+	wordRange: Range
+	wordSequence: WordSequence
+
+	constructor(wordRange: Range, wordSequence: WordSequence) {
+		this.wordRange = wordRange
+		this.wordSequence = wordSequence
+	}
+
+	get text() {
+		return this.wordSequence.text
+	}
+
+	get charRange(): Range {
+		return {
+			start: this.wordSequence.firstEntry.startOffset,
+			end: this.wordSequence.lastEntry.endOffset
+		}
+	}
+}
+
+export class Sentence extends TextFragment {
+	phrases: Phrase[] = []
+}
+
+export class Phrase extends TextFragment {
+}
+
+export interface Range {
+	start: number
+	end: number
+}
+
+export interface SegmentationOptions {
+	language?: string
+	customSuppressions?: string[]
+	enableEastAsianPostprocessing?: boolean
+}
+
+export const defaultSegmentationOptions: SegmentationOptions = {
+	language: '',
+	customSuppressions: [],
+	enableEastAsianPostprocessing: true,
+}