langusta 0.1.0

data/test/test_data/no

@@ -0,0 +1,3 @@
+Englands historie begynte da de første mennesker kom til øygruppen for tusener av år siden. I jernalderen var England befolket av mennesker som snakket et keltisk språk, kjent som britonere.
+Romersk Britannia varte fra år 43 til 400-tallet; fulgt av germansktalendefolkegrupper kalt angelsaksere; disse regnes som opprinnelsen til det engelske folk. Angelsaksiske språk, eller gammelengelsk, erstattet tidligere britonske språk. Angelsakserne utfordret britonske stater i Wales, Cornwall, og Hen Ogledd. Fra rundt 800 ble England herjet av vikinger.
+I 1066 kom Normannernes invasjon av England. England erobret Wales på 1100-tallet, og ble forent med Skottland tidlig på 1700-tallet for å danne kongedømmet Storbritannia. Den økonomiske veksten som kom med den industrielle revolusjon, førte til at Storbritannia styrte verdens største imperium. Etter at det britiske imperiets kolonier ble avviklet på 1900-tallet tapte landet mye av sin makt, men har fortsatt en kulturell betydning.

data/test/test_data/pa

@@ -0,0 +1 @@
+ਗੁਪਤ. गुप्त. ਇੱਕ ਪ੍ਰਤਾਪੀ ਪੁਰਖ, ਜਿਸ ਤੋਂ ਵੰਸ਼ ਦੀ ਅੱਲ ਗੁਪਤ ਹੋਈ. ਇਸ ਦਾ ਪੁਤ੍ਰ ਘਟੋਤਕਚ ਬਲਵਾਨ ਅਤੇ ਵਡਾ ਉੱਦਮੀ ਸੀ. ਘਟੋਤਕਚ ਦਾ ਬੇਟਾ ਚੰਦ੍ਰਗੁਪਤ ਹੋਇਆ, ਜੋ ਆਪਣੀ ਇਸਤ੍ਰੀ ਕੁਮਾਰਦੇਵੀ ਦੀ ਸਹਾਇਤਾ ਨਾਲ ਸਨ 320 ਵਿੱਚ ਮਗਧ ਦਾ ਰਾਜਾ ਹੋਕੇ ਨੀਤਿਬਲ ਨਾਲ ਭਾਰਤ ਦਾ ਮਹਾਰਾਜਾ ਬਣਿਆ. ਇਸ ਦੀ ਰਾਜਧਾਨੀ ਪਟਨਾ ਸੀ. ਇਸ ਦਾ ਪੁਤ੍ਰ ਸਮੁਦ੍ਰਗੁਪਤ ਭੀ ਵਡਾ ਪ੍ਰਸਿੱਧ ਮਹਾਰਾਜਾ ਸਨ 330 ਵਿੱਚ ਹੋਇਆ, ਜਿਸ ਨੇ ਪਟਨੇ ਤੋਂ ਛੁੱਟ ਆਪਣੀ ਰਾਜਧਾਨੀ ਅਯੋਧ੍ਯਾ ਭੀ ਥਾਪੀ. ਧ੍ਰੁਵਦੇਵੀ ਦੇ ਉਦਰ ਤੋਂ ਸਮੁਦ੍ਰਗੁਪਤ ਦਾ ਪੁਤ੍ਰ ਚੰਦ੍ਰਗੁਪਤ ਦੂਜਾ, (ਜਿਸ ਦਾ ਨਾਉਂ ਵਿਕ੍ਰਮਾਦਿਤ੍ਯ ਭੀ ਹੈ) ਮਹਾ ਤੇਜਸੀ ਮਹਾਰਾਜਾ ਸਨ 380 ਵਿੱਚ ਹੋਇਆ, ਇਸ ਨੇ ਉੱਜਯਨ ਮਾਲਵਾ, ਗੁਜਰਾਤ ਤੇ ਸੁਰਾਸ਼ਟ੍ਰ ਨੂੰ ਫਤੇ ਕੀਤਾ. ਬਹੁਤ ਸਾਰੀ ਸਾਖੀਆਂ ਜੋ ਮਸ਼ਹੂਰ ਰਾਜਾ ਬਿਕ੍ਰਮਾਜੀਤ ਨਾਲ ਸੰਬੰਧ ਰਖਦੀਆਂ ਹਨ, ਉਹ ਇਸੇ ਪ੍ਰਤਾਪੀ ਰਾਜੇ ਦੇ ਜੀਵਨ ਤੋਂ ਲਈਆਂ ਗਈਆਂ ਹਨ. ਇਸ ਦੇ ਵੇਲੇ ਸੰਸਕ੍ਰਿਤ ਦੀ ਭਾਰੀ ਤਰੱਕੀ ਹੋਈ. ਬਹੁਤਿਆਂ ਨੇ ਕਾਲੀਦਾਸ ਮਹਾਂ ਕਵੀ ਇਸੇ ਦੇ ਸਮੇਂ ਹੋਣਾ ਮੰਨਿਆ ਹੈ. ਇਸ ਦਾ ਪੁਤ੍ਰ ਕੁਮਾਰਗੁਪਤ ਸਨ 413 ਅਥਵਾ 415 ਵਿੱਚ ਗੱਦੀ ਪੁਰ ਬੈਠਾ, ਪਰ ਇਸ ਦੇ ਸਮੇਂ ਤੋਂ ਗੁਪਤਵੰਸ਼ ਦਾ ਪ੍ਰਤਾਪ ਘਟਣ ਲਗ ਪਿਆ. ਕੁਮਾਰਗੁਪਤ ਦਾ ਪੁਤ੍ਰ ਸਕੰਦਗੁਪਤ ਸਨ 455 ਵਿੱਚ ਹੂਨ ਜਾਤਿ ਤੋਂ ਜਿੱਤਿਆ ਗਿਆ. ਇਸ ਨੂੰ ਗੁਪਤਵੰਸ਼ ਦਾ ਅਖੀਰੀ ਮਹਾਰਾਜਾ ਸਮਝਣਾ ਚਾਹੀਏ. ਭਾਵੇਂ ਇਸ ਕੁਲ ਦੇ, ਛੋਟੇ ਛੋਟੇ ਰਾਜੇ ਅਰ ਸਰਦਾਰ ਨਰਸਿੰਹਗੁਪਤ, ਕੁਮਾਰਗੁਪਤ ਦੂਜਾ ਆਦਿਕ ਹੋਏ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਭਾਨੁਗੁਪਤ ਸਨ 510 ਵਿੱਚ ਅਖੀਰੀ ਹੋਇਆ, ਪਰ ਇਸ ਗੁਪਤਵੰਸ਼ ਦਾ ਰਾਜ ਪੂਰੇ ਪ੍ਰਤਾਪ ਵਿੱਚ ਸਨ 320 ਤੋਂ 455 ਤੀਕ ਰਿਹਾ. ਗੁਪਤ ਸੰਮਤ ਜੋ ਸਨ 320 ਤੋਂ ਆਰੰਭ ਹੋਇਆ ਸੀ, ਉਹ ਭੀ ਇਸ ਕੁਲ ਦੇ ਰਾਜ ਨਾਲ ਹੀ ਲੋਪ ਹੋ ਗਿਆ।

data/test/test_data/pl

@@ -0,0 +1,23 @@
+Litwo! Ojczyzno moja! ty jesteś jak zdrowie.
+Ile cię trzeba cenić, ten tylko się dowie,
+Kto cię stracił. Dziś piękność twą w całej ozdobie
+Widzę i opisuję, bo tęsknię po tobie.
+
+Panno Święta, co jasnej bronisz Częstochowy
+I w Ostrej świecisz Bramie! 2 Ty, co gród zamkowy
+Nowogródzki ochraniasz z jego wiernym ludem!
+Jak mnie dziecko do zdrowia powróciłaś cudem
+(Gdy od płaczącej matki pod Twoją opiekę
+10 Ofiarowany, martwą podniosłem powiekę
+I zaraz mogłem pieszo do Twych świątyń progu
+Iść za wrócone życie podziękować Bogu),
+Tak nas powrócisz cudem na Ojczyzny łono.
+Tymczasem przenoś moję duszę utęsknioną
+Do tych pagórków leśnych, do tych łąk zielonych,
+Szeroko nad błękitnym Niemnem rozciągnionych;
+Do tych pól malowanych zbożem rozmaitem,
+Wyzłacanych pszenicą, posrebrzanych żytem;
+Gdzie bursztynowy świerzop, gryka jak śnieg biała,
+20 Gdzie panieńskim rumieńcem dzięcielina pała,
+A wszystko przepasane, jakby wstęgą, miedzą
+Zieloną, na niej z rzadka ciche grusze siedzą.

data/test/test_data/pt

@@ -0,0 +1,2 @@
+A perseguição de Diocleciano ou «Grande Perseguição» foi a última e talvez mais sangrenta perseguição aos cristãos no Império Romano. Em 303, o imperador Diocleciano e seus colegas Maximiano,Galério e Constâncio emitiram uma série de éditos em que revogavam os direitos legais dos cristãos e exigiam que estes cumprissem aspráticas religiosas tradicionais. Decretos posteriores encaminhados aoclero exigiram o sacrifício universal, ordenando a realização de sacrifícios às divindades romanas. A perseguição variou em intensidade ao longo do império: as menos violentas repressões ocorreram na Gália e Britânia, onde se aplicou apenas o primeiro édito, enquanto as mais violentas se deram nas províncias orientais. Embora as leis persecutórias fossem anuladas por diversos imperadores em várias épocas, tradicionalmente o fim das perseguições aos cristãos foi marcado pelo Édito de Milão de Valério Licínio e Constantino, o Grande.
+Os cristãos tinham sido alvo de discriminação a nível local no Império, embora os primeiros imperadores se mostrassem renitentes a formular leis gerais contra eles. Não foi senão na década de 250, durante os reinados de Décio e Valeriano, que este tipo de leis começou a ser aprovado. Com esta legislação, os cristãos viram-se obrigados a sacrificar aos deuses pagãos, ou, pelo contrário, a enfrentar a prisão e pena de morte. Depois da chegada ao trono de Galieno em 260, estas leis foram abolidas. A chegada ao trono de Diocleciano, um camponês da Dalmácia em 284, após o assassinato de Numeriano, não marcou uma reversão imediata do desprezo pelo Cristianismo, mas anunciou uma mudança gradual nas atitudes oficiais para com as minorias religiosas.

data/test/test_data/ro

@@ -0,0 +1,2 @@
+Bătălia de la Austerlitz a fost una dintre cele mai mari victorii ale lui Napoleon. Această victorie a determinat destrămarea celei de a treia Coaliții formată împotrivaImperiului Francez. Pe 2 decembrie 1805 (20 noiembrieîn Stilul Vechi), o armată franceză condusă de împăratul Napoleon I a înfrânt decisiv o armată ruso-austriacă, comandată de țarul Alexandru I, după aproape nouă ore de luptă înverșunată. Bătălia a avut loc la Austerlitz (Slavkov u Brna) la aproape 20 km (12 mile) est de Brno în Moravia. Bătălia este adeseori considerată o capodoperă tactică.
+Pe 26 decembrie 1805, Austria și Franța au semnat Tratatul de la Pressburg, care a îndepărtat-o pe prima din război, a întărit tratatele inițiale de la Campo Formio și Lunéville, a obligat Austria să cedeze pământuri aliaților germani ai lui Napoleon și a impus o indemnizație de 40 de milioane de franci asupra Habsburgilor învinși.

data/test/test_data/ru

@@ -0,0 +1 @@
+Хирбад — низший священнический чин в зороастризме, частично инициированный мобед задэ, который закончил курс обучения, успешно сдал экзамены и принял участие в первой службе Ясны. Хирбад поступает в помощники мобеду на срок от 5 до 10 лет. Этот срок является стажировкой, которую проходят все будущие мобеды. Хирбад подчиняется всем решениям дастуров и мобедов беспрекословно, однако в случае сомнения в правильности их решений хирбад обязан обратиться в сообщество мобедов или дастуров. Традиционно хирбады являются связующим звеном между бехдинами и мобедами.

data/test/test_data/sk

@@ -0,0 +1,2 @@
+Karneval zvierat (Le Carnaval des Animaux) je dielo francúzskeho skladateľa Camille Saint-Saënsa.
+Skladbu je možno považovať za suitu, hoci skladateľ ju vtipne otituloval ako "veľkú zoologickú fantáziu". Dielo bolo zložené vo februári 1886 počas Saint-Saënsovej dovolenky v Rakúsku. Humorne ladené dielo malo na premiére v roku 1887 úspech, skladateľ sa však obával, aby mu neprinieslo povesť skladateľa ľahšej múzy. Chcel si udržať reputáciu vážneho skladateľa, ktorý skladá hlbokú hudbu, a preto doživotne zakázal hrať Karneval zvierat, s výnimkou Labute. Po skladateľovej smrti bolo ale dielo vydané a stalo sa jeho najpopulárnejším. Skladba je akýsi odľahčený a duchaplný hudobný cyklus, ktorý využíva viaceré humorné prvky. Ide predovšetkým o parodované citácie melódií iných skladateľov. Napriek tomu, že charakterovo ide o ľahšie dielo, oba klavírne party sú mimoriadne náročné.

data/test/test_data/so

@@ -0,0 +1,4 @@
+Waa Halyey Soomaaliyeed, Kaasoo isku deyay in uu magaalo ku Taala Geeska Africa oo ay adagtahay in jaamacad laga sameeyo ka unkay, Runtii markii hore riyo ayay u ahayd dadka, sida uu ii sheegay Prof.Saleebaan. Laakiin Riyadaas way dhabawday oo waxay Jaamacadda Camuud noqotay Jaamacadaha Dhulka soomaalidu degto kuwooda uga sarreeya hadaanay ahaynba Tan Koowaad.
+Prof.Saleebaan ii mar noo warramay anaga oo Jaamacadda Joogana ayuu yidhi "Waxaan u aadnay UAE Anagoo u yabooh tagnay barigii la aasa aasay Jaamacadda CAMUUD nin ka mid ahGanacsatadda Gobolka oo Dubai jooga ayaan ku idhi...waxaanu furaynaa jaamacad dee lacad ayaa lagaa rabaa...ninkii ayaa qoslay..kkk..wuxuuna yidhi Dee Jaamacad sow ma aha tii 10ka fooq ahayd...". Akhriste dhibaatadaas iyo kuwa ka sii qosol badan ayaa soo maray intii ay ku jireen Prof.Saleebaan iyo Saraakiisa la shaqeysa.
+Prof. Saleebaan waxa uu hada ku astaysan yahay halyey Soomaliyeed oo bog cusub u furay aqoonta iyo waxbarashada umada Soomaaliyeed. Ka dib furitaankii Jaamacadda weyn Ee Camuud, waxa bilaabmay Jaamacadaha faraha badan ee maanta ka jira guud ahaan geyiga Soomaliyeed.
+Prof. Saleebaan oo hogaanka wali u haya Jaamacadda Camuud, waxa uu jaamacadaasi u horseeday inay xaqiijiso guulo wax ku ool ah. Jaamacadda Camuud oo hada 10 sano jirsatay, waxa ay soo gardaadisay in ka badan 700 oo aqoon yahan, kuwaasi oo bartay laamaha kala duwan ee cilmiga. Aqoonayahanada ay Camuudi soo saartay, sida Dhakhaatiirta, Macaliminta, Dhaqaalayahanada, iyo Khubarada Beeraha iyo Culuumta Diinta maanta waxa ay ku baahsan yihiin dacalada dunida, iyaga oo adeegyo aasaasi ah u fidiya dadweyanaha ay la nool yihiin.

data/test/test_data/sq

@@ -0,0 +1,4 @@
+Hobi është një aktivitet të cilin një person e bën për kënaqësi personale dhe jo për ndonjë shpërblim. Duke ushtruar një aktivitet të caktuar personi i zgjëron njohuritë e tij, fiton përvojë dhe shkathtësi dhe vendos kontakte me pesona tjerë të cilët merren me aktivitetin e njejtë. Për ushtrimin me sukses të një veprimtarie hobi personi mund të vlerësohet me shpërblime të ndryshme por thelbi i hobit është kënaqësia personale.
+Si hobi mund të konsiderohen: arti, muzika, vallëzimi, piktura; modelimi, enigmatika, programimi, shkenca p.sh astronomia, matematika; sporti; pastaj drugdhendja, pemëtaria,bletaria; marrja me kafshët si me kuajt qentë,pëllumbat, pastaj koleksionimi i pullave postare etj.
+Në disa raste hobi kalon në punë të përhershme dhe bëhet profesion.
+

data/test/test_data/sv

@@ -0,0 +1,3 @@
+Ett ozonhål är ett underskott av gasen ozon som uppstår i ozonlagret i jordens atmosfär. Hålet, som egentligen är en förtunning av ozonskiktet, uppträder säsongsvis över polartrakterna, främst Antarktis, då mängden ozon där reduceras kraftig till följd av den höga halten klor som i sin tur orsakas av utsläpp av freoner (CFC). Konsekvens är att det mesta av den farligaultravioletta strålning (270–315 nm) som ozonskiktet brukar stoppa i atmosfären når ned i biosfären, där den förhöjda halten kan orsaka bland annat hudcancer, reduktion av planktonpopulationen i haven och skador på växter.
+Reduktionen av mängden ozon i atmosfären har sedan 1980-talet ökat. Inte bara den säsongsbundna minskningen överAntarktis som ozonhålen är associerade med, utan även en betydligt långsammare global minskning med omkring 3 procent per år som även drabbar områden mellan polarregionerna.
+1994 utsåg FN:s generalförsamling den 16 september till "Världs-ozonhåls-dagen" för att högtidlighålla undertecknandet avMontrealprotokollet 1987.

data/test/test_data/sw

@@ -0,0 +1,6 @@
+Jina hilo linatumika hasa kumaanisha Kanisa la Kikristo linalokubali mamlaka yaPapa wa Roma kama mkuu wa Maaskofu juu yake lote.
+Kanisa hilo linaamini kuwa ndani yake linadumu moja kwa moja Kanisa pekee lililoanzishwa na Yesu Kristo ambalo wanaunganishwa nalo wote wanaobatizwa katika madhehebu yoyote. Tofauti kati yao ni kwamba baadhi (Wakatoliki) wana ushirika kamili nalo, wakati wengine (hasa Waorthodoksi na Waprotestanti) wana ushirika nalo kwa viwango mbalimbali, kadiri wanavyokubali mafundisho,sakramenti na uongozi wake.
+Neno "katoliki" linatokana na kivumishi cha Kigiriki καθολικός (katholikòs), lenye maana ya «kamili, kadiri ya utimilifu». Kwa mara ya kwanza liliandikwa na Ignas wa Antiokia kwa Wakristo wa Smirna mwanzoni mwa karne II: «Alipo Yesu Kristo ndipo lilipo Kanisa Katoliki» (Ad Smyrnaeos, 8).
+Kati ya madhehebu ya Kikristo, Kanisa Katoliki linakusanya waamini 1,166,000,000, yaani nusu ya wafuasi wote wa Yesu, na 17.4 % ya binadamuwote, likiwa na asilimia kubwa ya waamini kati ya wananchi wa Amerika na Ulaya.
+Kanisa Katoliki linaishi katika majimbo 2,945, ambayo kwa kawaida yanaongozwa na Maaskofu (kwa jumla wako 5,002) wakisaidiwa na mapadri (409,166) na mashemasi; kati ya hayo, mengi yanafuata mapokeo ya magharibi, lakini machache mapokeo ya mashariki. Majimbo yanagawanyika katika parokia zinazoongozwa na padri anayeitwa paroko.
+Kati ya waamini wana nafasi ya pekee wamonaki na watawa wengine ambao wanaishi kwa mitindo iliyostawi katika historia ya Kanisa ili kumfuata Yesu kwa karibu zaidi katika useja mtakatifu, ufukara na utiifu.

data/test/test_data/ta

@@ -0,0 +1 @@
+கலிலேயக் கடல் என்றும் கெனசரேத்து ஏரி என்றும் அழைக்கப்படுகின்ற பெரும் நீர்த்தேக்கம் இசுரயேல் நாட்டில் உள்ளது. மனித இதயம் போன்ற வடிவம் கொண்ட இந்த ஏரிப் பகுதியில்தான் இயேசு கிறித்துவின் பணி பெரும்பாலும் நிகழ்ந்தது.விவிலிய வரலாற்றில் இந்த ஏரி சிறப்பான பங்கு வகிக்கிறது. இசுரயேல் நாட்டில் நல்ல தண்ணீர் கொண்ட ஏரிகளுள் மிகப் பெரியதாகும். இரண்டாயிரம் ஆண்டுகளுக்கு முன் இயேசு பணிசெய்த காலத்திலேயே கலிலேயக் கடல் மிகவும் பேர் போன இடமாக இருந்தது. கடலோர நெடுஞ்சாலை என்னும் பெயர்கொண்ட வணிகப் பாதை அவ்வழியே சென்று, எகிப்தையும் வடக்கு அரசுகளையும் இணைத்தது. அந்த ஏரிக்கரையில் உரோமையர் பல நகர்களை நிறுவினர். இயேசு பலமுறை இக்கடலுக்கு வந்துள்ளார். இந்த ஏரிக்கரையில் மீனவர் குடியிருப்புகள் பல இருந்தன. அங்கு வாணிகம் சிறப்பாக நடைபெற்றது. இயேசு தமது முதல் திருத்தூதர்களை அழைத்தபோது, இக்கடலில்தான் அவர்கள் மீன்பிடித்துக்கொண்டிருந்தனர். இவ்வாறு, மீன்பிடித் தொழிலை விட்டுவிட்டு இயேசுவைப் பின்சென்றவர்கள் திருத்தூதர்கள் பேதுருவும் அவர்தம் உடன்பிறப்பு அந்திரேயாவும், மற்றும்யோவான், அவர்தம் உடன்பிறப்பு யாக்கோபும் ஆவர். கலிலேயக் கடலருகில் அமைந்த ஒரு மலையில்தான் இயேசு ஒரு நீண்ட சொற்பொழிவு ஆற்றியதாக மத்தேயு நற்செய்தியாளர்

data/test/test_data/te

@@ -0,0 +1,2 @@
+భారత గణతంత్ర రాజ్యము నూటపది కోట్లకు పైగా జనాభా తో ప్రపంచం లో అత్యధిక జనాభా కలిగిన దేశాలలో రెండవది. వైశాల్యము లో ప్రపంచం లో ఏడవది. భారత దేశ ప్రాముఖ్యత గత రెండు దశాబ్దాలలో గణనీయంగా పెరిగింది. భారత ఆర్ధిక వ్యవస్థ యొక్క స్థూల జాతీయోత్పత్తి( పర్చేసింగ్ పవర్ పారిటీ) ప్రకారం నాలుగో స్థానంలో ఉంది. ప్రపంచంలో అతివేగంగా వృద్ధి చెందుతున్న వ్యవస్థలలో ఇది ఒకటి. ప్రపంచం లోనే అతి పెద్ద స్వేచ్ఛాయుత ప్రజాస్వామ్యము ఐన భారతదేశం, ప్రపంచం లోనే అతి పెద్ద సైనిక సామర్థ్యం కలిగి ఉన్న దేశాలలో ఒకటిగా, అణ్వస్త్ర సామర్థ్యం కలిగన దేశంగా ఒక ముఖ్యమైన ప్రాంతీయ శక్తిగా ఆవిర్భవించినది.
+దక్షణాసియా లో ఏడు వేల కిలోమీటర్లకు పైగా సముద్రతీరము కలిగి ఉండి, భారత ఉపఖండము లో అధిక భాగాన్ని కూడుకొని ఉన్న భారతదేశం, అనేక చారిత్రక వాణిజ్య రహదారుల పైన ఉన్నది. పాకిస్తాన్, చైనా, మయన్మార్,బంగ్లాదేశ్, నేపాల్, భూటాన్ మరియు ఆఫ్ఘానిస్తాన్[1] దేశాలతో సరిహద్దులను పంచుకుంటోంది. శ్రీలంక,మాల్దీవులు మరియు ఇండోనేసియా భారతదేశం దగ్గరలో గల ద్వీప-దేశాలు. భారతదేశము కొన్ని పురాతన నాగరికతలకుపుట్టిల్లు మరియు నాలుగు ముఖ్య ప్రపంచ మతాలకు (హిందూ మతము, బౌద్ధ మతము, జైన మతము మరియు సిక్కు మతము) జన్మనిచ్చినది. 1947 లో స్వాతంత్ర్యం రావడానికి ముందు బ్రిటీషు సామ్రాజ్యం లో భాగంగా ఉండేది.

data/test/test_data/th

@@ -0,0 +1,3 @@
+ดาราจักร (กาแล็กซี) เป็นกลุ่มของดาวฤกษ์นับล้านดวง กับสสารระหว่างดาวอันประกอบด้วยแก๊ส ฝุ่น และสสารมืด รวมอยู่ด้วยกันด้วยแรงโน้มถ่วง คำนี้มีที่มาจากภาษากรีกว่า galaxias หมายถึง "น้ำนม" ซึ่งสื่อโดยตรงถึงดาราจักรทางช้างเผือก ดาราจักรโดยทั่วไปมีขนาดน้อยใหญ่ต่างกัน นับแต่ดาราจักรแคระที่มีดาวฤกษ์ประมาณสิบล้านดวง ไปจนถึงดาราจักรขนาดยักษ์ที่มีดาวฤกษ์นับถึงล้านล้านดวง โคจรรอบศูนย์กลางมวลจุดเดียวกัน ในดาราจักรหนึ่ง ๆ ยังประกอบไปด้วยระบบดาวหลายดวง กระจุกดาวจำนวนมาก และเมฆระหว่างดาวหลายประเภท ดวงอาทิตย์ของเราเป็นหนึ่งในบรรดาดาวฤกษ์ในดาราจักรทางช้างเผือก เป็นศูนย์กลางของระบบสุริยะซึ่งมีโลกและวัตถุอื่น ๆ โคจรโดยรอบ
+ในอดีตมีการแบ่งดาราจักรเป็นชนิดต่าง ๆ โดยจำแนกจากลักษณะที่มองเห็นด้วยตา รูปแบบที่พบโดยทั่วไปคือดาราจักรรี ซึ่งปรากฏให้เห็นเป็นรูปทรงรี ดาราจักรชนิดก้นหอย เป็นดาราจักรรูปร่างแบนเหมือนจาน ภายในมีแขนฝุ่นเป็นวงโค้ง ดาราจักรที่มีรูปร่างไม่แน่นอนหรือแปลกประหลาดเรียกว่าดาราจักรแปลก ซึ่งมักเกิดจากการถูกรบกวนด้วยแรงโน้มถ่วงของดาราจักรข้างเคียง อันตรกิริยาระหว่างดาราจักรในลักษณะนี้อาจส่งผลให้ดาราจักรมารวมตัวกัน และทำให้เกิดสภาวะที่ดาวฤกษ์มาจับกลุ่มกันมากขึ้นและกลายสภาพเป็นดาราจักรที่สร้างดาวฤกษ์ใหม่อย่างบ้าคลั่ง เรียกว่าดาราจักรชนิดดาวกระจาย นอกจากนี้ดาราจักรขนาดเล็กที่ปราศจากโครงสร้างอันเชื่อมโยงกันก็มักถูกเรียกว่าดาราจักรไร้รูปแบบ (อ่านต่อ...)
+บทความคัดสรรก่อนหน้านี้: สมเด็จพระอนุชาธิราช เจ้าฟ้าจักรพงษ์ภูวนาถ กรมหลวงพิษณุโลกประชานาถ –พระเมรุมาศ – เจ. อาร์. อาร์. โทลคีน

data/test/test_data/tl

@@ -0,0 +1 @@
+Ang Lungsod ng Maynila (Opisyal: City of Manila), kilala bilangMaynila, ay ang kabiserang lungsod ng Pilipinas na isa sa 17 lungsod at munisipalidad na bumubuo ng Kalakhang Maynila. Matatagpuan ang lungsod sa baybayin ng Look ng Maynila na nasa kanlurang bahagi ng pambansang punong rehiyon na matatagpuan sa kanlurang bahagi ng Luzon, isa ito sa mga sentro ng negosyo ng umuunlad na kalakhang pook na tinitirahan ng humigit sa 19 na milyong katao. Ang Maynila, na sumasakop ng 38.55 na kuwadrado ng kilometro, ay ang pangalawang pinakamalaking lungsod ng Pilipinas, na may humigit-kumulang na 1.6 milyong kataong naninirahan. Pero ang kalapit na lungsod, ang Lungsod Quezon, ang dating kabisera ng bansa, ay mas matao. Ang kalakhang pook ay ang pangalawang pinakamalaki sa Timog-silangang Asya. Ang Maynila ay may 900 na kilometro ang layo mula sa Hongkong, 2,400 na kilometro ang layo mula saSinggapur at mas marami ng 2,100 na kilometro ang layo sa hilagang-silangan mula sa Kuala Lumpur. Ang Ilog Pasig ang humahati sa lungsod ng dalawa. Sa depositong alubyal ng Ilog Pasig at Look ng Maynila nakapwesto ang nakakaraming sinasakupan ng lungsod na gawa mula sa tubig.

data/test/test_data/tr

@@ -0,0 +1,2 @@
+Nikki ve Paulo, Nikki Fernandez ve Paulo (telaffuzu /ˈpaʊluː/), kırkı aşkın kişinin geçirdikleri uçak kazasının ardından Güney Pasifikyakınlarındaki bir adada yaşananları konu alan ABC dramatelevizyon dizisi Lost'ta yer alan kurgusal karakterler. 815 sefer sayılı Oceanic uçuşunun ardından yaşam mücadelesi veren karakterler, ABD'li aktris Kiele Sanchez ve Brezilyalı aktör Rodrigo Santorotarafından canlandırıldı.
+İkili, ilk kez üçüncü sezon başlarında göründü. Uçak kazasını izleyen günlerde yalnızca on beş kişiden söz edilmesi üzerine dizi yapımcıları diğer karakterlerin kaderlerine ilişkin sorularla karşılaşmış, Nikki ve Paulo karakterleri de bu sırada ortaya çıkmıştır. Karakterler, izleyiciler ve eleştirmenler üzerinde genelde olumsuz bir etki bırakmıştır. Lost 'un dizi sorumlusu Damon Lindelof da dizi hayranlarının ikiliden nefret ettiğini kabul etmiştir. Bu sebepten dolayı karakterler, aynı sezonun ilerleyen bölümlerinde hayatlarına veda ettiler.

data/test/test_data/uk

@@ -0,0 +1,3 @@
+Гре́ція (грец. Ελλάδα — Еллада), офіційна назва Грецька Республіка (грец. Ελληνική Δημοκρατία) — європейськадержава на півдні Балканського півострова та численних островах. На півночі межує з Албанією, Республікою Македонією та Болгарією, на сході — з Туреччиною. Південні береги омиваються Середземним морем, західні —Іонічним, східні — Егейським. До складу Грецької республіки також входить автономна чернеча республіка Афон, розташована на півострові Халкідіки Айон-Орос.
+Сучасна Греція — спадкоємиця культури Стародавньої Греції і вважається колискою західної цивілізації, батьківщиною світової демократії[5], західної філософії[6], основних принципів фізико-математичних наук, мистецтва театру[7] таОлімпійських ігор сучасності. Грецька мова має найдовшу історію серед усіх мов індоєвропейської групи, адже нараховує 34 століття тільки писемного періоду[8]. На основі грецької абетки виникли латиниця та кирилиця.
+Багата культурна спадщина, географічне положення роблять Грецію однією з найбільш відвідуваних країн світу[9]. Вона приваблює туристів одночасно рекреаційними курортами, різнобічним історико-культурним туризмом та паломництвомдо святинь всього християнського світу.

data/test/test_data/ur

@@ -0,0 +1 @@
+‎ان کا نام “مؤید الدین ابو الفضل بن عبد الکریم بن عبد الرحمن الحارثی” ہے، طبیب، ریاضی دان، انجینئر، ادیب، نحوی اور شاعر تھے، دمشق میں 529 ہجری کو پیدا ہوئے اور 599 ہجری کو وفات پائی، وہ پہلے بڑھئی تھے اور اس کام میں مزید مہارت کے لیے اقلیدس کا ہندسہ سیکھا، انہوں نے علمِ ہیئت او زیچ بنانے پر بھی کام کیا، پھر طب کی تعلیم حاصل کی، وہ گھڑیاں بھی بناتے تھے، ان کی طب اور فلک پر کافی تصانیف مذکور ہیں جن میں کچھ یہ ہیں: کتاب فی معرفہ رمز التقویم، کتاب فی الادویہ.

data/test/test_data/vi

@@ -0,0 +1,2 @@
+Rhinocerus là tên tác phẩm khắc gỗ của họa sĩ, nghệ nhân khắc bản in người Đức Albrecht Dürer sáng tác năm 1515. Tác phẩm này là hình ảnh một con tê giácdựa trên các mô tả từ sách vở và bức phác họa của một họa sĩ vô danh về con tê giác Ấn Độ đã được đưa tới Lisboa vào đầu năm 1515. Đây là con tê giác đầu tiên được đưa tới châu Âu kể từ thời Đế chế La Mã vì vậy bản thân Dürer chưa bao giờ được nhìn thấy một con tê giác thực sự. Vào cuối năm 1515 vua Manuel I của Bồ Đào Nha đã gửi con vật choGiáo hoàng Leo X làm quà nhưng chiếc tàu chở nó đã bị đắm ngoài khơi Ý đầu năm1516 và phải chờ đến năm 1579 con tê giác thứ hai mới được mang từ Ấn Độ về châu Âu.
+Mặc dù bức tranh có nhiều chi tiết giải phẫu không chính xác về loài tê giác,Rhinocerus vẫn trở nên rất nổi tiếng ở châu Âu và được sao chép lại nhiều lần qua ba thế kỷ sau đó với tư cách một minh họa chính xác về loài tê giác. Mãi đến cuốithế kỷ 18 khi con tê giác Clara được đưa đi trưng bày khắp châu Âu, Rhinocerusmới dần bị thay thế bởi các bức minh họa chân thực hơn. Người ta đã nhận xét về tác phẩm của Dürer như sau: "có lẽ không bức tranh động vật nào có được ảnh hưởng sâu sắc tới nghệ thuật như vậy"

data/test/test_data/zh-tw

@@ -0,0 +1,3 @@
+胡蜂號航空母艦（CV-18）是一艘隸屬於美國海軍的航空母艦，為艾塞克斯級航空母艦的十號艦，亦是美軍第九艘以胡蜂為名的軍艦。艦上水兵以胡蜂之形象，暱稱胡蜂號為強力蜂刺（Mighty Stinger）。[2]
+胡蜂號在1942年開始建造，起初命名為奧里斯卡尼（Oriskany），但在數個月更改，以紀念於瓜達爾卡納爾島戰役沉沒的胡蜂號。1943年胡蜂號下水服役，並在1944年開始參與太平洋戰爭。戰後胡蜂號退役停放，並在1949年進行SCB-27A現代化改建。改建完成時，韓戰已爆發一年多，但胡蜂號未前往西太平洋，而是留在大西洋及地中海一帶執勤。1952年胡蜂號被重編為攻擊航母（CVA-18），並在1955年進行SCB-125改建，增設斜角飛行甲板。1956年胡蜂號再重編為反潛航艦（CVS-18），多次參與北約的海上演習，亦曾多次回收雙子座計畫的太空艙。
+胡蜂號在1972年退役除藉，並在1973年出售拆解。

data/test/test_detector.rb

@@ -0,0 +1,52 @@
+require 'test/helper'
+
+class DetectorTest < Test::Unit::TestCase
+  TRAINING_EN = "\x00a \x00a \x00a \x00b \x00b \x00c \x00c \x00d \x00e"
+  TRAINING_FR = "\x00a \x00b \x00b \x00c \x00c \x00c \x00d \x00d \x00d"
+  TRAINING_JP = "\x30\x42 \x30\x42 \x30\x42 \x30\x44 \x30\x46 \x30\x48 \x30\x48"
+
+  def setup
+    @factory = DetectorFactory.new
+    profile_en = LangProfile.new("en")
+    TRAINING_EN.split(/ /).each do |w|
+      profile_en.add(UCS2String.new(w))
+    end
+    @factory.add_profile(profile_en, 0, 3)
+
+    profile_fr = LangProfile.new("fr")
+    TRAINING_FR.split(/ /).each do |w|
+      profile_fr.add(UCS2String.new(w))
+    end
+    @factory.add_profile(profile_fr, 1, 3)
+
+    profile_jp = LangProfile.new("jp")
+    TRAINING_JP.split(/ /).each do |w|
+      profile_jp.add(UCS2String.new(w))
+    end
+    @factory.add_profile(profile_jp, 2, 3)
+  end
+
+  def test_detector1
+    detector = @factory.create()
+    detector.append(UCS2String.new("\x00a"))
+    assert_equal("en", detector.detect())
+  end
+
+  def test_detector2
+    detector = @factory.create()
+    detector.append(UCS2String.new("\x00b\x00\x20\x00d"))
+    assert_equal("fr", detector.detect())
+  end
+
+  def test_detector3
+    detector = @factory.create()
+    detector.append(UCS2String.new("\x00d\x00 \x00e"))
+    assert_equal("en", detector.detect())
+  end
+  
+  def test_detector4
+    detector = @factory.create()
+    detector.append(UCS2String.new("\x30\x42\x30\x42\x30\x42\x30\x42\x00a"))
+    assert_equal("jp", detector.detect())
+  end
+end

data/test/test_detector_factory.rb

@@ -0,0 +1,16 @@
+require 'test/helper'
+
+class DetectorFactoryTest < Test::Unit::TestCase
+  def test_add_profile
+    profile = LangProfile.new
+    factory = DetectorFactory.new
+
+    factory.add_profile(profile, 0, 1)
+    assert_raises(LangDetectException) do
+      factory.add_profile(profile, 1, 1)
+    end
+    
+    detector = factory.create(0.123)
+    assert_equal(0.123, detector.alpha)
+  end
+end

data/test/test_java_property_reader.rb

@@ -0,0 +1,8 @@
+require 'test/helper'
+
+class JavaPropertyReaderTest < Test::Unit::TestCase
+  def test_parse
+    jpr = JavaPropertyReader.new(MESSAGES_PROPERTIES)
+    assert_equal("\x4f\x7c\x69\x34", jpr["NGram.KANJI_1_0"])
+  end
+end

data/test/test_lang_profile.rb

@@ -0,0 +1,79 @@
+# -*- coding: utf-8 -*-
+require 'test/helper'
+
+class LangProfileTest < Test::Unit::TestCase
+  def test_lang_profile
+    profile = LangProfile.new
+    assert_nil(profile.name)
+  end
+
+  def test_lang_profile_string_int
+    profile = LangProfile.new('en')
+    assert_equal('en', profile.name)
+  end
+
+  def test_add
+    profile = LangProfile.new('en')
+    profile.add(UCS2String.from_utf8("a"))
+    assert_equal(1, profile.freq[UCS2String.from_utf8("a")])
+    profile.add(UCS2String.from_utf8("a"))
+    assert_equal(2, profile.freq[UCS2String.from_utf8("a")])
+    profile.omit_less_freq()
+  end
+
+  def test_add_illegally_1
+    profile = LangProfile.new
+    profile.add(UCS2String.from_utf8("a"))
+    assert_nil(profile.freq[UCS2String.from_utf8("a")])
+  end
+
+  def test_add_illegally_2
+    profile = LangProfile.new('en')
+    profile.add(UCS2String.from_utf8("a"))
+    profile.add(UCS2String.from_utf8(""))
+    profile.add(UCS2String.from_utf8("abcd"))
+    assert_equal(1, profile.freq[UCS2String.from_utf8("a")])
+    assert_nil(profile.freq[UCS2String.from_utf8("")])
+    assert_nil(profile.freq[UCS2String.from_utf8("abcd")])
+  end
+
+  def test_omit_less_freq
+    profile = LangProfile.new('en')
+    grams = "\x00a \x00b \x00c \x30\x42 \x30\x44 \x30\x46 \x30\x48 \x30\x4a \x30\x4b \x30\x4c \x30\x4d \x30\x4e \x30\x4f".split(/ /)
+    5.times do
+      grams.each do |gram|
+        profile.add(UCS2String.new(gram))
+      end
+    end
+    profile.add(UCS2String.new("\x30\x50"))
+
+    assert_equal(5, profile.freq[UCS2String.from_utf8("a")])
+    assert_equal(5, profile.freq[UCS2String.new("\x30\x42")])
+    assert_equal(1, profile.freq[UCS2String.new("\x30\x50")])
+
+    profile.omit_less_freq()
+    assert_nil(profile.freq[UCS2String.from_utf8("a")])
+    assert_equal(5, profile.freq[UCS2String.new("\x30\x42")])
+    assert_nil(profile.freq[UCS2String.new("\x30\x50")])
+  end
+
+  def test_omit_less_freq_illegally
+    profile = LangProfile.new
+    profile.omit_less_freq()
+  end
+
+  def test_load_from_file
+    Dir[File.join(PROFILES_PATH, '*')].each do |filename|
+      profile = LangProfile.load_from_file(filename)
+      assert_equal(filename.split(/\//).last, profile.name)
+      has_content = [
+       profile.freq[UCS2String.from_utf8(" A")], # Latin
+       profile.freq[UCS2String.new("\x06\x0c")], # Arabic
+       profile.freq[UCS2String.new("\x0a\x85")], # Gujarati
+       profile.freq[UCS2String.new("\x09\x05")], # Hindi
+       profile.freq[UCS2String.new("\x30\x01")], # Japanese
+      ].any?
+      assert(has_content, profile.inspect)
+    end
+  end
+end

data/test/test_language.rb

@@ -0,0 +1,15 @@
+require 'test/helper'
+
+class LanguageTest < Test::Unit::TestCase
+  def test_language
+    lang = Language.new(nil, 0)
+    assert_nil(lang.lang)
+    assert_in_delta(0, lang.prob, 0.0001)
+    assert_equal('', lang.to_s)
+
+    lang = Language.new('en', 1.0)
+    assert_equal('en', lang.lang)
+    assert_in_delta(1, lang.prob, 0.0001)
+    assert_equal('en:1.0', lang.to_s)
+  end
+end

data/test/test_language_detection_facade.rb

@@ -0,0 +1,9 @@
+# -*- coding: utf-8 -*-
+require 'test/helper'
+
+class LanguageDetectionFacadeTest < Test::Unit::TestCase
+  def test_initialize_and_detect
+    facade = LanguageDetectionFacade.new
+    assert_equal("pl", facade.detect(UCS2String.from_utf8("Ich dalekopis fałszuje, gdy próby XQV nie wytrzymuje")))
+  end
+end

data/test/test_langusta.rb

@@ -0,0 +1,25 @@
+require 'test/helper'
+
+class LangustaTest < Test::Unit::TestCase
+
+  FACTORY = DetectorFactory.new
+  profiles = Dir[File.join(PROFILES_PATH, '*')].map do |filename|
+    LangProfile.load_from_file(filename)
+  end
+  profiles.each_with_index do |profile, index|
+    FACTORY.add_profile(profile, index, profiles.length)
+  end
+
+  Dir['test/test_data/*'].each do |filename|
+    language = filename.split(/\//).last
+    define_method(("test_%s_language" % [language]).to_sym) do 
+      detector = FACTORY.create
+      
+      ucs2_content = UCS2String.from_utf8(File.open(filename).read)
+      detector = FACTORY.create
+      detector.append(ucs2_content)
+      
+      assert_equal(language, detector.detect)
+    end
+  end
+end

data/test/test_n_gram.rb

@@ -0,0 +1,103 @@
+# -*- coding: utf-8 -*-
+require 'test/helper'
+
+class NGramTest < Test::Unit::TestCase
+  def test_constants
+    assert_equal(3, NGram::N_GRAM)
+  end
+
+  def test_normalize_with_latin
+    assert_equal("\x00 ", NGram.normalize("\x00\x00")) # \0
+    assert_equal("\x00 ", NGram.normalize("\x00\x09")) # <control>
+    assert_equal("\x00 ", NGram.normalize("\x00\x20")) # space
+    assert_equal("\x00 ", NGram.normalize("\x00\x30")) # 0
+    assert_equal("\x00 ", NGram.normalize("\x00\x40")) # @
+    assert_equal("\x00\x41", NGram.normalize("\x00\x41")) # A
+    assert_equal("\x00\x5a", NGram.normalize("\x00\x5a")) # Z
+    assert_equal("\x00 ", NGram.normalize("\x00\x5b")) # [
+    assert_equal("\x00 ", NGram.normalize("\x00\x60")) # `
+    assert_equal("\x00\x61", NGram.normalize("\x00\x61")) # a
+    assert_equal("\x00\x7a", NGram.normalize("\x00\x7a")) # z
+    assert_equal("\x00 ", NGram.normalize("\x00\x7b")) # {
+    assert_equal("\x00 ", NGram.normalize("\x00\x7f")) # <control>
+    assert_equal("\x00\x80", NGram.normalize("\x00\x80")) # <control>
+    assert_equal("\x00 ", NGram.normalize("\x00\xa0")) # <control>
+    assert_equal("\x00\xa1", NGram.normalize("\x00\xa1")) # <control>
+  end
+
+  def test_normalize_with_cjk_kanji
+    assert_equal("\x4e\x00", NGram.normalize("\x4e\x00"))
+    assert_equal("\x4e\x01", NGram.normalize("\x4e\x01"))
+    assert_equal("\x4e\x02", NGram.normalize("\x4e\x02"))
+    assert_equal("\x4e\x01", NGram.normalize("\x4e\x03"))
+    assert_equal("\x4e\x04", NGram.normalize("\x4e\x04"))
+    assert_equal("\x4e\x05", NGram.normalize("\x4e\x05"))
+    assert_equal("\x4e\x06", NGram.normalize("\x4e\x06"))
+    assert_equal("\x4e\x07", NGram.normalize("\x4e\x07"))
+    assert_equal("\x4e\x08", NGram.normalize("\x4e\x08"))
+    assert_equal("\x4e\x09", NGram.normalize("\x4e\x09"))
+    assert_equal("\x4e\x10", NGram.normalize("\x4e\x10"))
+    assert_equal("\x4e\x11", NGram.normalize("\x4e\x11"))
+    assert_equal("\x4e\x12", NGram.normalize("\x4e\x12"))
+    assert_equal("\x4e\x13", NGram.normalize("\x4e\x13"))
+    assert_equal("\x4e\x14", NGram.normalize("\x4e\x14"))
+    assert_equal("\x4e\x15", NGram.normalize("\x4e\x15"))
+    assert_equal("\x4e\x1e", NGram.normalize("\x4e\x1e"))
+    assert_equal("\x4e\x1f", NGram.normalize("\x4e\x1f"))
+    assert_equal("\x4e\x20", NGram.normalize("\x4e\x20"))
+    assert_equal("\x4e\x21", NGram.normalize("\x4e\x21"))
+    assert_equal("\x4e\x22", NGram.normalize("\x4e\x22"))
+    assert_equal("\x4e\x23", NGram.normalize("\x4e\x23"))
+    assert_equal("\x4e\x13", NGram.normalize("\x4e\x24"))
+    assert_equal("\x4e\x13", NGram.normalize("\x4e\x25"))
+    assert_equal("\x4e\x30", NGram.normalize("\x4e\x30"))
+  end
+
+  def test_ngram
+    ngram = NGram.new
+    (0..4).each do |n|
+      assert_nil(ngram.get(n))
+    end
+    ngram.add_char("\x00 ")
+    (1..3).each do |n|
+      assert_nil(ngram.get(n))
+    end
+    ngram.add_char("\x00A")
+    assert_equal(UCS2String.new("\x00A"), ngram.get(1))
+    assert_equal(UCS2String.new("\x00 \x00A"), ngram.get(2))
+    assert_nil(ngram.get(3))
+    ngram.add_char("\x06\xcc")
+    assert_equal(UCS2String.new("\x06\x4a"), ngram.get(1))
+    assert_equal(UCS2String.new("\x00A\x06\x4a"), ngram.get(2))
+    assert_equal(UCS2String.new("\x00 \x00A\x06\x4a"), ngram.get(3))
+    ngram.add_char("\x1e\xa0")
+    assert_equal(UCS2String.new("\x1e\xc3"), ngram.get(1))
+    assert_equal(UCS2String.new("\x06\x4a\x1e\xc3"), ngram.get(2))
+    assert_equal(UCS2String.new("\x00A\x06\x4a\x1e\xc3"), ngram.get(3))
+    ngram.add_char("\x30\x44")
+    assert_equal(UCS2String.new("\x30\x42"), ngram.get(1))
+    assert_equal(UCS2String.new("\x1e\xc3\x30\x42"), ngram.get(2))
+    assert_equal(UCS2String.new("\x06\x4a\x1e\xc3\x30\x42"), ngram.get(3))
+
+    ngram.add_char("\x30\xa4")
+    assert_equal(UCS2String.new("\x30\xa2"), ngram.get(1))
+    assert_equal(UCS2String.new("\x30\x42\x30\xa2"), ngram.get(2))
+    assert_equal(UCS2String.new("\x1e\xc3\x30\x42\x30\xa2"), ngram.get(3))
+    ngram.add_char("\x31\x06")
+    assert_equal(UCS2String.new("\x31\x05"), ngram.get(1))
+    assert_equal(UCS2String.new("\x30\xa2\x31\x05"), ngram.get(2))
+    assert_equal(UCS2String.new("\x30\x42\x30\xa2\x31\x05"), ngram.get(3))
+    ngram.add_char("\xac\x01")
+    assert_equal(UCS2String.new("\xac\x00"), ngram.get(1))
+    assert_equal(UCS2String.new("\x31\x05\xac\x00"), ngram.get(2))
+    assert_equal(UCS2String.new("\x30\xa2\x31\x05\xac\x00"), ngram.get(3))
+    ngram.add_char("\x20\x10")
+    assert_nil(ngram.get(1))
+    assert_equal(UCS2String.new("\xac\x00\x00 "), ngram.get(2))
+    assert_equal(UCS2String.new("\x31\x05\xac\x00\x00 "), ngram.get(3))
+    ngram.add_char("\x00a")
+    assert_equal(UCS2String.new("\x00a"), ngram.get(1))
+    assert_equal(UCS2String.new("\x00 \x00a"), ngram.get(2))
+    assert_nil(ngram.get(3))
+  end
+end

data/test/test_tag_extractor.rb

@@ -0,0 +1,71 @@
+require 'test/helper'
+
+class TagExtractorTest < Test::Unit::TestCase
+  def test_tag_extractor
+    extractor = TagExtractor.new(nil, 0)
+    assert_nil(extractor.target)
+    assert_equal(0, extractor.threshold)
+
+    extractor2 = TagExtractor.new(UCS2String.from_utf8("abstract"), 10)
+    assert_equal(UCS2String.from_utf8("abstract"), extractor2.target)
+    assert_equal(10, extractor2.threshold)
+  end
+
+  def test_set_tag
+    extractor = TagExtractor.new(nil, 0)
+    extractor.tag = UCS2String.from_utf8("")
+    assert_equal(UCS2String.from_utf8(""), extractor.tag)
+    extractor.tag = nil
+    assert_nil(extractor.tag)
+  end
+
+  def test_add
+    extractor = TagExtractor.new(nil, 0)
+    extractor.add(UCS2String.from_utf8(""))
+    extractor.add(nil)
+  end
+
+  def test_close_tag
+    extractor = TagExtractor.new(nil, 0)
+    profile = nil
+    extractor.close_tag(profile)
+  end
+
+  def test_normal_scenario
+    extractor = TagExtractor.new(UCS2String.from_utf8("abstract"), 10)
+    assert_equal(0, extractor.count)
+    
+    profile = LangProfile.new("en")
+    # normal
+    extractor.tag = UCS2String.from_utf8("abstract")
+    extractor.add(UCS2String.from_utf8("This is a sample text."))
+    extractor.close_tag(profile)
+    assert_equal(1, extractor.count)
+    assert_equal(17, profile.n_words[0])
+    assert_equal(22, profile.n_words[1])
+    assert_equal(17, profile.n_words[2])
+
+    # too short
+    extractor.tag = UCS2String.from_utf8("abstract")
+    extractor.add(UCS2String.from_utf8("sample"))
+    extractor.close_tag(profile)
+    assert_equal(1, extractor.count)
+
+    # other tags
+    extractor.tag = UCS2String.from_utf8("div")
+    extractor.add(UCS2String.from_utf8("This is a sample text which is enough long."))
+    extractor.close_tag(profile)
+    assert_equal(1, extractor.count)
+  end
+
+  def test_clear
+    extractor = TagExtractor.new(UCS2String.from_utf8("abstract"), 10)
+    extractor.tag = UCS2String.from_utf8("abstract")
+    extractor.add(UCS2String.from_utf8("This is a sample text."))
+    assert_equal(UCS2String.from_utf8("This is a sample text."), extractor.buffer)
+    assert_equal(UCS2String.from_utf8("abstract"), extractor.tag)
+    extractor.clear
+    assert_equal(UCS2String.from_utf8(""), extractor.buffer)
+    assert_nil(extractor.tag)
+  end
+end