scylla 0.4.3 → 0.5.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (94) hide show
  1. data/Gemfile +1 -0
  2. data/Gemfile.lock +10 -0
  3. data/VERSION +1 -1
  4. data/lib/scylla/generator.rb +1 -1
  5. data/lib/scylla/lms/13375P33K.lm +156 -156
  6. data/lib/scylla/lms/arabic.lm +133 -133
  7. data/lib/scylla/lms/bulgarian.lm +122 -122
  8. data/lib/scylla/lms/catalan.lm +151 -151
  9. data/lib/scylla/lms/danish.lm +137 -137
  10. data/lib/scylla/lms/english.lm +207 -207
  11. data/lib/scylla/lms/french.lm +400 -400
  12. data/lib/scylla/lms/japanese.lm +400 -400
  13. data/lib/scylla/lms/korean.lm +233 -233
  14. data/lib/scylla/lms/norwegian.lm +398 -398
  15. data/lib/scylla/lms/spanish.lm +98 -98
  16. data/lib/scylla/lms/swedish.lm +123 -123
  17. data/lib/scylla/lms/tagalog.lm +223 -223
  18. data/lib/scylla/lms/welsh.lm +234 -234
  19. data/lib/scylla/resources.rb +10 -10
  20. data/scylla.gemspec +17 -40
  21. data/source_texts/catalan.txt +28 -28
  22. data/source_texts/danish.txt +62 -62
  23. data/source_texts/english.txt +10 -10
  24. data/source_texts/french.txt +470 -77
  25. data/source_texts/japanese.txt +453 -199
  26. data/source_texts/norwegian.txt +96 -63
  27. data/source_texts/spanish.txt +269 -269
  28. data/test/classifier_test.rb +2 -2
  29. data/test/fixtures/lms/13375p33k.lm +156 -156
  30. data/test/fixtures/lms/danish.lm +137 -137
  31. data/test/fixtures/lms/english.lm +207 -207
  32. data/test/fixtures/lms/french.lm +400 -400
  33. data/test/fixtures/lms/hindi.lm +400 -0
  34. data/test/fixtures/lms/italian.lm +400 -0
  35. data/test/fixtures/lms/japanese.lm +400 -400
  36. data/test/fixtures/lms/norwegian.lm +400 -0
  37. data/test/fixtures/lms/spanish.lm +98 -98
  38. data/test/fixtures/source_texts/danish.txt +62 -62
  39. data/test/fixtures/source_texts/english.txt +10 -10
  40. data/test/fixtures/source_texts/french.txt +470 -77
  41. data/test/fixtures/source_texts/hindi.txt +199 -0
  42. data/test/fixtures/source_texts/italian.txt +120 -0
  43. data/test/fixtures/source_texts/japanese.txt +453 -199
  44. data/test/fixtures/source_texts/norwegian.txt +190 -0
  45. data/test/fixtures/source_texts/spanish.txt +269 -269
  46. data/test/fixtures/test_languages/english +61 -0
  47. data/test/fixtures/test_languages/french +0 -0
  48. data/test/fixtures/test_languages/german +29 -0
  49. data/test/fixtures/test_languages/hindi +3 -0
  50. data/test/fixtures/test_languages/italian +6 -0
  51. data/test/fixtures/test_languages/japanese +79 -0
  52. data/test/fixtures/test_languages/norwegian +14 -0
  53. data/test/fixtures/test_languages/spanish +22 -0
  54. data/test/generator_test.rb +0 -1
  55. data/test/language_test.rb +28 -0
  56. metadata +20 -43
  57. data/lib/scylla/lms/esperanto.lm +0 -400
  58. data/lib/scylla/lms/hungarian.lm +0 -400
  59. data/lib/scylla/lms/irish.lm +0 -400
  60. data/lib/scylla/lms/kannada.lm +0 -400
  61. data/lib/scylla/lms/latin.lm +0 -400
  62. data/lib/scylla/lms/malay.lm +0 -400
  63. data/lib/scylla/lms/marathi.lm +0 -400
  64. data/lib/scylla/lms/mingo.lm +0 -400
  65. data/lib/scylla/lms/nepali.lm +0 -400
  66. data/lib/scylla/lms/quechua.lm +0 -400
  67. data/lib/scylla/lms/rumantsch.lm +0 -400
  68. data/lib/scylla/lms/sanskrit.lm +0 -400
  69. data/lib/scylla/lms/scots_gaelic.lm +0 -400
  70. data/lib/scylla/lms/serbian.lm +0 -400
  71. data/lib/scylla/lms/swahili.lm +0 -400
  72. data/lib/scylla/lms/tamil.lm +0 -400
  73. data/lib/scylla/lms/ukrainian.lm +0 -400
  74. data/lib/scylla/lms/yiddish.lm +0 -400
  75. data/source_texts/esperanto.txt +0 -199
  76. data/source_texts/hungarian.txt +0 -102
  77. data/source_texts/irish.txt +0 -209
  78. data/source_texts/kannada.txt +0 -283
  79. data/source_texts/latin.txt +0 -120
  80. data/source_texts/malay.txt +0 -108
  81. data/source_texts/marathi.txt +0 -100
  82. data/source_texts/mingo.txt +0 -146
  83. data/source_texts/nepali.txt +0 -131
  84. data/source_texts/quechua.txt +0 -108
  85. data/source_texts/rumantsch.txt +0 -110
  86. data/source_texts/sanskrit.txt +0 -135
  87. data/source_texts/scots_gaelic.txt +0 -93
  88. data/source_texts/serbian.txt +0 -121
  89. data/source_texts/swahili.txt +0 -120
  90. data/source_texts/tamil.txt +0 -167
  91. data/source_texts/ukrainian.txt +0 -214
  92. data/source_texts/yiddish-utf.txt +0 -83
  93. data/test/fixtures/lms/kannada.lm +0 -400
  94. data/test/fixtures/source_texts/kannada.txt +0 -283
@@ -0,0 +1,190 @@
1
+ at klokken kan bli syv , så han kan gå til Unni ... Unni Rosendal som
2
+ Flyet er bare halvfullt ,
3
+ hånd på den enda hvitere restaurant-duken med en bevegelse så forfinet
4
+ En lukt av melk og kvinne og frotté som gjør
5
+ Senere kom alvoret og arbeidet , men ennå
6
+ har på seg?
7
+ Sonja og Mathilde er hjemme .
8
+ Hun kommer nær armen hans idet hun smyger forbi ham .
9
+ Som gutt var han mester i stav og
10
+ Hun er slank ... "
11
+
12
+
13
+ i et multinasjonalt konsern med olje-interesser i Nordsjøen , ble han
14
+ Har
15
+ Hun kjenner
16
+ når hun smiler og spør ham , ikke bare muntert : " Hva er det
17
+ Venner .
18
+ Sørkedalen under henne .
19
+ Drømmen om melk og honning forsvant
20
+ Han glemmer seg bort .
21
+
22
+ er oppe nå og ser at Unnis dør er lukket , at hun ikke står i gangen
23
+ Det var voldt ham adskillige problemer , for det
24
+
25
+ Hun ser to skygger i vinduet .
26
+ Ingen fryktelige
27
+ Den beste veien ut av dette
28
+ Politiet har beslaglagt hans eneste
29
+ De er svarte og blankpussede .
30
+
31
+ skamfull da han dro til Oslo , for de som hadde fortalt ham om melken
32
+ også duften nå , en duft av fin mann .
33
+ uinntagelig borg for alle uten nøkkel , og flere ganger har Espen
34
+
35
+ ekteparet Sonja og Rune Thue som ikke har råd til å bo der alene , for
36
+
37
+ døren til stuen står åpen , og kaster et fort blikk inn .
38
+ Hun er
39
+ er økonomi og livskraft det samme .
40
+ Han forsto det ikke selv .
41
+ Egentlig skulle han vært fisker , men
42
+ flammet på det sterkeste i vest , satt hun med ryggen til og så mot
43
+ For han vil tilbake dit den dagen han har
44
+
45
+ En engelskmann !
46
+ Han sparker av seg
47
+ kranglefanter .
48
+ Mannen med pipen står og ser på henne .
49
+ .
50
+ Forbindelsen mellom kvalitet og pris .
51
+ De ler av ham , for de vet at han
52
+ Har den unge gutten virkelig noe å
53
+ " Hvis du
54
+ Spisestuens og salongenes dempede atmosfære , godt
55
+ De store , fine husene med atmosfæren som hun tre år
56
+ Derfor kommer han til Espen om natten , for
57
+ " Rune har kveldsvakt? "
58
+ Unnis ringeklokke .
59
+ " Olje , " sier Jeremy høflig , og Espen begynner å le ,
60
+ De siste årene har han til
61
+ Tanken på at han faktisk kan tape henne er ny
62
+ to år før , fordi han hadde brukket benet og ingen hørte at han ropte
63
+
64
+ forsvinner inn i skogen hun er redd for , for hun vet om en vei som
65
+
66
+ Unni til noen avgjørelse for tidlig .
67
+ er planløs .
68
+ Og fordi han er
69
+ voksne
70
+ Først
71
+ Han tar fatt på trappen ganske langsomt , og
72
+ Det er ikke
73
+ Mot sin vilje kaster
74
+ hele planen hans , og han trenger henne jo så mye ... Hvorfor ligger
75
+ Jeg kan ikke love
76
+ Nå kjenner Espen hvor sulten han er .
77
+ slippe valpen av syne nå , uten å vite hvem han er .
78
+ skrittene er der .
79
+ guttevalp noengang vil kunne .
80
+ En fyrig elsker?
81
+ Diplomater ,
82
+ inn .
83
+ Han nærmer seg broen som går over
84
+ Han leier et rom i en mellomstor leilighet i
85
+ Å slå sorgen
86
+ " Det må være Unnis sak å avgjøre om det er plass til oss
87
+ og Pernille Fjell .
88
+ " Du
89
+ knappen , men når den ikke .
90
+ dørskiltene , Martha og Reidar Dysthe eller Aud , Martin , Hansemann
91
+ " Jeg respekterer deg , " sier han endelig .
92
+ " Så dumt , " fortsetter Unni .
93
+ Gud , en
94
+ Senere studerte han med
95
+ noenting for valpen .
96
+ kopp kaffe , for ikke å gjøre det altfor vanskelig .
97
+ seg ned .
98
+ Og det er noe brukt ved henne , hun har latt
99
+ " Hun må ha litt av et organisasjonstalent ... "
100
+ kvinnehender som tar hodet hans og holder ham inntil et varmt bryst .
101
+ klaprer mot islagte heller .
102
+ Jeg går med på å møte henne i morgen .
103
+
104
+ Han har vært så avhengig av førerkortet .
105
+ London eller er hjemme hos Glenda og Vanessa og tenker på Unni , hva
106
+ For hun kan ikke miste dem .
107
+
108
+ De er svarte og blankpussede .
109
+ Det er
110
+ Han glemmer seg bort .
111
+ engelskmannen har sagt .
112
+ , og han tar den opp nærmest i distraksjon og putter den i lommen uten
113
+ Han orker ikke
114
+ at et reiseselskap er tilbake i hjemlandet .
115
+ guttevalp noengang vil kunne .
116
+ " Jeg visste ikke at du eksisterte . "
117
+ Han har etterlatt en duft av
118
+ Nei , han
119
+ Se her , du trenger livets
120
+ får øye på telefonen og går straks bort til den .
121
+ venn at det gjorde slik inntrykk på ham å lese om kvinnen som var
122
+ For første gang kommer han uanmeldt til Norge .
123
+
124
+ seg .
125
+ engelskmann?
126
+ Om han så hadde vært på månen , ville ingen i
127
+ hun har savnet ham , men hun er så redd for Espen ,
128
+ Munkedamsveien lenger oppe .
129
+ skal åpne seg så de kan komme ut i den kalde februarluften .
130
+ Han skal vise henne hva han kan , som ingen
131
+
132
+ den vanskeligste veien .
133
+ noe , men jeg skal ihvertfall forsøke å late som om ingenting er hendt
134
+ Han tør ikke snakke til den fremmede .
135
+ , gutten min . "
136
+ .
137
+ Han vet hva hun kan gi
138
+ "
139
+ bildør som går opp og raske menneskeskritt som kanskje vil ta ham
140
+ på nattbordet , han bøyer seg over henne og strekker hånden ut etter
141
+ Selv alle reisene med ham har hun betalt
142
+ Vold , banneord , fyll og
143
+
144
+ fatale bevegelsen mot ringeklokken .
145
+ Han ser hvordan økonomien
146
+ vet sitt eget beste .
147
+ ingenting hender .
148
+ " Rune har kveldsvakt? "
149
+ Vinteren gjør byen trang
150
+ rådhusklokkene er der igjen , som Hurtigruten nordover fra Svolvær om
151
+ det er OL i Innsbruck , og selv friske turgåere foretrekker fjernsynet
152
+ stanser , ser et øyeblikk ned i gulvet , og ser for første gang skoene
153
+ ham godt .
154
+ Han svarer på litt for nobelt
155
+
156
+ Til det siste har han ihvertfall trodd på
157
+ Det er uvissheten som er verst .
158
+
159
+ Kongeriket Noreg eller berre Noreg er eit nordisk land vest på den skandinaviske halvøya. Til lands grenser Noreg mot Sverige i aust, Finland og Russland i nordaust, og til havs mot Danmark i sør og Storbritannia i sørvest. Noreg er langt og smalt, og kysten strekkjer seg langsmed Nordatlanteren med havområda Skagerrak, Nordsjøen, Norskehavet og Barentshavet.
160
+ Den arktiske øygruppa Svalbard er under norsk suverenitet med dei avgrensingane som gjeld i Svalbardtraktaten, men Svalbard er til liks med øya Jan Mayen ein del av kongeriket. Bouvetøya i Søratlanteren er derimot eit norsk biland. Noreg gjer òg krav på Peter .s øy i det sørlege Stillehavet og territoriet Dronning Maud Land i Antarktis, men begge desse er omfatta av Antarktistraktaten som legg territoriale krav i Antarktis på is.
161
+
162
+ Namn [endre]
163
+
164
+ For meir om dette emnet, sjå Namnet Noreg.
165
+ Namnet Noreg har norrønt opphav og tyder truleg 'landet mot nord'. Det offisielle namnet på nynorsk er Kongeriket Noreg, på bokmål Kongeriket Norge. På nordsamisk heiter landet Norgga gonagasriika, på lulesamisk Vuona gånågisrijkka og på sørsamisk Nøørjen gånkarijhke.
166
+ På fransk, som er det offisielle språket i Verdenspostforeningen, er namnet Norvège.
167
+ Historie [endre]
168
+
169
+ For meir om dette emnet, sjå Norsk historie.
170
+ I vikingtida frå -talet til -talet vart områda som no utgjer Noreg, gradvis samla til eitt rike. Kong Harald Hårfagre vann slaget i Hafrsfjord i år , og grunnla det første norske kongssetet på Avaldsnes på Karmøy. Skipsleia mellom Karmøy og fastlandet, den såkalla Nordvegen, gav namnet til Noreg. Norske vikingar var dyktige sjøfararar og dreiv handel med alle landa kring Nordsjøen, og busette seg òg på dei britiske og nordatlantiske øyene, og på Grønland.
171
+ Det er usemje om kor vidt Noreg vart samla med utgangspunkt i Vestfold og Austlandet. Den tradisjonelle oppfatninga er at Harald Hårfagre ervde rike i Vestfold og delar av Austlandet og derifrå la under seg det indre Austlandet, Trøndelag og hertok Vestlandet gradvis sørover kysten. Det går klårt fram or sogene at ei onnor mektig ætt med sæte i Trøndelag, ladejarlane hadde sett i gang ei liknande samling om lag samstundes. Desse ættene fekk vekselsvis støtte frå danekongen. Det verkar likevel som om Hårfagre-ætta vann denne maktkampen med kong Olav (den Heilage) si maktovertaking om lag . Etter dette var Lade-ætta slått tilbake.
172
+ År grunnla kong Olav Trygvason den første kyrkja på Moster på Bømlo, og byrja kristninga av landet. År sette kong Olav (seinare kalla Olav den Heilage) og bisp Grimkjell kristenretten på Mostratinget same staden. Ein reknar heile riket som kristna ved slaget på Stiklestad i år , der Olav den Heilage fall. Etter ei lang tid med borgarkrigar vart den arvelege kongsmakta tryggja under Sverreætta. Den norske kongsslekta døydde ut i , og landet gjekk inn i ei unionstid i Kalmarunionen med Danmark og Sverige. Etter fortsette kongsfellesskapet med Danmark aleine. Tida blir i Noreg kalla «-årsnatta», av di Noreg var den svake parten i unionen og vart styrt frå hovudstaden København. Etter at Danmark-Noreg vart tvungne til å alliere seg med Napoleon og dermed kom blant taparane i Napoleonskrigane, førde Kieler-traktaten i til at Noreg vart avstått til Sverige. Men det lukkast å gje landet ei grunnlov . mai og å tryggje norsk sjølvstende også etter at ein kort krig med Sverige tvang Noreg inn i personalunion med Sverige.
173
+ Aukande norsk misnøye med unionen gjennom -talet førde til oppløysing av den norsk-svenske unionen i , stadfesta ved ei folkerøysting. Den norske regjeringa baud den norske krona til danske prins Carl, og etter ei ny folkerøysting kåra Stortinget han til konge. Han tok namnet Haakon VII etter dei gamle norske kongane. Den norske kongefamilien, liksom den danske, høyrer til det nordtyske fyrstehuset Schleswig-Holstein-Sonderburg-Glücksburg (ei grein av huset Oldenburg).
174
+ Noreg var nøytralt under . verdskrigen, men som eit resultat av den tyske invasjonen og okkupasjonen under . verdskrigen, vart nordmennene langt meir skeptiske til nøytralitetsprinsippet. Stemninga dreidde mot ei kollektiv tryggjingsavtale for landet. Noreg var ei av dei underskrivande partane ved danninga av NATO i og var blant landa som grunnla FN i . Det norske folket har to gonger røysta imot å bli med i EU, nemleg i (då: EEC) og i (då: EF). Noreg har likevel ei tilknyting til den europeiske indre marknaden gjennom EØS-avtala.
175
+ Politikk [endre]
176
+
177
+ For meir om dette emnet, sjå Norske styresmakter.
178
+ Noreg er eit konstitusjonelt monarki med eit parlamentarisk regjeringssystem. Etter grunnlova frå er Kongen statsoverhovud og vel sjølv sitt råd, men etter riksrettsdommen i må likevel regjeringa i praksis ikkje få eit fleirtal i Stortinget mot seg. Grunnlova gjev Kongen personleg vidtrekkjande rettar, men desse blir ikkje praktisert i dag, og funksjonen hans er vorten først og fremst seremoniell. Statsrådet, eller regjeringa, er samansett av ein statsminister og minst sju statsrådar, utnemnde av Kongen. Kongen kan i teorien utnemne kven han vil, men vel alltid den regjeringa statsministeren føreslår.
179
+ Det norske parlamentet – Stortinget – har medlemer, som er valte frå fylke for ein fire-årsperiode ut frå eit system med proporsjonal representasjon. Lovforslag vart handsama i Odelstinget og Lagtinget. Påtale i riksrettssaker vert reist av Odelstinget og teke til doms av Lagtinget. Ut over dette blir Stortinget sine saker handsama i plenum, etter saksførebuingar i ulike fagkomitear (justiskomiteen, finanskomiteen, landbrukskomiteen, osb).
180
+ Dei regulære rettsinstansane omfattar Høgsterett ( permanente dommarar (per ) og ein justitiarius), lagmannsrettane (Borgarting, Eidsivating, Agder, Gulating, Frostating og Hålogaland), tingrettane (tidlegare by- og herredsrettane) og forliksråda (handsamar sivile tvistesaker). I tillegg kjem særdomstolar som Arbeidsretten. Dommarane ved dei regulære rettsinstansane og særdomstolane utnemnast av regjeringa. Den særskilte Riksretten vurderer spørsmål om brotsverk utført av medlemer i Stortinget, Regjeringa eller Høgsterett som slik.
181
+
182
+ Den norske økonomien er eit rikt kapitalistisk velferdssamfunn, med ein kombinasjon av frie marknadskrefter og offentleg regulering. Regjeringa kontrollerer vitale område som den petrokjemiske sektoren gjennom store statsselskap. Landet er rikt på naturressursar - petroleum, vasskraft, fisk, skog og mineral. Dei store naturressursane har samstundes gjort landet svært avhengig av internasjonale råvareprisar, særleg oljeprisane. I utgjorde oljeeksporten % av eksportinntektene. Saudi-Arabia og Russland er dei einaste landa som eksporterer meir olje enn Noreg.
183
+ Den økonomiske veksten var , % i , , % i og , % i . Det vart igangsett privatiseringar i , der regjeringa selde / av det % statseigde oljeselskapet Statoil. Noreg står utanfor EU etter folkerøystingar i og . Landet er saman med Island og Liechtenstein ein del av den indre marknaden i EU gjennom EØS-avtala.
184
+
185
+ Det norske språket har i dag to offisielle skriftformer, bokmål og nynorsk. Desse er normerte av Norsk språkråd. I tillegg til desse finst mellom anna dei uoffisielle formene samnorsk, høgnorsk og riksmål. Samnorsk tek opp i seg former frå begge hovudmålformene, men er meir eller mindre gått ut av bruk. Samnorsktanken dominerte norsk språkpolitikk ca. -.
186
+ Majoriteten av det norske folket skriv anten bokmål eller riksmål; grensene mellom desse er i dag svært flytande. Den delen av folket som brukar nynorsk som hovudmål nådde ein topp på , % i , men har i etterkrigstida gått jamnt tilbake og har idag falle til – %.
187
+ Nynorsk er eit alternativt skriftspråk som vart konstruert, systematisert og etterkvart etablert som skriftspråk på -talet av Ivar Aasen, grunna på norske dialektar. Aasen kalla språket sitt landsmål; dette vart endra til nynorsk i . Aasen freista å distansere dette språket frå det danskpåvirka språket som var i bruk på Austlandet og blant borgarskapet. Utover -talet har nynorsken fjerna seg meir og meir frå det opphavlege landsmålet, i retning bokmålet, medan bokmålet har gått meir vekk frå dansk og nærma seg nynorsk og norske dialektar, framfor alt bymåla.
188
+ Høgnorsk er ei meir konservativ form av nynorsk, som motset seg tilnærmingstanken. Den høgnorske rettskrivinga byggjer på Aasen-normalen som ofte vert assosiert med Vestlandet og Telemark. Høgnorsk blir nytta av ein liten minoritet av språkleg engasjerte personar. Nokre av desse har tilknyting til Ivar Aasen-sambandet eller miljøet kring bladet Målmannen som har til føremål å fremja høgnorsk.
189
+ Riksmål er den største av dei uoffisielle formene og blir blant anna brukt av store aviser som Aftenposten. Denne målforma ligg nærare dansk og tradisjonelt, moderat bokmål enn det offisielle bokmålet. Bokmålet blir truleg nytta som hovudmålform av mellom og % av alle nordmenn og står sterkast i dei folkerikaste delane av Noreg, som på Austlandet og i storbyane. Bokmålet dominerer i dei fleste samfunnslag. Riksmålet blir fremja av Riksmålsforbundet. Riksmålet er representert i Norsk Språkråd og har eit eige normeringsorgan, Det Norske Akademi for Sprog og Litteratur, som mellom anna utgjev eigne ordlister og Norsk Riksmålsordbok.
190
+ Alle dei skandinaviske språka utvikla seg frå tidleg norrønt. Av historiske grunnar kom dansk til å bli det offisielle språket i Noreg gjennom seinmellomalderen. Dansk var sidan mellomalderen først og fremst påverka av nedertysk, der om lag halvparten av ordtilfanget og viktige grammatiske strukturar kjem frå. Det skriftspråket som var i bruk i Noreg fram til byrjinga av -talet var reint dansk, men har gjennom det følgjande hundreåret blitt tillempa noko i forhold til det danske, slik at ein kan snakke om eit eige norsk skriftspråk.