scylla 0.4.3 → 0.5.0

data/scylla.gemspec

@@ -5,11 +5,11 @@
 
 Gem::Specification.new do |s|
   s.name = %q{scylla}
-  s.version = "0.4.3"
+  s.version = "0.5.0"
 
   s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
   s.authors = ["Ashwin Hegde"]
-  s.date = %q{2011-09-12}
+  s.date = %q{2011-09-21}
   s.default_executable = %q{scylla}
   s.description = %q{Allows for text categorization by guessing the language of a given text using n-grams}
   s.email = %q{ahegde@zendesk.com}
@@ -38,49 +38,31 @@ Gem::Specification.new do |s|
     "lib/scylla/lms/chinese.lm",
     "lib/scylla/lms/danish.lm",
     "lib/scylla/lms/english.lm",
-    "lib/scylla/lms/esperanto.lm",
     "lib/scylla/lms/finnish.lm",
     "lib/scylla/lms/french.lm",
     "lib/scylla/lms/german.lm",
     "lib/scylla/lms/greek.lm",
     "lib/scylla/lms/hebrew.lm",
     "lib/scylla/lms/hindi.lm",
-    "lib/scylla/lms/hungarian.lm",
     "lib/scylla/lms/icelandic.lm",
     "lib/scylla/lms/indonesian.lm",
-    "lib/scylla/lms/irish.lm",
     "lib/scylla/lms/italian.lm",
     "lib/scylla/lms/japanese.lm",
-    "lib/scylla/lms/kannada.lm",
     "lib/scylla/lms/korean.lm",
-    "lib/scylla/lms/latin.lm",
-    "lib/scylla/lms/malay.lm",
-    "lib/scylla/lms/marathi.lm",
-    "lib/scylla/lms/mingo.lm",
-    "lib/scylla/lms/nepali.lm",
     "lib/scylla/lms/norwegian.lm",
     "lib/scylla/lms/polish.lm",
     "lib/scylla/lms/portuguese.lm",
-    "lib/scylla/lms/quechua.lm",
     "lib/scylla/lms/romanian.lm",
-    "lib/scylla/lms/rumantsch.lm",
     "lib/scylla/lms/russian.lm",
-    "lib/scylla/lms/sanskrit.lm",
-    "lib/scylla/lms/scots_gaelic.lm",
-    "lib/scylla/lms/serbian.lm",
     "lib/scylla/lms/slovak.lm",
     "lib/scylla/lms/slovenian.lm",
     "lib/scylla/lms/spanish.lm",
-    "lib/scylla/lms/swahili.lm",
     "lib/scylla/lms/swedish.lm",
     "lib/scylla/lms/tagalog.lm",
-    "lib/scylla/lms/tamil.lm",
     "lib/scylla/lms/thai.lm",
     "lib/scylla/lms/turkish.lm",
-    "lib/scylla/lms/ukrainian.lm",
     "lib/scylla/lms/vietnamese.lm",
     "lib/scylla/lms/welsh.lm",
-    "lib/scylla/lms/yiddish.lm",
     "lib/scylla/loader.rb",
     "lib/scylla/resources.rb",
     "lib/scylla/string.rb",
@@ -95,68 +77,63 @@ Gem::Specification.new do |s|
     "source_texts/chinese.txt",
     "source_texts/danish.txt",
     "source_texts/english.txt",
-    "source_texts/esperanto.txt",
     "source_texts/finnish.txt",
     "source_texts/french.txt",
     "source_texts/german.txt",
     "source_texts/greek.txt",
     "source_texts/hebrew.txt",
     "source_texts/hindi.txt",
-    "source_texts/hungarian.txt",
     "source_texts/icelandic.txt",
     "source_texts/indonesian.txt",
-    "source_texts/irish.txt",
     "source_texts/italian.txt",
     "source_texts/japanese.txt",
-    "source_texts/kannada.txt",
     "source_texts/korean.txt",
-    "source_texts/latin.txt",
-    "source_texts/malay.txt",
-    "source_texts/marathi.txt",
-    "source_texts/mingo.txt",
-    "source_texts/nepali.txt",
     "source_texts/norwegian.txt",
     "source_texts/polish.txt",
     "source_texts/portuguese.txt",
-    "source_texts/quechua.txt",
     "source_texts/romanian.txt",
-    "source_texts/rumantsch.txt",
     "source_texts/russian.txt",
-    "source_texts/sanskrit.txt",
-    "source_texts/scots_gaelic.txt",
-    "source_texts/serbian.txt",
     "source_texts/slovak.txt",
     "source_texts/slovenian.txt",
     "source_texts/spanish.txt",
-    "source_texts/swahili.txt",
     "source_texts/swedish.txt",
     "source_texts/tagalog.txt",
-    "source_texts/tamil.txt",
     "source_texts/thai.txt",
     "source_texts/turkish.txt",
-    "source_texts/ukrainian.txt",
     "source_texts/vietnamese.txt",
     "source_texts/welsh.txt",
-    "source_texts/yiddish-utf.txt",
     "test/classifier_test.rb",
     "test/fixtures/lms/13375p33k.lm",
     "test/fixtures/lms/danish.lm",
     "test/fixtures/lms/english.lm",
     "test/fixtures/lms/french.lm",
     "test/fixtures/lms/german.lm",
+    "test/fixtures/lms/hindi.lm",
+    "test/fixtures/lms/italian.lm",
     "test/fixtures/lms/japanese.lm",
-    "test/fixtures/lms/kannada.lm",
+    "test/fixtures/lms/norwegian.lm",
     "test/fixtures/lms/spanish.lm",
     "test/fixtures/source_texts/13375P33K.txt",
     "test/fixtures/source_texts/danish.txt",
     "test/fixtures/source_texts/english.txt",
     "test/fixtures/source_texts/french.txt",
     "test/fixtures/source_texts/german.txt",
+    "test/fixtures/source_texts/hindi.txt",
+    "test/fixtures/source_texts/italian.txt",
     "test/fixtures/source_texts/japanese.txt",
-    "test/fixtures/source_texts/kannada.txt",
+    "test/fixtures/source_texts/norwegian.txt",
     "test/fixtures/source_texts/spanish.txt",
+    "test/fixtures/test_languages/english",
+    "test/fixtures/test_languages/french",
+    "test/fixtures/test_languages/german",
+    "test/fixtures/test_languages/hindi",
+    "test/fixtures/test_languages/italian",
+    "test/fixtures/test_languages/japanese",
+    "test/fixtures/test_languages/norwegian",
+    "test/fixtures/test_languages/spanish",
     "test/generator_test.rb",
     "test/helper.rb",
+    "test/language_test.rb",
     "test/loader_test.rb",
     "test/scylla_test.rb"
   ]

data/source_texts/catalan.txt

@@ -92,11 +92,11 @@
  El treball de creació comporta implícita una labor mental, l'artista no
     llevaron a cabo en el   permetent al mateix temps a l'Ajuntament la
 
-    El català és una llengua romànica parlada per més de 11,5 milions de persones[1] (7,7 milions com a materna) a Catalunya, al País Valencià (tret d'algunes comarques de l'interior), les Illes Balears, Andorra, la Franja de Ponent (a l'Aragó), la ciutat de l'Alguer (a l'illa de Sardenya), la Catalunya del Nord[2] i el Carxe, un petit territori de Múrcia poblat per immigrants valencians.[3][4] El seu domini lingüístic, amb una superfície de 59.905 km² i 12.805.197 d'habitants (2006), inclou 1.687 termes municipals. Juntament amb les altres llengües romàniques, el català descendeix del llatí vulgar, el llenguatge comú dels romans que s'establiren a Hispània durant l'edat antiga.
+    El català és una llengua romànica parlada per més de 11,5 milions de persones (7,7 milions com a materna) a Catalunya, al País Valencià (tret d'algunes comarques de l'interior), les Illes Balears, Andorra, la Franja de Ponent (a l'Aragó), la ciutat de l'Alguer (a l'illa de Sardenya), la Catalunya del Nord i el Carxe, un petit territori de Múrcia poblat per immigrants valencians. El seu domini lingüístic, amb una superfície de 59.905 km² i 12.805.197 d'habitants (2006), inclou 1.687 termes municipals. Juntament amb les altres llengües romàniques, el català descendeix del llatí vulgar, el llenguatge comú dels romans que s'establiren a Hispània durant l'edat antiga.
     El català posseeix dos estàndards principals: el regulat per l'Institut d'Estudis Catalans, o estàndard general, que pren com a base l'ortografia establerta per Pompeu Fabra amb els trets gramaticals i ortogràfics característics del català central; i el regulat per l'Acadèmia Valenciana de la Llengua, estàndard d'àmbit restringit, centrat en l'estandardització del valencià i que pren com a base les Normes de Castelló, és a dir, l'ortografia de Pompeu Fabra però més adaptada a la pronúncia del català occidental i als trets que caracteritzen els dialectes valencians. El català té diversos dialectes (se n'han arribat a comptar fins a vint-i-un) dividits en dos grans blocs: el català occidental i el català oriental. Aquests dialectes presenten divergències del català estàndard a nivell gramatical, fonètic i de lèxic. Al llarg de les últimes dècades, la majoria dels dialectes del català han rebut una forta influència de l'espanyol, o del francès a la Catalunya del Nord, que ha deixat empremta en forma de nou vocabulari i noves expressions, i que també ha funcionat en sentit invers.
     L'ordre estàndard de les frases és Subjecte-Verb-Objecte, tot i que això pot canviar en certs tipus de frases com ara les oracions interrogatives. La morfologia del català és similar a la de la resta de llengües romàniques, és a dir, relativament poques flexions; dos gèneres, cap cas (excepte en els pronoms personals, on encara romanen vestigis de la declinació llatina), i una distinció entre singular i plural. Els adjectius van generalment darrere el substantiu que modifiquen, i també es flexionen segons el gènere i el nombre. La prosòdia presenta un accent prosòdic que pot ser marcat per mitjà d'accent gràfic. La llengua té una varietat vocàlica mitjana, amb set sons vocàlics diferents. El català també és notable pel pretèrit perfet perifràstic, un temps verbal singular per la manera com es construeix.
     Al segle xiv ja es constata la denominació d'aquesta llengua, entre d'altres noms, com a valencià, denominació emprada sobretot al País Valencià. Actualment, i per evitar els conflictes potencials que es podrien utilitzar com a arma política per afeblir la llengua en base a aquesta doble denominació, l'Acadèmia Valenciana de la Llengua defensa que:
-    «	És un fet que a Espanya hi ha dos denominacions igualment legals per a designar esta llengua: la de valencià, establida en l'Estatut d'Autonomia de la Comunitat Valenciana, i la de català, reconeguda en els Estatuts d'Autonomia de Catalunya i les Illes Balears.[5]	»
+    «	És un fet que a Espanya hi ha dos denominacions igualment legals per a designar esta llengua: la de valencià, establida en l'Estatut d'Autonomia de la Comunitat Valenciana, i la de català, reconeguda en els Estatuts d'Autonomia de Catalunya i les Illes Balears.	»
     Taula de continguts [amaga]
     1 Classificació
     2 Història
@@ -142,8 +142,8 @@
     [modifica]Classificació
 
     El català és una llengua indoeuropea, i pertany a la branca occitanoromànica de les llengües romàniques. El català té una classificació bastant complicada i no exempta de polèmica (fins i tot amb un cert rerefons polític), car comparteix moltes característiques amb el castellà i el portuguès (llengües iberoromàniques) i el francès (gal·loromànica), i és la llengua més propera a l'occità. És per aquest motiu que la classificació de la llengua catalana varia entre les diferents fonts.
-    La Gramàtica del català contemporani [6] situa el català dins de les llengües romàniques occidentals, en una posició intermèdia entre la família gal·loromànica i la família iberoromànica. El català nasqué dins de la família gal·loromànica i s'hi mantingué fins el segle xv, però a partir d'aleshores experimentà un decantament cap a la família iberoromànica. En comparar les diferents llengües romàniques, el català sovint s'ha considerat com una llengua pont o de transició entre les llengües iberoromàniques i les gal·loromàniques, posició que sovint implica certes connotacions de llengua menor. Altres estudis més moderns classifiquen el català dins el diasistema de les llengües occitanoromàniques, un conjunt lingüístic diferenciat en el context romànic.
-    Posicions minoritàries dins la lingüística catalana, però majoritàries dins la lingüística occitana, sostenen que, d'acord amb criteris d'intel·ligibilitat mútua, semblança lingüística i tradició literària comuna entre el català i l'occità, ambdues llengües s'haurien de considerar com a dialectes d'un mateix idioma. Sobre aquesta qüestió els pares de la romanística, com ara Wilhelm Meyer-Lübke o Friedrich Christian Diez, van incloure el català com a part integrant del conjunt occità. [7][8][9][10][11][12]
+    La Gramàtica del català contemporani  situa el català dins de les llengües romàniques occidentals, en una posició intermèdia entre la família gal·loromànica i la família iberoromànica. El català nasqué dins de la família gal·loromànica i s'hi mantingué fins el segle xv, però a partir d'aleshores experimentà un decantament cap a la família iberoromànica. En comparar les diferents llengües romàniques, el català sovint s'ha considerat com una llengua pont o de transició entre les llengües iberoromàniques i les gal·loromàniques, posició que sovint implica certes connotacions de llengua menor. Altres estudis més moderns classifiquen el català dins el diasistema de les llengües occitanoromàniques, un conjunt lingüístic diferenciat en el context romànic.
+    Posicions minoritàries dins la lingüística catalana, però majoritàries dins la lingüística occitana, sostenen que, d'acord amb criteris d'intel·ligibilitat mútua, semblança lingüística i tradició literària comuna entre el català i l'occità, ambdues llengües s'haurien de considerar com a dialectes d'un mateix idioma. Sobre aquesta qüestió els pares de la romanística, com ara Wilhelm Meyer-Lübke o Friedrich Christian Diez, van incloure el català com a part integrant del conjunt occità. 
     [modifica]Història
 
     Article principal: Història de la llengua catalana
@@ -153,8 +153,8 @@
 
 
     Les Homilies d'Organyà són un dels primers documents literaris més antics escrits en català
-    El primers testimonis de català escrit són del segle IX, encara que el primer document considerat literari en català són les Homilies d'Organyà, del segle XIII.[13] Fins als segles XVI i XVII, quan comença el retrocés de la llengua front al castellà, el català s'estén i la seva literatura es desenvolupa amb autors com ara Ramon Llull (s. XIII - s. XIV), Ausiàs March i Joanot Martorell (s. XV).
-    L'ús del català fou prohibit al Principat de Catalunya en el camp oficial des del Decret de Nova Planta (1716),[14] al País Valencià (1707) i a Mallorca i Eivissa (1715). A Catalunya Nord ja s'havia aplicat una prohibició similar el 1700. Menorca va passar a sobirania britànica el 1713. Aquestes prohibicions van restar excepte breus períodes durant la primera i segona república espanyola als territoris catalans d'Espanya i fins a l'entrada dels diferents estatuts d'autonomia entre el 1978 i el 1983, excepte a la Franja. Aquesta oficialitat però és compartida amb el castellà, tot i no ésser la llengua pròpia. A més, el castellà continua essent la llengua promoguda per l'estat espanyol mitjançant els mitjans de comunicació, lleis, etc.
+    El primers testimonis de català escrit són del segle IX, encara que el primer document considerat literari en català són les Homilies d'Organyà, del segle XIII. Fins als segles XVI i XVII, quan comença el retrocés de la llengua front al castellà, el català s'estén i la seva literatura es desenvolupa amb autors com ara Ramon Llull (s. XIII - s. XIV), Ausiàs March i Joanot Martorell (s. XV).
+    L'ús del català fou prohibit al Principat de Catalunya en el camp oficial des del Decret de Nova Planta (1716), al País Valencià (1707) i a Mallorca i Eivissa (1715). A Catalunya Nord ja s'havia aplicat una prohibició similar el 1700. Menorca va passar a sobirania britànica el 1713. Aquestes prohibicions van restar excepte breus períodes durant la primera i segona república espanyola als territoris catalans d'Espanya i fins a l'entrada dels diferents estatuts d'autonomia entre el 1978 i el 1983, excepte a la Franja. Aquesta oficialitat però és compartida amb el castellà, tot i no ésser la llengua pròpia. A més, el castellà continua essent la llengua promoguda per l'estat espanyol mitjançant els mitjans de comunicació, lleis, etc.
     El català va ser parlat en el Regne de Múrcia per components militars de la Corona d'Aragó i per pobladors catalans des de mitjan segle XIII fins a finals del segle XIV. A la ciutat de Càller, a Sardenya, havia estat llengua habitual fins al segle xviii. Durant el segle xix hi va haver importants colònies catalanoparlants a Saint Augustine (Florida) i a Algèria en el dialecte extint conegut com a patuet.
     [modifica]Característiques del català
 
@@ -219,11 +219,11 @@
     El sistema d'escriptura també presenta certs trets particulars. El català presenta una característica única, l'escriptura de la ela geminada: ‹l·l› (com a intel·ligent). L'altre tret especial del català és la ‹ny› [ɲ] que només es retroba de manera general a l'hongarès i a diverses llengües africanes. També convé esmentar la grafia ‹-ig› [t͡ʃ] representada a poques paraules (com faig, maig, mig ([mit͡ʃ]), puig, raig, Reig, roig, vaig, veig) o la representació amb ‹t› + "consonant" les consonants dobles en: ‹tm›, ‹tn›, ‹tl› i ‹tll› i l'africament en: ‹ts›, ‹tz›, ‹tx›, ‹tg› i ‹tj› (setmana, cotna, Betlem, bitllet, potser, dotze, jutge, platja).
     [modifica]Gramàtica
     Article principal: Gramàtica del català
-    Els substantius i adjectius catalans es declinen en gènere i nombre. Els substantius pertanyen a un d'entre dos gèneres – masculí per la forma un/una i femení per la forma una/unes.[15] Igual que els determinants, els adjectius han de concordar en gènere i nombre amb el substantiu que acompanyen. Per exemple, el sintagma el noi senzill es pot flexionar de la següent manera:
+    Els substantius i adjectius catalans es declinen en gènere i nombre. Els substantius pertanyen a un d'entre dos gèneres – masculí per la forma un/una i femení per la forma una/unes. Igual que els determinants, els adjectius han de concordar en gènere i nombre amb el substantiu que acompanyen. Per exemple, el sintagma el noi senzill es pot flexionar de la següent manera:
     Singular	Plural
     Masculí	el noi senzill	els nois senzills
     Femení	la noia senzilla	les noies senzilles
-    En el cas dels substantius que poden anar en masculí o femení, el femení es forma habitualment afegint el sufix -a a la forma masculina; per exemple, gat/gata o nen/nena. Tanmateix, també hi ha nombrosos adjectius que presenten una forma diferent pel masculí i el femení (home/dona, bou/vaca), que formen el femení de forma especial (emperador/emperadriu, metge/metgessa) o que tenen la mateixa forma pel masculí i el femení (estudiant, portaveu). En alguns pocs casos especials, un substantiu pot canviar de gènere si canvia de nombre. Així doncs, es diu "l'art paleocristià" però "les belles arts".[16]
+    En el cas dels substantius que poden anar en masculí o femení, el femení es forma habitualment afegint el sufix -a a la forma masculina; per exemple, gat/gata o nen/nena. Tanmateix, també hi ha nombrosos adjectius que presenten una forma diferent pel masculí i el femení (home/dona, bou/vaca), que formen el femení de forma especial (emperador/emperadriu, metge/metgessa) o que tenen la mateixa forma pel masculí i el femení (estudiant, portaveu). En alguns pocs casos especials, un substantiu pot canviar de gènere si canvia de nombre. Així doncs, es diu "l'art paleocristià" però "les belles arts".
     Les frases catalanes segueixen un esquema SVO (subjecte-verb-complement o objecte) si bé es permet la variació en l'ordre dels elemets per qüestions d'estil o per donar més rellevància a determinada informació. La paraula més important de la frase és el verb, ja que sense ell no existeix l'oració gramatical.
     [modifica]Nombre de parlants al món i coneixements
 
@@ -257,7 +257,7 @@
     Franja de Ponent	88,8	98,5	72,9	30,3
     L'Alguer	67,6	89,9	50,9	28,4
     (% de la població de 15 i més anys).
-    Fonts: Catalunya: Dades del cens de l'any 2004, Institut d'Estadística de Catalunya, Generalitat de Catalunya[4] . Dades sociolingüístiques de l'IEC, any 2003[5] .País Valencià: Dades del cens de l'any 2004, Institut Valencià d'Estadística, Generalitat Valenciana[6] . Dades sociolingüístiques de l'IEC, any 2004[7] .Illes Balears: Dades del cens de l'any 2002, Institut Balear d'Estadística, Govern de les Illes Balears[8] .Dades sociolingüístiques de l'IEC, any 2002[9] . Catalunya del Nord: Estadística sobre els usos lingüístics a la Catalunya Nord 2004 (EULCN 04), dades corresponents al 1999, Generalitat de Catalunya[10] . Andorra: Dades dels cens, Servei d'Estudis, Ministeri de Finances, Govern d'Andorra[11] . Dades lingüístiques de l'IEC, any 1999[12] .Franja de Ponent: Dades de població, Centre de Recerca i Documentació Pau Vila[13] . Dades sociolingüístiques de l'Enquesta d'Usos Lingüístics a la Franja, amb resultats a Sorolla (2005) . Alguer: Estadística sobre els usos lingüístics a l 'Alguer 2004 (EULA 04)[14] . Dades de població, Ministeri d'Economia i Finances italià. Resta del Món: Estimació 1999 de la Federació d'Entitats Catalanes a l'exterior.
+    Fonts: Catalunya: Dades del cens de l'any 2004, Institut d'Estadística de Catalunya, Generalitat de Catalunya . Dades sociolingüístiques de l'IEC, any 2003 .País Valencià: Dades del cens de l'any 2004, Institut Valencià d'Estadística, Generalitat Valenciana . Dades sociolingüístiques de l'IEC, any 2004 .Illes Balears: Dades del cens de l'any 2002, Institut Balear d'Estadística, Govern de les Illes Balears .Dades sociolingüístiques de l'IEC, any 2002 . Catalunya del Nord: Estadística sobre els usos lingüístics a la Catalunya Nord 2004 (EULCN 04), dades corresponents al 1999, Generalitat de Catalunya . Andorra: Dades dels cens, Servei d'Estudis, Ministeri de Finances, Govern d'Andorra . Dades lingüístiques de l'IEC, any 1999 .Franja de Ponent: Dades de població, Centre de Recerca i Documentació Pau Vila . Dades sociolingüístiques de l'Enquesta d'Usos Lingüístics a la Franja, amb resultats a Sorolla (2005) . Alguer: Estadística sobre els usos lingüístics a l 'Alguer 2004 (EULA 04) . Dades de població, Ministeri d'Economia i Finances italià. Resta del Món: Estimació 1999 de la Federació d'Entitats Catalanes a l'exterior.
     [modifica]Ús social del català
     Territoris	A Casa	Al Carrer
     Catalunya	45	51
@@ -268,8 +268,8 @@
     Franja de Ponent	70	61
     L'Alguer	8	4
     (% de la població de 15 i més anys).
-    Fonts: Vídeo i notícia que explica l'ús del català extret d'un estudi de la Generalitat.[15] [16] 
-    Segons dades de la UNESCO el català és actualment la vint-i-dosena llengua més traduïda a altres llengües del món.[17] Segons un estudi de Jordi Mas, de Softcatalà, el català és la vint-i-sisena llengua més emprada a Internet.[18]
+    Fonts: Vídeo i notícia que explica l'ús del català extret d'un estudi de la Generalitat.  
+    Segons dades de la UNESCO el català és actualment la vint-i-dosena llengua més traduïda a altres llengües del món. Segons un estudi de Jordi Mas, de Softcatalà, el català és la vint-i-sisena llengua més emprada a Internet.
     [modifica]Dialectes de la llengua catalana
 
     Article principal: Dialectes del català
@@ -338,35 +338,35 @@
     c) Catanyol
 
     [modifica]Estàndards del català
-    Existeixen dos estàndards principals per a la llengua catalana, el regulat per l'Institut d'Estudis Catalans, l'estàndard general vàlid per a tot el domini lingüístic, tenint com a centre l'ortografia establerta per Pompeu Fabra però amb els trets gramaticals i ortogràfics característics del català central[19] no influenciats pel castellà, i el regulat per l'Acadèmia Valenciana de la Llengua, estàndard d'àmbit restringit vàlid per al País Valencià, centrat en l'estandardització del valencià prenent com a base les Normes de Castelló, és a dir, l'ortografia de Pompeu Fabra però adaptada a la pronúncia del català occidental i als trets que caracteritzen els dialectes valencians.
+    Existeixen dos estàndards principals per a la llengua catalana, el regulat per l'Institut d'Estudis Catalans, l'estàndard general vàlid per a tot el domini lingüístic, tenint com a centre l'ortografia establerta per Pompeu Fabra però amb els trets gramaticals i ortogràfics característics del català central no influenciats pel castellà, i el regulat per l'Acadèmia Valenciana de la Llengua, estàndard d'àmbit restringit vàlid per al País Valencià, centrat en l'estandardització del valencià prenent com a base les Normes de Castelló, és a dir, l'ortografia de Pompeu Fabra però adaptada a la pronúncia del català occidental i als trets que caracteritzen els dialectes valencians.
     L'estàndard de l'IEC, ultra tenir com a base els trets del català central, pren també trets d'altres dialectes considerant-los com a estàndard. Tot i això, la diferència més notable de tots dos estàndards és l'accentuació de moltes "e" tòniques, per exemple: francès o anglès (IEC) - francés o anglés (AVL), cafè (IEC) - café (AVL), conèixer (IEC) - conéixer, comprèn (IEC) - comprèn (AVL). Això és degut a la diferent pronunciació d'algunes "e" tòniques, especialment les Ē ("e" llargues) i les Ǐ ("i" breus) tòniques del llatí, en ambdós blocs del català, on al bloc oriental es pronuncia [ɛ] a l'occidental es pronuncia [e]. Malgrat açò, l'estàndard de l'AVL manté l'accent greu "è", sense pronunciar-se obert al bloc occidental, en algunes paraules com són: què, València, èter, sèsam, sèrie i època.
     També hi ha altres divergències com l'ús de tl en alguns mots per l'AVL en comptes de tll com en ametla/ametlla, espatla/espatlla o butla/butlla, l'ús dels determinants demostratius elidits (este, eixe) igual que els reforçats (aquest, aqueix) o l'ús de moltes formes verbals comunes en el valencià, i moltes esteses pel bloc occidental, com les formes del subjuntiu o l'escriptura dels incoatius tant en -ix- com en -eix- o l'ús preferent del morfema -e de la 1a persona singular del present d'indicatiu.
     A les Illes Balears es fa servir l'estàndard de l'IEC adaptat al marc dialectal balear per la secció filològica de la Universitat de les Illes Balears, l'òrgan consultiu del Govern Balear. D'aquesta manera, per exemple, l'IEC indica que tant correcte és escriure "cantam" com "cantem" i la Universitat determina que la forma preferent a les Illes ha de ser "cantam" fins i tot en àmbits formals. Un altre tret de l'estàndard balear és l'escriptura de la 1a persona del singular del present d'indicatiu, on no hi ha desinència: "jo cant", "jo tem", jo "dorm".
     A l'Alguer, l'IEC ha adaptat l'estàndard a la varietat algueresa. En aquest estàndard s'hi pot trobar, entre d'altres característiques, l'article lo d'ús general, possessius especials la mia, lo sou/la sua, lo tou/la tua, etc., ús de la -v- al pretèrit imperfet a totes les conjugacions: cantava, creixiva, llegiva; ús de moltes paraules de caràcter arcaic a la resta del domini mes d'ús molt corrent a l'alguerès: manco per menys, calqui u per algú, qual/quala per quin/quina, etc. i adaptacions dels pronoms febles.
     [modifica]Situació sociolingüística del català
 
-    La característica sociolingüística més destacada del català és que en tots els territoris on es parla es troba en situació de bilingüisme social: amb el francès a Catalunya del Nord, amb l'italià (més aviat que amb el sard) a L'Alguer, i amb el castellà a la resta del seu domini lingüístic, incloent-hi Andorra, on també es parla francès i espanyol. D'altra banda, el català és la desena llengua en traducció, la vuitena a la blogosfera i la vintena en edició al món.[20]
+    La característica sociolingüística més destacada del català és que en tots els territoris on es parla es troba en situació de bilingüisme social: amb el francès a Catalunya del Nord, amb l'italià (més aviat que amb el sard) a L'Alguer, i amb el castellà a la resta del seu domini lingüístic, incloent-hi Andorra, on també es parla francès i espanyol. D'altra banda, el català és la desena llengua en traducció, la vuitena a la blogosfera i la vintena en edició al món.
     [modifica]Catalunya
-    Segons l’Enquesta Demogràfica de 2007, de les dades comparatives que aquesta enquesta ofereix en relació a les de l’any 1986, tot just encetada la política lingüística, destaca el fet que mentre la població en aquests 11 anys havia crescut en 1.193.467 habitants, la població que havia adquirit les distintes habilitats lingüístiques ho havia fet de manera superior: 1.304.446 persones més entenien el català, hi havia 1.570.034 nous parlants, 1.588.658 eren nous lectors i 2.116.533 persones més sabien escriure en català, factor que és atribuïble a una actitud social favorable i a polítiques públiques eficaces.[21]
-    Tot i així, pel que fa als usos, el català és la segona llengua més parlada de Catalunya, on és superada pel castellà tant com a llengua materna,[22] d'identificació[23] i habitual[24] segons les dades oficials de l'Institut d'Estadística de Catalunya 2008.
+    Segons l’Enquesta Demogràfica de 2007, de les dades comparatives que aquesta enquesta ofereix en relació a les de l’any 1986, tot just encetada la política lingüística, destaca el fet que mentre la població en aquests 11 anys havia crescut en 1.193.467 habitants, la població que havia adquirit les distintes habilitats lingüístiques ho havia fet de manera superior: 1.304.446 persones més entenien el català, hi havia 1.570.034 nous parlants, 1.588.658 eren nous lectors i 2.116.533 persones més sabien escriure en català, factor que és atribuïble a una actitud social favorable i a polítiques públiques eficaces.
+    Tot i així, pel que fa als usos, el català és la segona llengua més parlada de Catalunya, on és superada pel castellà tant com a llengua materna, d'identificació i habitual segons les dades oficials de l'Institut d'Estadística de Catalunya 2008.
     Segons l'Institut d'Estadística de Catalunya, en 2008 el català era la llengua materna del 31,6% de la població, el 55% parlava castellà com a llengua materna i un 3,8% era bilingüe matern. L'idioma català ha patit també un fort retrocés com a llengua habitual passant del 46% el 2003 al 35,6% a 2008, mentre que el castellà es manté des del 47,2% el 2003 al 45,9% el 2008. Per la seva banda els bilingües perfectes segueixen incrementant fins el 12% el 2008. Segons la mateixa font el català ha seguit augmentant tant en parlants com en coneixement escrit de la població, però continua disminuint en percentatge respecte al total de la ciutadania catalana.
-    A Catalunya el factor més important del bilingüisme social és la immigració des de la resta de l'estat espanyol. Hom ha calculat que, sense migracions, la població de Catalunya hagués passat d'uns 2 milions de persones al 1900 a 2,4 al 2001,[25] en comptes dels més de 6,1 milions censats en aquesta data (i que són més de 7 al 2008); és a dir, la població sense migració hauria estat el 39% de la real. El percentatge de parlants de català com a primera llengua a Catalunya ha passat del 36,2%, més 2,5% de bilingües en 2003 al 31,6% més un 3,8% de bilingües en 2008, unes dades[26] que confirmen el retrocés del català a Catalunya, encara que, més lentament que en altres territoris.
+    A Catalunya el factor més important del bilingüisme social és la immigració des de la resta de l'estat espanyol. Hom ha calculat que, sense migracions, la població de Catalunya hagués passat d'uns 2 milions de persones al 1900 a 2,4 al 2001, en comptes dels més de 6,1 milions censats en aquesta data (i que són més de 7 al 2008); és a dir, la població sense migració hauria estat el 39% de la real. El percentatge de parlants de català com a primera llengua a Catalunya ha passat del 36,2%, més 2,5% de bilingües en 2003 al 31,6% més un 3,8% de bilingües en 2008, unes dades que confirmen el retrocés del català a Catalunya, encara que, més lentament que en altres territoris.
     [modifica]País Valencià
-    A la part del País Valencià on és llengua pròpia, existeix un procés de substitució lingüística del català pel castellà. Aquest procés s'ha completat gairebé del tot a la ciutat d'Alacant[27] i és molt avançat a la de València, malgrat que encara no és important a àrees rurals. Fins a una època recent, molts parlants eren en situació prop de la diglòssia, cosa que vol dir que feien servir el català només en situacions informals, mentre que a les situacions institucionalitzades feien servir exclusivament el castellà.
+    A la part del País Valencià on és llengua pròpia, existeix un procés de substitució lingüística del català pel castellà. Aquest procés s'ha completat gairebé del tot a la ciutat d'Alacant i és molt avançat a la de València, malgrat que encara no és important a àrees rurals. Fins a una època recent, molts parlants eren en situació prop de la diglòssia, cosa que vol dir que feien servir el català només en situacions informals, mentre que a les situacions institucionalitzades feien servir exclusivament el castellà.
     [modifica]Dades sociolingüístiques
-    Les dades sociolingüístiques referides al valencià publicades al Llibre blanc de l’ús del valencià - I editat per l'Acadèmia Valenciana de la Llengua en 2005 [28] per l’AVL són:
+    Les dades sociolingüístiques referides al valencià publicades al Llibre blanc de l’ús del valencià - I editat per l'Acadèmia Valenciana de la Llengua en 2005  per l’AVL són:
     Quant a les quatre habilitats lingüístiques:
     El 76% de la població del País Valencià de més de quinze anys entén el valencià. Poc més de la meitat, el 53% és capaç de parlar-lo. El 46% està capacitada per a llegir-lo, i el 25% pot escriure'l.
     Quant a l’ús de la llengua. Les dades de l’ús del valencià donen compte de la minorització de la llengua:
     A casa el 36% usa el valencià predominantment o en exclusiva, El 33% l’utilitza en les relacions d'amistat i un 20% el fa servir en grans superfícies comercials
-    Comparativa de la situació sociolingüística de 1985 [29] i 2004.[30]
+    Comparativa de la situació sociolingüística de 1985  i 2004.
     Quant a les quatre habilitats lingüístiques es verifica un estancament en el percentatge de població que és capaç d'entendre el valencià, una disminució en 7 punts de la població competent per a parlar-lo i un increment notable de la que pot llegir-lo i escriure’l (en 19 punts i 17 punts respectivament).
     Quant a l’ús de la llengua el percentatge de població que usa el valencià ha baixat 15 punts o més en tots els àmbits d’ús.
     [modifica]Balears
-    El cas balear és semblant al de Catalunya, també aquí el factor principal en l'expansió del castellà ha estat la immigració, en mesura molt més gran que la substitució lingüística.[31]
+    El cas balear és semblant al de Catalunya, també aquí el factor principal en l'expansió del castellà ha estat la immigració, en mesura molt més gran que la substitució lingüística.
     [modifica]Catalunya del Nord
-    A la Catalunya del Nord, com a la major part de França, el procés de substitució lingüística de la llengua local pel francès és molt avançat,[32] i encara el primer terç del segle XX el català era la llengua de relació en moltes poblacions, especialment en l'àmbit rural.[33]
-    A la Catalunya del Nord, el català ha estat reconegut com a llengua del departament, ensems amb el francès, el 10 de desembre del 2007 pel Consell General dels Pirineus Orientals [34] mitjançant la Carta en favor del català. Tot i que aqueix acte no comporta pas cap conseqüència ni té pas cap valor legal a l'estat francès.
+    A la Catalunya del Nord, com a la major part de França, el procés de substitució lingüística de la llengua local pel francès és molt avançat, i encara el primer terç del segle XX el català era la llengua de relació en moltes poblacions, especialment en l'àmbit rural.
+    A la Catalunya del Nord, el català ha estat reconegut com a llengua del departament, ensems amb el francès, el 10 de desembre del 2007 pel Consell General dels Pirineus Orientals  mitjançant la Carta en favor del català. Tot i que aqueix acte no comporta pas cap conseqüència ni té pas cap valor legal a l'estat francès.
     [modifica]Estatut jurídic actual de la llengua
 
     El fet que la comunitat lingüística catalana estiga disgregada en quatre estats diferents provoca una gran diversitat quant a l'estatut legal de la llengua.
@@ -391,13 +391,13 @@
     El Carxe. Dins l'Estat espanyol els catalanoparlants que tenen l'estatut jurídic més desfavorable són els carxencs.
     El Carxe és una zona catalanoparlant situada a terres de Múrcia que comprèn algunes pedanies dels municipis de Iecla, Jumella i Favanella. El català no té cap reconeixement oficial a la Comunitat Autònoma de Múrcia. L'única actuació en favor de la llengua la realitza l'Acadèmia Valenciana de la Llengua que des de 2006 imparteix classes de català a Iecla, atenent al prec de veïns carxencs.
     [modifica]Andorra
-    Al Principat d'Andorra el català és l'única llengua oficial segons la Constitució d'Andorra del 1993.[35]
+    Al Principat d'Andorra el català és l'única llengua oficial segons la Constitució d'Andorra del 1993.
     [modifica]Catalunya Nord
     Exclusió de les llengües pròpies a França. Al llarg de la història l'Estat francés ha desenvolupat tot un sistema d'exclusió de les llengües pròpies.
     La llei Deixonne. Malgrat les inquietuds regionalistes que comencen a manifestar-se a principis del segle xx, caldrà esperar a la llei Deixonne de 1951. Aquesta Llei obria una petita escletxa en el sistema escolar. A l'escola primària, els mestres podien ser autoritzats a ensenyar durant una hora les llengües locals. A l'escola secundària només podien assegurar-se cursos com a activitats extraescolars. Les lleis posteriors sobre les "llengües locals i regionals no han anat més enllà de la llei Deixonne.
     [modifica]L'Alguer
-    L'any 1997, el Consell Regional de Sardenya va reconèixer la igualtat en dignitat de la llengua sarda amb la italiana en tota l'illa, així com amb altres llengües d'àmbit més reduït entre les quals es cita el català a la ciutat de l'Alguer.[36] La ciutat, per la seua part, promou la normalització del català als seus estatuts de l'any 2000.[37]
-    En virtut de la "Norma en matèria de tutela de les minories lingüístiques històriques del 1999", l'Estat italià preveu l'ús de llengües com el el català en l'administració pública i en el sistema educatiu, així com l'emissió de continguts radiotelevisius per part de la RAI sempre que així ho sol·licite el 15% de la població dels municipis que en facen la petició al consell provincial.[38]
+    L'any 1997, el Consell Regional de Sardenya va reconèixer la igualtat en dignitat de la llengua sarda amb la italiana en tota l'illa, així com amb altres llengües d'àmbit més reduït entre les quals es cita el català a la ciutat de l'Alguer. La ciutat, per la seua part, promou la normalització del català als seus estatuts de l'any 2000.
+    En virtut de la "Norma en matèria de tutela de les minories lingüístiques històriques del 1999", l'Estat italià preveu l'ús de llengües com el el català en l'administració pública i en el sistema educatiu, així com l'emissió de continguts radiotelevisius per part de la RAI sempre que així ho sol·licite el 15% de la població dels municipis que en facen la petició al consell provincial.
     [modifica]Influència del català en altres llengües
 
     [modifica]Parlars amb empremta de la llengua catalana
@@ -406,8 +406,8 @@
     Sicilià (Sicília)
     Napolità (Nàpols)
     Xurro (Comarques xurres)
-    Patuet (originat a Algèria, avui testimonial a França entre alguns pied-noir)[39]
+    Patuet (originat a Algèria, avui testimonial a França entre alguns pied-noir)
     [modifica]Manlleus del català a altres llengües
-    Hi ha paraules d'origen català que han relat en diverses llengües. Existeixen paraules que van entrar en la llengua castellana durant el segle xx a causa d'una expansió i importació d'especialitats vinculades a la gastronomia com poden ser les paraules ensaïmada, escalivada, paella, bajel (vaixell). I d'altres com orxata van arrelar al castellà per la mateixa raó però no eren originals del català sinó provinents d'origen llatí.[40]
-    En anglès - que fa part de les llengües germàniques occidentals - han relat també diversos mots com Allioli, Barraca i Paella en la seva llengua.[41]
+    Hi ha paraules d'origen català que han relat en diverses llengües. Existeixen paraules que van entrar en la llengua castellana durant el segle xx a causa d'una expansió i importació d'especialitats vinculades a la gastronomia com poden ser les paraules ensaïmada, escalivada, paella, bajel (vaixell). I d'altres com orxata van arrelar al castellà per la mateixa raó però no eren originals del català sinó provinents d'origen llatí.
+    En anglès - que fa part de les llengües germàniques occidentals - han relat també diversos mots com Allioli, Barraca i Paella en la seva llengua.
     Paella, Barraca i Porxo han estat utilitzades per l'esperanto