nlpir 0.0.4-x86-mingw32

data/test/Data/ICTPOS.map

@@ -0,0 +1,96 @@
+1
+4
+a
+ad
+ag
+al
+an
+b
+bl
+c
+cc
+d
+dg
+dl
+e
+f
+h
+k
+m
+Mg
+mq
+n
+ng
+nl
+nr
+nr1
+nr2
+nrf
+nrj
+ns
+nsf
+nt
+nz
+o
+p
+pba
+pbei
+q
+qt
+qv
+r
+Rg
+rr
+ry
+rys
+ryt
+ryv
+rz
+rzs
+rzt
+rzv
+s
+t
+tg
+u
+ude1
+ude2
+ude3
+udeng
+udh
+uguo
+ule
+ulian
+uls
+usuo
+uyy
+uzhe
+uzhi
+v
+vd
+vf
+vg
+vi
+vl
+vn
+vshi
+vx
+vyou
+w
+wb
+wd
+wf
+wj
+wky
+wkz
+wm
+wn
+wp
+ws
+wt
+ww
+wyy
+wyz
+x
+y
+z

data/test/Data/NLPIR_First.map

@@ -0,0 +1,96 @@
+1
+4
+a
+a
+a
+a
+a
+b
+b
+c
+c
+d
+d
+d
+e
+f
+h
+k
+m
+m
+m
+n
+n
+n
+n
+n
+n
+n
+n
+n
+n
+n
+n
+o
+p
+p
+p
+q
+q
+q
+r
+R
+r
+r
+r
+r
+r
+r
+r
+r
+r
+s
+t
+t
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+v
+v
+v
+v
+v
+v
+v
+v
+v
+v
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+x
+y
+z

data/test/Data/NewWord.lst

@@ -0,0 +1,73 @@
+��˿  ����  �⹹  ��Q  �������Ļ�  ����  Ⱥ���Գ�  ���ݱ�΢  
+��˿  ����  �⹹  ��Q  �������Ļ�  ����  Ⱥ���Գ�  ���ݱ�΢  
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  
+屌丝/n_new/10.19  

data/test/Data/PKU.map

@@ -0,0 +1,96 @@
+1
+4
+a
+ad
+g
+l
+an
+b
+l
+c
+cc
+d
+g
+l
+e
+f
+h
+k
+m
+Mg
+mq
+n
+g
+l
+nr
+nr
+nr
+nr
+nr
+ns
+ns
+nt
+nz
+o
+p
+p
+p
+q
+qt
+qv
+r
+Rg
+r
+r
+r
+r
+r
+r
+r
+r
+r
+s
+t
+tg
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+v
+v
+v
+g
+v
+v
+vn
+v
+v
+v
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+x
+y
+z

data/test/Data/PKU_First.map

@@ -0,0 +1,96 @@
+1
+4
+a
+a
+g
+l
+a
+b
+l
+c
+c
+d
+g
+l
+e
+f
+h
+k
+m
+m
+m
+n
+g
+l
+n
+n
+n
+n
+n
+n
+n
+n
+n
+o
+p
+p
+p
+q
+q
+q
+r
+R
+r
+r
+r
+r
+r
+r
+r
+r
+r
+s
+t
+t
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+u
+v
+v
+v
+g
+v
+v
+v
+v
+v
+v
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+w
+x
+y
+z

data/test/test.txt

@@ -0,0 +1,52 @@
+屌丝，一个字头的诞生
+
+去年开始，打开百度李毅吧，满屏的帖子大多含有“屌丝”二字，一般网友不仅不懂这词什么意思，更难理解这个词为什么会这么火。然而从下半年开始，“屌丝”已经覆盖网络各个角落，人人争说屌丝，人人争当屌丝。
+从遭遇恶搞到群体自嘲，“屌丝”名号横空出世
+“屌丝”一词最早的来源是百度“三巨头吧”对“李毅吧”球迷的恶搞称谓，有嘲讽之意，但却被李毅吧的球迷就此领受下来。“屌丝”二字蕴含着无奈和自嘲的意味，但是李毅吧球迷“不以为耻、反以为荣”，从此以“屌丝”自称，并开始一路爆红网络。
+
+提到“屌丝”就不能不提百度“李毅吧”，也称“D8”。其会员自称为“毅丝不挂”，取自“李毅的粉丝”。因著名足球运动员李毅当年的一句无心之言：我的护球像亨利。而亨利在国外被称作亨利大帝。因而李毅从此也被冠上“李毅大帝”的名号。至于最初是谁开始这么叫的，众说纷纭。
+
+而“李毅吧”亦有“百度贴吧卢浮宫”之称，因为很多在网络流传甚广的内涵文都出自“李毅吧”，包括那篇红极一时的《李毅大帝本纪》。而这一次，“屌丝”爆红网络，则是又一次体现出“李毅吧”对网络文化的影响。
+丑穷无能但善良：“屌丝”代表了最广大年轻人的面貌
+“屌丝”多指年轻男性，他们出身卑微，他们称自己的工作为“搬砖”，他们爱网游、爱贴吧、爱“女神”也爱幻想，却缺乏行动力，想做而不敢做；他们内心虚荣，却又不屑“高富帅”而故作清高；他们自卑、自贱却也自以为是；他们是善良的，他们也是懦弱的。
+
+总之，“屌丝”就是这么一类人，他们身份卑微、生活平庸、未来渺茫、感情空虚，不被社会认同。他们也渴望获得社会的高度认可，但又不知道该怎么去做，生活没有目标，缺乏热情，不满于无聊的生活但又不知道该做点什么。而这样的心态又普遍存在于我们周围，存在于每一个人心中，也就造成了网络上“屌丝”的爆红。
+在对“女神”的终极竞争面前，“屌丝”的悲苦“高富帅”永远不懂
+“呵呵”一词是“屌丝”心中永远的痛，当他们在网上鼓足勇气和“女神”（女神是“屌丝”对自己心仪女生的专称）搭讪时，却往往只得到“呵呵”，“睡了”，“洗澡去了”这样的回复，这一句“呵呵”甚至成了屌丝身份的判别式。
+
+“屌丝”大多出身贫寒之家，没有更多的背景，他们有的很早辍学打工，有的寒窗十二载考上大学，毕业后才发现与理想相去甚远……他们从事着苦与累的工作，拿着并不丰厚甚至是微薄的报酬，在繁华的城市里勉强分得一杯羹。
+
+而与“屌丝”相对的专有词汇则是“高富帅”，它形容男人在身高、财富、相貌上的完美无缺。这样的男人往往会博得众多女性的青睐，在恋爱，婚姻中获得成功。但是对于“屌丝”来说，“高富帅”则是个心酸的词，因为无论外形、财富还是学历，“屌丝”都难望“高富帅”项背。屌丝只能收获“呵呵”，“高富帅”收获“女神”却从来不费工夫。
+“屌丝”称自己的工作为搬砖，他们从事着苦累收入微薄的工作，在繁华的城市里分取一杯羹。
+屌丝能得到女神的青睐，最后还得依赖电影这门造梦的艺术。
+“屌丝”这个嘲讽意味的代词迅速爆红，迎合了大众的心理和趣味。因为你会发现从表面符合屌丝定义的人，到和屌丝属性八竿子打不着的人，都在争相认领这一名号。当人人都在忙着确认自己的屌丝身份，并乐此不疲时，屌丝一词一定与时代的什么特征实现了合拍。
+“屌丝”不是阿Q，他们公然比惨并乐在其中
+有评论认为，“屌丝”是新时代的阿Q，两者并不完全相同。首先，阿Q是文学巨匠鲁迅一己之力创造的，而“屌丝”则是网络群体狂欢的结果，它是真正由网民集体创作的形象；另外，阿Q最重要的特征是“精神胜利法”，梦想的是“银盔银甲”，意淫的是“我手持钢鞭将你打”。
+
+而“屌丝”不仅看起来认命了，甚至在大多数时候是在堂而皇之“比惨”，在高富帅面前，他们直说“跪了”，在别人夸耀成就时，他们嬉皮笑脸“求别说”。哪怕是屌丝用于励志的话，也是让人哭笑不得的“屌丝不哭，站起来撸”。
+
+比惨，是一大中国特色。中国人好像历来就都是在苦水中泡大似的，大凡见面就要比惨。几个学生见面，一个说功课累，另一个绝对不会说学习轻松。成人见面，这个说他家的房子天天漏水，那个马上接道他那点儿工资真是不够养家呀。
+
+比惨是一种自我保护的方式。它的心理基础是不患寡而患不均的传统社会认识。人们不仅物质上要追求平均，心理上也是如此，如果不能和人一起富，就希望大家一起穷。凡人遇到伤心之事，这时候有一个人对他或她说，我比你更惨，这样心理也就平衡了，也不那么伤心了。而“屌丝”在网络上的自嘲，则亦有比惨之意，而本质则是一种发泄和寻求心理的慰藉。“屌丝”更似乎是在宣称，反正我就是这么副屌样，再怎么差都无所谓了。
+现实沉默网上自嘲，“屌丝”是小人物的集体自我认同
+“屌丝”的比惨，就像小人物之间的日常寒暄，“屌丝”已是这个时代小人物的形象代表。
+
+冯小刚的电影里曾经对中国社会的小人物有着经典的诠释：中国的很多小人物的梦想和趣味与他本身的身份有着天壤之别，他们往往身份卑微却又梦想统治世界。因为在这个国家，在长达几十年的时间里，一个普通人想要一举成为一个威震寰宇、万人拥戴的英雄，从来都不会被视为是荒唐变态，而恰恰会被视为一个值得鼓励和学习的有志青年。
+
+然而崇高的理想和残酷的现实之间存在深深的断层，小人物的身份和不切实际的梦想在一个人身上纠结，在个人自由大大获得解放的今天，却又凸显了小人物的迷茫和无助。而正是这种迷茫和无助加速了“屌丝”文化的产生和蔓延。相比较于冯小刚电影里的小人物，“屌丝”拥有相同甚至更加卑微的身份，却未必拥有多么宏大、崇高的理想，他们安于现状却又不满于现实，他们渴望成功，却又无法克服成功路上的种种困难。于是，他们选择了现实中的沉默，网络中的自嘲。
+群体自嘲是解构现实的武器 也是争取诠释自己生活的权利
+自嘲是一种调节心理的天平，心理学家认为：“一个人的身体状态是受其心理和精神状态所影响的，大约有一半以上的疾病都是由心理和精神方面引起的。”所以，任何一个在现实生活中并不那么如意的人，对自己进行自嘲都是很正常的，“屌丝”这个词语无疑更是自嘲文化发展到一定程度的产物。
+
+然后，与普通的自嘲不同，“屌丝”的自嘲是一次自发的、群体性的自嘲，如此大规模的自嘲定然是拜网络所赐，而在别人嘲讽自己之前抢先把自己嘲讽完毕，基本上是一种自我保护。究其根本，其实与当年王朔的“我是流氓我怕谁”类似。对方尚未发作，且先笑脸相迎——“我有病，您别跟我一般见识……”
+
+其实，归根结底，“屌丝”文化不过是又一种网络亚文化的崛起，它意味着中国人更多的获得了自己诠释生活的角度与权利。一切政治、经济与社会的话题，在法律允许的范围内都可以纳入自己的价值体系，通过自己的经验与学识，作出自己的判断。他们用一种新的语言方式，结构着完全灌输式的教育与宣传。
+
+解构的这种积极意义还在于，每个公民都有自己观察生活、认识真理的眼睛与心灵，没有谁再可以强加给他们任何他们不再相信的东西。而那些貌似强大的说教，同样失去了动员的能力，反而被人们置之一笑。就如同“屌丝”对待“高富帅”的态度，有嘲讽、有跪拜，但本质上都是一种解构，并且也是网民的一种自娱自乐。
+网络亚文化需要包容 屌丝们需要的是爱
+“屌丝”爆红，也引来了反弹。有文化学者在微博上批判说，“屌丝文化”是一种对社会拜金风潮的无奈掺杂的产物，亦充满了格调不高的低俗气。
+
+当然，对于这点，网民是不买账的。其实网民只是用于自嘲，不过跟“咆哮体”和“伤不起”是一个性质。动不动上升至道德层面，是小题大做得有点凶猛——作为一种网络亚文化，跟同性恋和朋克摇滚一样不属于主流社会罢了，更远远称不上有害。
+
+一个社会的道德水准和价值观会因为某个网络词语发生了大倒退？那是不是对整个社会太没信心了。当然，“屌丝”文化中不是毫无问题，其中对于女性的态度以及对女性有侮辱的词汇在网络上流行就不妥当。
+
+屌丝亚文化下，看起来嬉皮笑脸满不在乎面孔的背后，其实和这个社会中其他所有人一样，他们所需要的，是爱。

data/test/test_nlpir.rb

@@ -0,0 +1,158 @@
+require 'rubygems'
+require 'rake'
+require 'rake/testtask'
+require 'test/unit'
+require File.expand_path('../../lib/nlpir.rb', __FILE__)
+
+include Nlpir
+
+$s = "坚定不移沿着中国特色社会主义道路前进,为全面建成小康社会而奋斗"
+$text = "去年开始，打开百度李毅吧，满屏的帖子大多含有“屌丝”二字，一般网友不仅不懂这词什么意思，更难理解这个词为什么会这么火。然而从下半年开始，“屌丝”已经覆盖网络各个角落，人人争说屌丝，人人争当屌丝。
+从遭遇恶搞到群体自嘲，“屌丝”名号横空出世“屌丝”一词最早的来源是百度“三巨头吧”对“李毅吧”球迷的恶搞称谓，有嘲讽之意，但却被李毅吧的球迷就此领受下来。“屌丝”二字蕴含着无奈和自嘲的意味，但是李毅吧球迷“不以为耻、反以为荣”，从此以“屌丝”自称，并开始一路爆红网络。"
+
+class NlpirTest < Test::Unit::TestCase
+  def test_init
+    assert_equal NLPIR_TRUE,
+         NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  end
+
+  def test_exit
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+
+  	assert_equal NLPIR_TRUE,
+  		NLPIR_Exit()
+  end
+  
+  def test_process_paragraph
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+
+  	assert_equal "坚定不移/vl 沿着/p 中国/ns 特色/n 社会主义/n 道路/n 前进/vi ,/wd 为/v 全面/ad 建成/v 小康/n 社会/n 而/cc 奋斗/vi ",
+  		NLPIR_ParagraphProcess($s).force_encoding('utf-8')
+  	assert_equal "坚定不移 沿着 中国 特色 社会主义 道路 前进 , 为 全面 建成 小康 社会 而 奋斗 ",
+  		NLPIR_ParagraphProcess($s,NLPIR_FALSE).force_encoding('utf-8')	
+  	
+  	NLPIR_Exit()
+
+  end
+
+  def test_process_paragraph_with_PKU_POS_MAP_SECOND
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	NLPIR_SetPOSmap(PKU_POS_MAP_FIRST)
+  	assert_equal "坚定不移/v 沿着/p 中国/n 特色/n 社会主义/n 道路/n 前进/v ,/w 为/v 全面/a 建成/v 小康/n 社会/n 而/c 奋斗/v ",
+  		NLPIR_ParagraphProcess($s).force_encoding('utf-8')
+
+  	NLPIR_Exit()
+
+  end
+
+  def test_process_paragraphA
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal 15,
+  		NLPIR_ParagraphProcessA($s).size
+
+  	NLPIR_Exit()
+  end
+
+  def test_process_paragraphAW
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal 15,
+  		NLPIR_ParagraphProcessAW($s).size
+
+  	NLPIR_Exit()
+  end
+
+  def test_userDict
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	NLPIR_AddUserWord("1989年春夏之交的政治风波 n")
+  	
+          s = NLPIR_ParagraphProcess("1989年春夏之交的政治风波1989年政治风波24小时降雪量24小时降雨量863计划ABC防护训练APEC会议BB机BP机C2系统C3I系统C3系统C4ISR系统C4I系统CCITT建议")	
+          s.force_encoding('utf-8')
+       assert_match  "1989年春夏之交的政治风波\/n", s
+       
+       NLPIR_DelUsrWord("1989年春夏之交的政治风波")
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_ImportUserDict
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal 5,
+  		NLPIR_ImportUserDict("./userdict.txt")
+       
+          s = NLPIR_ParagraphProcess("1989年春夏之交的政治风波1989年政治风波24小时降雪量24小时降雨量863计划ABC防护训练APEC会议BB机BP机C2系统C3I系统C3系统C4ISR系统C4I系统CCITT建议") 
+          s.force_encoding('utf-8')	
+       assert_match  "C2系统\/n", s
+           
+  	NLPIR_Exit()
+  end
+  
+  def test_process_file
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	NLPIR_FileProcess("./test.txt", "./test_result.txt", NLPIR_TRUE)
+  	assert_equal 18482,
+  		File.open("./test_result.txt").size
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_words_count
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal 15,
+  		NLPIR_GetParagraphProcessAWordCount($s)
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_GetKeyWords
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal "屌丝/n_new/10.19  球迷/n/2.43  开始/v/1.74  百度/nz/1.73  网络/n/1.39  自嘲/vi/1.39  ",
+  		NLPIR_GetKeyWords($text, 50,NLPIR_TRUE).force_encoding('utf-8')
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_GetKeyWords_form_file
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal "屌丝/n_new/15.12  网民/n_new/6.66  解构/n_new/5.27  ",
+  		NLPIR_GetFileKeyWords("./test.txt",2, NLPIR_TRUE).force_encoding('utf-8')
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_find_NewWords
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal "屌丝/n_new/10.19  ",
+  		NLPIR_GetNewWords($text, 50, NLPIR_TRUE).force_encoding('utf-8')
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_fin_NewWords_from_file
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal "屌丝/n_new/15.12  网民/n_new/6.66  解构/n_new/5.27  阿Q/n_new/4.99  网络亚文化/n_new/4.16  贴吧/n_new/3.33  群体自嘲/n_new/3.33  身份卑微/n_new/3.33  ",
+  		NLPIR_GetFileNewWords("./test.txt", 50, NLPIR_TRUE).force_encoding('utf-8')
+  	
+  	NLPIR_Exit()
+  end
+
+  def test_get_finger_print
+  	NLPIR_Init(nil, UTF8_CODE ,File.expand_path("../", __FILE__))
+  	
+  	assert_equal 499666667,
+  		NLPIR_FingerPrint($text)
+  	
+  	NLPIR_Exit()
+  end
+
+end