yukichant 3.0.5 → 3.1.0-beta.3

package/__tests__/cli.js

@@ -0,0 +1,20 @@
+const chant_cmd = `./src/cli.js`
+
+import fs from 'fs';
+import { execSync } from 'child_process';
+import help_message from '../test_data/help_message';
+
+describe('chant',()=>{
+  test('generate',async ()=>{
+    let result = execSync(`${chant_cmd}`)
+    expect(result.toString()).toEqual(expect.anything())
+  })
+  test('--help',async ()=>{
+    let result = execSync(`${chant_cmd} --help`)
+    expect(result.toString()).toEqual(help_message)
+  })
+  test('encode to decode',async ()=>{
+    let result = execSync(`echo -n unko | ${chant_cmd} | ${chant_cmd} -d`)
+    expect(result.toString()).toEqual('unko')
+  })
+})

package/__tests__/data.js

@@ -0,0 +1,41 @@
+/*
+
+このテストではdata/*.jsonのバリューの重複がないことを検証する。
+
+data/dousi.jsonとdata/meisi.jsonのバリュー(呪文)の文字列は重複してはならない。
+後から要素を追加した際に、重複が発生すると正常にdecodeできなくなる懸念があるためである。
+
+*/
+import fs from 'fs'
+const meisi = JSON.parse(fs.readFileSync('./data/meisi.json', 'utf8'));
+const dousi = JSON.parse(fs.readFileSync('./data/dousi.json', 'utf8'));
+
+describe('meisi', () => {
+  test('meisiの値に重複するものが存在しない', () => {
+    let valueCount = 0
+    let valueHash = {}
+    Object.entries(meisi).forEach(([k,v])=> {
+      valueCount += v.length
+      v.forEach(v2=> {
+        valueHash[v2] = true
+      })
+    })
+    
+    expect(Object.keys(valueHash).length === valueCount).toBeTruthy()
+  })
+})
+
+describe('dousi', () => {
+  test('dousiの値に重複するものが存在しない', () => {
+    let valueCount = 0
+    let valueHash = {}
+    Object.entries(dousi).forEach(([k,v])=> {
+      valueCount += v.length
+      v.forEach(v2=> {
+        valueHash[v2] = true
+      })
+    })
+
+    expect(Object.keys(valueHash).length === valueCount).toBeTruthy()
+  })
+})

package/__tests__/index.js

@@ -0,0 +1,42 @@
+import chant from '../src/index'
+import fs from 'fs'
+const meisi = JSON.parse(fs.readFileSync('./data/meisi.json', 'utf8'));
+const dousi = JSON.parse(fs.readFileSync('./data/dousi.json', 'utf8'));
+
+describe('chant',()=>{
+  test('encode',()=>{
+    // encodeしたときに、encodeあとの文字がランダムにどれか選ばれるため
+    // 乱数を考慮して複数回テストを実行する。
+    for (let i=0; i<1000; i++) {
+      expect(chant.encode('unko\n'))
+        .toMatch(/^(回廊に|回廊へ)(凍結|凍土に)(冥へ|冥界|冥府の|冥府より)(借り。)(血塗ら。)$/)
+    }
+  })
+
+  test('decode',async ()=>{
+    expect(await chant.decode(chant.encode('こんにちは')))
+      .toBe('こんにちは')
+  })
+
+  test('decode 改行文字込',async ()=>{
+    expect(await chant.decode('回廊に凍結冥界借り。血塗ら。')).toBe('unko\n')
+  })
+
+  test('dumpされた文字が途中でもdecodeできるかの確認',async ()=>{
+    // chant.encode('')
+    expect(await chant.decode(chant.encode('💩💩').slice(0,-4)))
+      .toEqual(expect.stringContaining('💩'))
+  })
+  test('関係ない文字でもエラーが出ないことの確認',async ()=>{
+    // chant.encode('')
+    expect(()=> chant.decode('💩')).not.toThrow()
+    //下のテストは無理になった
+    //expect(chant.decode('💩')).toBe('')
+  })
+
+  test('decode 文字の間違いをある程度修正できるか',async ()=>{
+    //                   回廊に凍結冥界借り。血塗ら。
+    //                   回      結            塗
+    expect(await chant.decode('廻廊に凍吉冥界借り。血土ら。')).toBe('unko\n')
+  })
+})

package/__tests__/machine-encrypt.js

@@ -0,0 +1,49 @@
+import simpleEnigma from '../src/machine-encrypt.js'
+
+
+describe('simpleEnigma',()=>{
+  test('変換して元に戻せるかの確認',()=>{
+
+    let input = [1,2,3,4,5,6,7,8,9,10]
+    let encryptData = simpleEnigma.uint8ArrayEncrypt(input)
+
+    // toBeだとオブジェクト同士の参照が一致しているかまで調べてしまうためtoEqualを使う
+    // enigmaと同じ仕組みのため初期位置が同じencoderは,decoderになる
+    expect(simpleEnigma.uint8ArrayEncrypt(encryptData))
+      .toEqual(input)
+  })
+
+  test('連続したバイト列が偏り少なく出力される確認',()=>{
+
+    //すべて0の500このリスト
+    let continuSameNumber = Array.from({ length : 500 }).map(_=> 0)
+    let result = simpleEnigma.uint8ArrayEncrypt(continuSameNumber)
+
+    let result_count = Array.from({ length : 256 }).map(_=> 0)
+
+    result.forEach(v=>{
+      result_count[v] += 1
+    })
+
+    expect(Math.max(...result_count))
+      .toBeLessThan(15)
+  })
+
+  test('辞書にあるすべての単語を出力して問題ないかの確認',()=>{
+    // 辞書は名詞が256単語周期、動詞が 256*4単語周期になっている
+    // 257 * 4 回 同じデータを入れるとすべてのデータが取り出せる
+    let input = Array.from({ length : (257 * 4) }).map(_=> 0)
+    let encryptData = simpleEnigma.uint8ArrayEncrypt(input)
+
+    // enigmaと同じ仕組みのため初期位置が同じencoderは,decoderになる
+    expect(simpleEnigma.uint8ArrayEncrypt(encryptData))
+      .toEqual(input)
+  })
+  
+  test('大きなバイト列をエンコードできるか確認', () => {
+    let arr = Array.from((new Array(1000000)).keys()).map((_, i) => i % 256)
+    let decoded = simpleEnigma.uint8ArrayEncrypt(simpleEnigma.uint8ArrayEncrypt(arr))
+    
+    expect(arr).toEqual(decoded)
+  })
+})

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "yukichant",
-  "version": "3.0.5",
+  "version": "v3.1.0-beta.3",
   "description": "",
   "license": "Apache-2.0",
   "repository": "amanoese/yukichant",
@@ -21,7 +21,9 @@
   },
   "dependencies": {
     "commander": "^8.3.0",
-    "get-stdin": "^9.0.0"
+    "fastest-levenshtein": "^1.0.16",
+    "get-stdin": "^9.0.0",
+    "kuromoji": "^0.1.2"
   },
   "keywords": [
     "cli",

package/raw_data/json_generator

@@ -0,0 +1,49 @@
+#!/usr/bin/env bash
+
+set -eu
+
+SCRIPT_DIR=$(cd $(dirname $0); pwd)
+
+DOUSI_TEMP=`mktemp`
+
+genarate_json(){
+  local TEMP=`mktemp`
+
+  ## remove near distance words
+  cat "$1" |
+  grep -v -f ${SCRIPT_DIR}/spell_NG_word.txt |
+  xargs -L1 -I@ bash -c "mecab ${1}|cut -d, -f8| agrep -c -1 '@';echo @" 2>/dev/null |
+  xargs -L2 |
+  sort -nrs -k1,1 > "$TEMP"
+
+  ## remove partial match
+  cat "$TEMP" |
+  cut -d' ' -f2-|
+  xargs -L1 -I@ bash -c "grep '@' '${TEMP}'|wc -l;echo @"|
+  xargs -L2 |
+  awk '$1==1{print $2}'|
+
+  ## genarate json
+  head -256|
+  paste <((seq 32 255;seq 0 31)|xargs -L1 -I@ bash -c 'echo 0$(echo "obase=16;@"|bc)|grep -o "..$"') - |
+  sort -k1,1 |
+  sed -r 's/^(.*)\t/  \"\1\":/;s/:(.*)/: ["\1"],/'|
+  sed '1s/^/{\n/;256s/,/\n}/'
+}
+
+MEISI_TEMP=`${SCRIPT_DIR}/meisi_json_generator | sed -n 2p`
+
+cat ${SCRIPT_DIR}/spell.txt |
+base64 -d |
+mecab |
+tr '\t' ,|
+awk -F, '$2~/動詞/&&$2!~/助動詞/{print $1}'|
+sort -u |
+sed -n '/../p'|
+grep -P '\p{Han}' |
+grep -v -f "$MEISI_TEMP"  > "$DOUSI_TEMP"
+
+
+genarate_json $DOUSI_TEMP |
+sed 's/"/。"/4' |
+sed '/0A/s/\[.*]/["具現化せよ。", "踊れ。", "歌え。", "紡げ。"]/' > ${SCRIPT_DIR}/../data/dousi.json

package/raw_data/meisi_json_generator

@@ -0,0 +1,53 @@
+#!/usr/bin/env bash
+
+set -eu
+
+SCRIPT_DIR=$(cd $(dirname $0); pwd)
+
+MEISI_TEMP=`mktemp`
+
+## 名詞と副詞と連体化した単語を合わせたテキストの生成
+cat ${SCRIPT_DIR}/spell.txt |
+base64 -d |
+mecab |
+tr '\t' ,|
+awk -F, '$2~/名詞/|| $1~/EOF/{print s;a=1;s=$1}a==2{a=0;s=""}a==1&&$2~/助詞/{a=0;if($3~/連体化/){a=2}s=s$1}'|
+sort -u |
+sed -n '/../p'|
+grep -P '\p{Han}' > "$MEISI_TEMP"
+
+## 部分一致指定舞う単語の排除
+MEISI_UNIQ_TEMP=`mktemp`
+cat "$MEISI_TEMP" |
+xargs -L1 -I@ bash -c "echo \$(grep -c @ $MEISI_TEMP) @"|
+awk '$1==1{print $2}'|
+## NG単語の排除
+grep -v -f $SCRIPT_DIR/spell_NG_word.txt |
+cat > $MEISI_UNIQ_TEMP
+
+## 同じ漢字で始まる単語をグルーピング
+MEISI_RESULT_TEMP=`mktemp`
+cat $MEISI_TEMP |
+grep -oP '^\p{Han}'|
+sort -u |
+xargs -L1 -I@ bash -c "grep '^@' $MEISI_UNIQ_TEMP |xargs"|
+sort -u|
+awk '{print NF,$0}'|
+sort -nr -k1,1|
+head -257|
+cut -d' ' -f2- > $MEISI_RESULT_TEMP
+
+## genarate json
+cat $MEISI_RESULT_TEMP|
+head -257|
+paste <((echo 10 227 {129..131}|tr ' ' \\n;seq 32 255|grep -v -e 129 -e 130 -e 131 -e 223;seq 0 31|grep -v 10;echo 223)| xargs -L1 -I@ bash -c 'echo 0$(echo "obase=16;@"|bc)|grep -o "..$"') - |
+sort -k1,1 |
+tee /dev/stderr |
+sed 's/ /","/g' |
+sed -r 's/^(.*)\t/  \"\1\":/;s/:(.*)/: ["\1"],/'|
+sed '1s/^/{\n/;$s/,$/\n}/' > ${SCRIPT_DIR}/../data/meisi.json
+
+## DEBUG用？
+echo $MEISI_TEMP
+echo $MEISI_UNIQ_TEMP
+echo $MEISI_RESULT_TEMP