sqlverdict 0.1.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,298 @@
1
+ Metadata-Version: 2.5
2
+ Name: sqlverdict
3
+ Version: 0.1.0
4
+ Summary: Rule-based scorer for Text-to-SQL results that catches silent_wrong SQL
5
+ Project-URL: Repository, https://github.com/songwookun/sqlverdict
6
+ Author: songwookun
7
+ License-Expression: MIT
8
+ License-File: LICENSE
9
+ Keywords: evaluation,execution-accuracy,llm,sql,text-to-sql
10
+ Classifier: Development Status :: 3 - Alpha
11
+ Classifier: Intended Audience :: Developers
12
+ Classifier: Programming Language :: Python :: 3
13
+ Classifier: Programming Language :: Python :: 3.10
14
+ Classifier: Programming Language :: Python :: 3.11
15
+ Classifier: Programming Language :: Python :: 3.12
16
+ Classifier: Programming Language :: Python :: 3.13
17
+ Classifier: Programming Language :: Python :: 3.14
18
+ Classifier: Topic :: Database
19
+ Classifier: Topic :: Software Development :: Testing
20
+ Requires-Python: >=3.10
21
+ Requires-Dist: pyyaml>=6
22
+ Description-Content-Type: text/markdown
23
+
24
+ # sqlverdict
25
+
26
+ Text-to-SQL 결과를 규칙으로 채점하고, 어디를 고쳐야 하는지 알려주는 오픈소스 라이브러리.
27
+ 에러 없이 실행되지만 결과가 틀린 SQL(silent_wrong)을 잡는 것이 목표다.
28
+
29
+ - **무료**: `pip install sqlverdict`로 바로 쓰고, 서버나 API 비용이 없다.
30
+ - **LLM 없이 채점**: 판정은 규칙이라 같은 결과를 넣으면 항상 같은 판정이 나온다.
31
+ - **AI와 쓰면 더 빠르게**: AI가 골든셋 초안을 만들고 결과를 읽어 고칠 곳을 찾는다. 정답 확정은 사람이 한다.
32
+
33
+ > **English summary** — sqlverdict is a rule-based scorer for Text-to-SQL results.
34
+ > It compares the result set produced by your model's SQL with a verified golden result
35
+ > (SQLite / MySQL / PostgreSQL / Oracle) and flags *silent_wrong* answers:
36
+ > queries that run without error but return wrong numbers, such as a duplicate join that triples a count.
37
+ > No LLM and no server: verdicts are deterministic and come with fix hints.
38
+ > CLI messages and docs are currently in Korean.
39
+
40
+ ## silent_wrong이란
41
+
42
+ 질문: "2024년에 주문한 고객은 몇 명?"
43
+
44
+ | | SQL | 결과 |
45
+ |---|---|---|
46
+ | 정답 | `SELECT COUNT(DISTINCT customer_id) FROM orders WHERE …` | 312 |
47
+ | 예측 | `SELECT COUNT(o.customer_id) FROM orders o JOIN order_items i ON … WHERE …` | 936 |
48
+
49
+ 에러도 없고 숫자도 그럴듯하다. 실행 성공률만 보면 맞은 것으로 집계된다.
50
+ sqlverdict는 이것을 `silent_wrong`으로 판정하고 `값이 정확히 3배: 중복 조인·필터 누락 의심`이라고 알려준다.
51
+
52
+ ## 설치
53
+
54
+ ```bash
55
+ pip install sqlverdict
56
+ ```
57
+
58
+ Python 3.10 이상. 런타임 의존성은 PyYAML 하나다.
59
+ **sqlverdict는 DB에 접속하지 않는다.** SQL 실행은 사용자 쪽에서 하고, 그 결과만 받아 채점한다.
60
+
61
+ ## 빠른 시작
62
+
63
+ ```bash
64
+ sqlverdict init # evals/ 에 예시 golden.yaml · predictions.yaml · AGENTS.md 생성
65
+ sqlverdict check evals/golden.yaml evals/predictions.yaml
66
+ sqlverdict score evals/golden.yaml evals/predictions.yaml
67
+ ```
68
+
69
+ ```
70
+ 정확도 40.0% (correct 2 / 채점 5 / 전체 6)
71
+ 판정 correct 2 · correct_approx 1 · extra_columns 0 · silent_wrong 1 · error 1
72
+ 제외 skipped_unverified 1 · unscorable 0 · missing_prediction 0
73
+ …
74
+ id 판정 level trap 질문 안내
75
+ Q002 silent_wrong L2 dup_join 2024년에 주문한 고객은 몇 명? 값이 정확히 3배: 중복 조인·필터 누락 의심
76
+ Q003 error L3 unique_id 2024년 매출 상위 3명 고객의 i… 실행 실패: no such column: c.nm
77
+ Q004 correct_approx L3 biz_term 2024년 활성 고객의 평균 주문 … 허용 오차 안에서만 같음: 반올림·자료형(FLOAT/DECIMAL) 차이 의심
78
+ ```
79
+
80
+ 예시의 숫자는 가상 데이터다. 실제로 쓰려면:
81
+
82
+ 1. `golden.yaml`의 질문을 우리 DB에 맞게 바꾸고, `gold_sql`을 실행해 `expected`를 채운다. `snapshot`은 그날 날짜로 적는다.
83
+ 2. 예시 문항은 `verified: true`로 되어 있다. 사람이 확인한 문항만 true로 두고, 나머지는 false로 바꾼다.
84
+ 3. Text-to-SQL이 만든 SQL을 실행해 결과를 `predictions.yaml`에 적는다. 또는 [파이썬 API](#파이썬-api)로 바로 비교한다.
85
+ 4. `check` → `score`
86
+
87
+ ## 판정
88
+
89
+ | 판정 | 뜻 | 예 | 정확도에 포함 |
90
+ |---|---|---|---|
91
+ | `correct` | 계산 오차(1e-9)만 빼고 같음 | 조건 표현은 달라도 같은 건수 | O |
92
+ | `correct_approx` | 허용 오차(기본 0.1%) 안에서만 같음 | 평균 152340.3333 vs 152340.33 | 따로 표시 |
93
+ | `extra_columns` | 정답 컬럼 값은 같지만 필요 없는 컬럼까지 가져옴 | `SELECT *`로 20개 컬럼 | X |
94
+ | `silent_wrong` | 실행됐는데 결과가 다름 | 중복 조인으로 건수가 3배 | X |
95
+ | `error` | 사용자 쪽 실행이 실패함 | 없는 컬럼 이름 | X |
96
+
97
+ 정확도 = `correct` ÷ 채점한 문항. 반올림 비교를 쓰는 다른 도구와 견줄 때는 `correct + correct_approx`를 보면 된다.
98
+
99
+ 채점하지 않은 문항은 판정이 아니라 **상태**로 따로 센다.
100
+
101
+ | 상태 | 뜻 |
102
+ |---|---|
103
+ | `skipped_unverified` | `verified: false` — 사람이 확인하기 전 (`--include-unverified`로 포함) |
104
+ | `unscorable` | 골든셋·예측 형식 오류로 비교 불가 (사유가 함께 나옴) |
105
+ | `missing_prediction` | 이 문항의 예측이 없음 |
106
+
107
+ ### 비교 규칙
108
+ - **컬럼 매칭**: 이름이 같으면(대소문자 무시) 그 컬럼끼리, 다르면 위치로(1번째↔1번째). 값이 비슷한 컬럼을 찾아다니지 않는다 — 우연히 같은 값이 맞은 것으로 잡히지 않게.
109
+ - **행 순서**: 기본은 정렬한 뒤 비교. `ordered: true` 문항만 순서까지 본다.
110
+ - **컬럼 수**: 예측이 더 많으면 `extra_columns`(정답으로 치지 않음, Spider·BIRD 관례). 필요한 컬럼이 없으면 `silent_wrong`.
111
+
112
+ ## 파일 형식
113
+
114
+ 골든셋은 고정하고, 예측은 실행(프롬프트 버전 등)마다 따로 쌓는다. 둘은 `id`로 짝을 맞춘다.
115
+
116
+ ### 골든셋 `golden.yaml`
117
+
118
+ ```yaml
119
+ dialect: mysql # sqlite | mysql | postgresql | oracle
120
+ snapshot: 2026-11-13 # 정답을 DB에서 뽑은 날짜 (30일 지나면 경고)
121
+ items:
122
+ - id: q007
123
+ question: 2018년 고객별 주문 건수 상위 5명은?
124
+ level: L4
125
+ trap: dup_join
126
+ why: orders와 order_items를 조인하면 주문이 상품 수만큼 늘어남
127
+ verified: true
128
+ ordered: true
129
+ gold_sql: SELECT customer_id, COUNT(*) AS order_count FROM orders WHERE …
130
+ expected:
131
+ columns: [customer_id, order_count]
132
+ rows: [[A, 12], [B, 9], [C, 7], [D, 6], [E, 5]]
133
+ - id: q008
134
+ question: 2018년 주문이 가장 많은 날짜는?
135
+ level: L2
136
+ trap: none
137
+ verified: true
138
+ expected: {columns: [order_date], rows: [[2018-11-23]]}
139
+ ```
140
+
141
+ | 필드 | 필수 | 설명 |
142
+ |---|---|---|
143
+ | `id`, `question`, `level`, `trap`, `expected` | O | `level`은 L1~L4, `trap`은 dup_join / unique_id / biz_term / empty_ok / none |
144
+ | `why` | trap≠none이면 O | 무엇을 시험하는지 + 정답 근거. 사람은 이것만 읽고 검증 |
145
+ | `verified` | | 기본 false (채점 제외) |
146
+ | `ordered` | | 행 순서까지 비교 |
147
+ | `compare_columns` | | 이 컬럼만 비교 |
148
+ | `allow_extra_columns` | | 예측의 추가 컬럼 허용 |
149
+ | `tolerance` | | 이 문항의 허용 오차 (상대값, 0이면 엄격 비교만) |
150
+ | `empty_ok` | | 빈 결과가 정답 |
151
+ | `gold_sql` | | 정답 SQL. 실행하지 않고 `check`의 검사·다시 뽑기용 |
152
+
153
+ 작성 규칙(함정 섞기, 닫힌 과거 기간만 묻기 등)은 `init`이 만드는 `evals/AGENTS.md`에 있고, 기계로 확인 가능한 것은 `check`가 검사한다.
154
+
155
+ ### 예측 `predictions.yaml`
156
+
157
+ ```yaml
158
+ run_name: prompt-v2
159
+ dialect: postgresql # 선택: 안 적으면 골든셋 dialect (DB 마이그레이션 검증 때만)
160
+ items:
161
+ - id: q007
162
+ pred_sql: SELECT … # 선택: SELECT * 같은 힌트용
163
+ result:
164
+ columns: [customer_id, cnt]
165
+ rows: [[A, 24], [B, 18], [C, 14], [D, 12], [E, 10]]
166
+ - id: q008
167
+ error: "Unknown column 'order_dt'" # 실행 실패면 result 대신
168
+ ```
169
+
170
+ > **날짜는 따옴표 없이** 쓴다. `2024-01-01`은 날짜로 읽혀 DB별 규칙을 타지만, `"2024-01-01"`은 그냥 문자열이다.
171
+ > 에러 메시지처럼 `: `가 들어간 값은 따옴표로 감싼다.
172
+ > YAML 앵커·별칭(`&이름`, `*이름`, `<<:`)은 쓸 수 없다. 작은 파일이 거대한 데이터로 펼쳐지는 공격을 막기 위해서다.
173
+
174
+ ## CLI
175
+
176
+ ```bash
177
+ sqlverdict init [폴더] # 기본 evals/. 파일이 있으면 중단 (--force로 덮어쓰기)
178
+ sqlverdict check golden.yaml [predictions.yaml] [--format table|json]
179
+ sqlverdict score golden.yaml predictions.yaml [옵션]
180
+ ```
181
+
182
+ | score 옵션 | 설명 |
183
+ |---|---|
184
+ | `--format table\|json\|html` | 기본 table (터미널 표) |
185
+ | `-o 경로` | 파일로 저장. 없으면 화면(stdout) 출력 |
186
+ | `--tolerance 0.001` | 전체 허용 오차 (상대값, 0.001 = 0.1%) |
187
+ | `--baseline 이전.json` | 이전 실행과 비교: 새로 틀린 문항 / 새로 맞은 문항 |
188
+ | `--fail-on 판정` | 해당 판정·상태가 하나라도 있으면 종료 코드 1. 반복 가능 |
189
+ | `--head N` | 예측 결과 값을 N행까지 포함 (기본 0) |
190
+ | `--include-expected` | 정답 결과 값 포함 (디버깅용) |
191
+ | `--include-unverified` | `verified: false` 문항도 채점 |
192
+
193
+ **종료 코드**: `0` 정상 · `1` `--fail-on`에 걸림 또는 `check` error · `2` 입력 오류(파일 없음, YAML 형식, 잘못된 옵션)
194
+
195
+ ### 이전 실행과 비교
196
+
197
+ ```bash
198
+ sqlverdict score golden.yaml preds_v1.yaml --format json -o v1.json
199
+ sqlverdict score golden.yaml preds_v2.yaml --baseline v1.json
200
+ ```
201
+
202
+ 이전에 맞던 문항이 한꺼번에 여러 개 틀리면, SQL 문제가 아니라 DB 데이터가 바뀌어 정답이 낡았을 수 있다는 경고가 나온다.
203
+
204
+ ### CI에서 배포 막기 (GitHub Actions 예)
205
+
206
+ ```yaml
207
+ - run: pip install sqlverdict
208
+ - run: python scripts/run_text2sql.py --out evals/predictions.yaml # 우리 Text-to-SQL 실행 (사용자 코드)
209
+ - run: sqlverdict check evals/golden.yaml evals/predictions.yaml
210
+ - run: sqlverdict score evals/golden.yaml evals/predictions.yaml --fail-on silent_wrong --fail-on error --format html -o report.html
211
+ - uses: actions/upload-artifact@v7
212
+ if: always()
213
+ with: {name: sqlverdict-report, path: report.html}
214
+ ```
215
+
216
+ 보고서를 먼저 쓴 뒤 종료 코드를 정하므로, 실패한 실행에서도 `report.html`이 남는다.
217
+
218
+ ## 파이썬 API
219
+
220
+ DB 드라이버가 준 값을 그대로 넘기면 Decimal·날짜 객체가 원래 모양으로 들어와 정규화가 가장 정확하다.
221
+
222
+ ```python
223
+ from sqlverdict import compare, to_result
224
+
225
+ cur.execute(gold_sql)
226
+ expected = to_result(cur) # DB-API 커서 → Result (실행은 하지 않음, 남은 행을 모두 읽음)
227
+ cur.execute(pred_sql)
228
+ got = to_result(cur)
229
+
230
+ v = compare(expected, got, dialect="mysql", pred_sql=pred_sql)
231
+ v.label # 'silent_wrong'
232
+ v.detail # {'expected_rows': 2, 'got_rows': 2, 'matched_by': 'position',
233
+ # 'column_map': {'order_count': 'cnt'}, 'differing_columns': ['order_count'], 'ratio': 2.0}
234
+ v.hints # ['값이 정확히 2배: 중복 조인·필터 누락 의심',
235
+ # '이름이 달라 위치로 비교함: 컬럼 이름을 맞추거나 compare_columns 지정 권장']
236
+ ```
237
+
238
+ - `{"columns": [...], "rows": [[...]]}` 형태의 dict도 그대로 넘길 수 있다.
239
+ - DB 마이그레이션 검증처럼 정답과 예측의 DB가 다르면 `expected_dialect="mysql", got_dialect="postgresql"`.
240
+ - 그 밖의 인자: `ordered`, `compare_columns`, `allow_extra_columns`, `tolerance` (골든셋 필드와 같은 뜻).
241
+
242
+ ## DB별 값 처리 규칙
243
+
244
+ 정답과 예측의 값을 DB마다 하나의 표준형으로 바꾼 뒤 비교한다.
245
+ 아래 규칙은 MySQL 8.4 · PostgreSQL 17 · Oracle 23ai Free에서 pymysql · psycopg 3 · python-oracledb(thin)로 확인했다.
246
+
247
+ | 값 | 표준형 |
248
+ |---|---|
249
+ | 숫자 (Decimal · float · bool) | 정수로 떨어지면 int, 아니면 float. true/false → 1/0 |
250
+ | 날짜 | `2024-01-01`. 시간대 없는 자정 datetime(Oracle DATE)도 날짜로 |
251
+ | 날짜+시각 | `2024-01-01 12:00:00.5` (소수 초는 0이 아니면 유지) |
252
+ | 시간대 있는 시각 | UTC로 바꿔 `2024-01-01 03:00:00+00:00`. 시간대 없는 값과는 다르게 본다 |
253
+ | 시각 (PG TIME · MySQL TIME) | `12:30:00` |
254
+ | 기간 (INTERVAL) | 파이썬 timedelta 표기 (`1 day, 0:00:00`) |
255
+ | UUID · JSON · 배열 | 문자열. JSON은 키를 정렬 |
256
+ | NaN | `'NaN'` (NaN끼리 같고, NULL과는 다름) |
257
+ | Oracle 빈 문자열 | NULL (Oracle은 `''`를 NULL로 저장) |
258
+
259
+ ## 알려진 한계
260
+
261
+ 틀린 답을 맞다고 하는 쪽(false correct)은 막았다. 남은 것은 대부분 **맞는 답이 틀렸다고 나오는 쪽**이라 판정에 드러나고, SQL에서 맞추면 된다. 마지막 두 줄은 판정 밖의 한계다.
262
+
263
+ - **CHAR(n) 공백**: PostgreSQL · Oracle은 `'A '`처럼 공백을 채워 준다 → `RTRIM` 사용
264
+ - **Oracle TIMESTAMP WITH TIME ZONE**: python-oracledb thin 모드는 시간대를 버리고 준다 → `SYS_EXTRACT_UTC(col)`로 뽑기
265
+ - **단정밀도 실수 교차 비교**: MySQL FLOAT · Oracle BINARY_FLOAT와 다른 DB를 비교하면 `correct_approx`
266
+ - **JSON 교차 비교**: MySQL은 JSON 키를 자체 순서로 내보내 PostgreSQL과 문자열이 다를 수 있다
267
+ - **문자열로 온 값은 그대로**: 대문자 UUID 문자열, YAML에서 따옴표 친 날짜는 변환하지 않는다
268
+ - **시간대 있는 TIME(timetz)**: 시간대를 무시한다
269
+ - **허용 오차 안의 값끼리** 정렬 순서가 뒤바뀌면 다른 행끼리 비교될 수 있다 (근사값이 많은 비정렬 문항)
270
+ - `SELECT *` 힌트는 정규식이라 주석 안의 `SELECT *`도 잡는다 (판정에는 영향 없음)
271
+ - 기계로 못 잡는 것은 사람이 확인: 상위 N 문항의 경계 동점, 질문의 애매함, `gold_sql`을 고친 뒤 `verified`를 false로 되돌리기
272
+
273
+ ## 데이터와 보안
274
+
275
+ - **결과 값은 기본으로 보고서에 나오지 않는다.** 정답 값은 AI가 보면 답을 외워 점수만 올리고(시험 문제 유출), 예측 값에는 고객 정보 같은 실무 데이터가 섞인다. `--head`, `--include-expected`로 켠 보고서는 공유에 주의.
276
+ - **예측 `error` 메시지는 300자까지 보고서에 포함된다.** DB 에러 메시지에 값이 섞일 수 있다.
277
+ - **예측을 만드는 쪽이 `golden.yaml`을 읽지 못하게 한다.** `expected`와 `gold_sql`이 그대로 들어 있다.
278
+ - HTML 보고서는 단일 파일이고, 모든 값을 이스케이프하며 CSP로 스크립트·외부 자원을 막는다.
279
+ - sqlverdict는 DB나 네트워크에 접속하지 않는다.
280
+
281
+ ## 개발
282
+
283
+ ```bash
284
+ uv sync
285
+ uv run pytest # 기본 (DB 없이)
286
+
287
+ docker compose -f tests/db/docker-compose.yml up -d --wait # MySQL + PostgreSQL
288
+ uv sync --group db
289
+ uv run pytest -m db # 실제 드라이버 값 테스트
290
+ uv run python tests/db/probe.py # 드라이버가 주는 타입 보기
291
+ docker compose -f tests/db/docker-compose.yml --profile oracle down
292
+ ```
293
+
294
+ Oracle은 메모리 때문에 따로 띄운다: `docker compose -f tests/db/docker-compose.yml --profile oracle up -d --wait oracle`, `pytest -m db`에서 접속할 수 없는 DB는 건너뛴다.
295
+
296
+ ## 라이선스
297
+
298
+ MIT
@@ -0,0 +1,22 @@
1
+ sqlverdict/__init__.py,sha256=2_cxJ06B8PUc3fkAK3m_G704_4LWIGCToF4XX3N632k,211
2
+ sqlverdict/_version.py,sha256=kUR5RAFc7HCeiqdlX36dZOHkUI5wI6V_43RpEcD8b-0,22
3
+ sqlverdict/check.py,sha256=RLn-XukGBiX6H4ZMELnIIyq5jDC0anQSp3AQYGXPUaU,4707
4
+ sqlverdict/cli.py,sha256=liZdCG1OhEc-054NiB2mrLFiabROCoBGgtwJS1GCiD4,6482
5
+ sqlverdict/compare.py,sha256=qL9A9v_dSabDwCkQAns9tozG8MrCeo_0svkyL0dkWxE,5190
6
+ sqlverdict/hints.py,sha256=EN4ChJEn92_2GOtMwoBkAH3ruYKKr8iQzCOojlgAKts,1603
7
+ sqlverdict/loader.py,sha256=KfZK5aQmI32ITnvj3PTuZM_xh0Owt6RWfw_QAjtw2n4,7311
8
+ sqlverdict/model.py,sha256=ZaLQyVxotA2PSzJUIVMqLaefxE6VUb9s80nxqaQRH90,1078
9
+ sqlverdict/normalize.py,sha256=sfQNoxSmbO8tSZ-zgb07mRvLvzUCJVhXs5JDvXKoUNo,2094
10
+ sqlverdict/score.py,sha256=JF-qK-WbaJlX8s66p3u9ChgxEXFi4Tsacsr3Dlc74mU,5524
11
+ sqlverdict/output/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
12
+ sqlverdict/output/html_out.py,sha256=jcRXH_dtboX4Ax12kzHULANZEHWST-UnuK7MF3wFN2c,5045
13
+ sqlverdict/output/json_out.py,sha256=Nh4UZch-brdEv6WFLKhNvxNrXMpLiKoci7q5lZ4wQzw,95
14
+ sqlverdict/output/table.py,sha256=UwGUQPcsLX-pHHOXTYl_OIXA6EXaWrHMDIIdrzMCCEI,3249
15
+ sqlverdict/templates/AGENTS.md,sha256=hVd2MoCHx9A-VK6CLxj81iiFiWr_30rUDQWZcWSmTJs,2429
16
+ sqlverdict/templates/golden.yaml,sha256=Y8qh5OdW6Pl1a1vgn3eIAuoI45_FcUHZtK6iFxsbrkY,2466
17
+ sqlverdict/templates/predictions.yaml,sha256=knjbys8QIrVVsHF9fi8dyT1KlyDSl2z1xxvTXaLpK1o,1130
18
+ sqlverdict-0.1.0.dist-info/METADATA,sha256=oEKdQLitMXaS0GP5iw9Dqx6JZlj1zR3DTA2BY9zuoU4,15440
19
+ sqlverdict-0.1.0.dist-info/WHEEL,sha256=2iZrJkDIkeDh0k9SikKMqFuRP-ua6mb4Ir1AsER4BEw,87
20
+ sqlverdict-0.1.0.dist-info/entry_points.txt,sha256=mBd4KRLMNwzdvhgkvp5N8ZJawgi-c3owT0nVDOkV1Xk,51
21
+ sqlverdict-0.1.0.dist-info/licenses/LICENSE,sha256=7CzU8Gqi_hPxErm9RjzL7OmVWFNN17xSSbzv7fN775A,1067
22
+ sqlverdict-0.1.0.dist-info/RECORD,,
@@ -0,0 +1,4 @@
1
+ Wheel-Version: 1.0
2
+ Generator: hatchling 1.33.0
3
+ Root-Is-Purelib: true
4
+ Tag: py3-none-any
@@ -0,0 +1,2 @@
1
+ [console_scripts]
2
+ sqlverdict = sqlverdict.cli:main
@@ -0,0 +1,21 @@
1
+ MIT License
2
+
3
+ Copyright (c) 2026 songwookun
4
+
5
+ Permission is hereby granted, free of charge, to any person obtaining a copy
6
+ of this software and associated documentation files (the "Software"), to deal
7
+ in the Software without restriction, including without limitation the rights
8
+ to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
9
+ copies of the Software, and to permit persons to whom the Software is
10
+ furnished to do so, subject to the following conditions:
11
+
12
+ The above copyright notice and this permission notice shall be included in all
13
+ copies or substantial portions of the Software.
14
+
15
+ THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
16
+ IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
17
+ FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
18
+ AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
19
+ LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
20
+ OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
21
+ SOFTWARE.