@0xtorch/csv 0.0.14 → 0.0.16

package/schemas/parser.ts

@@ -1,121 +1,171 @@
-import { actionTypeUnionSchema } from '@0xtorch/core'
+import {
+  actionCrossTypeUnionSchema,
+  actionTypeUnionSchema,
+} from '@0xtorch/core'
 import { z } from 'zod'
 
-export const conditionComponentSchema = z.object({
-  column: z.string(),
-  pattern: z.union([
-    // string
-    z.string(),
-    // number
-    z.number(),
-    // defined
-    z.object({
-      type: z.literal('defined'),
-    }),
-    // undefined
-    z.object({
-      type: z.literal('undefined'),
-    }),
-    // in
-    z.object({
-      type: z.literal('in'),
-      values: z.array(z.union([z.string(), z.number()])),
-    }),
-    // not-in
-    z.object({
-      type: z.literal('not-in'),
-      values: z.array(z.union([z.string(), z.number()])),
-    }),
-  ]),
-})
-
-export const columnComponentSchema = z.object({
-  type: z.literal('column'),
-  column: z.string(),
-})
+const indexSchema = z.number().int().nonnegative()
 
-export const actionComponentSchema = z.object({
+export const cellValueSchema = z.object({
+  type: z.literal('cell'),
   column: z.string(),
-  patterns: z.record(actionTypeUnionSchema),
+  row: indexSchema.optional().transform((v) => v ?? 0),
 })
 
-const serviceComponentSchema = z.object({
+export const serviceValueSchema = z.object({
   type: z.literal('service'),
 })
 
-export const textComponentSchema = z.union([
-  // premitive string
+export const simpleValueSchema = z.union([
   z.string(),
-  // service
-  serviceComponentSchema,
-  // column
-  columnComponentSchema,
+  cellValueSchema,
+  serviceValueSchema,
 ])
 
-export const nftComponentSchema = z.object({
-  type: z.literal('nft'),
-  id: z.array(textComponentSchema),
+export const splitValueSchema = z.object({
+  type: z.literal('split'),
+  value: simpleValueSchema,
+  splitter: z.string(),
+  index: indexSchema,
 })
 
-export const assetComponentSchema = z.union([
-  // asset id を直接指定
-  z.object({
-    type: z.literal('custom'),
-    assetType: z.union([
-      z.literal('CryptoCurrency'),
-      z.literal('FiatCurrency'),
-      z.literal('Nft'),
-    ]),
-    assetId: z.string(),
-  }),
-  // column と一致する symbol を持つ時価総額最大の asset / symbolAssetMap に存在する symbol であればそちらを優先
-  columnComponentSchema,
-  // nft
-  nftComponentSchema,
+export const sliceValueSchema = z.object({
+  type: z.literal('slice'),
+  value: z.union([simpleValueSchema, splitValueSchema]),
+  start: z.number().int().optional(),
+  end: z.number().int().optional(),
+})
+
+export const mathValueSchema = z.object({
+  type: z.literal('math'),
+  values: z
+    .array(
+      z.union([
+        z.literal('+'),
+        z.literal('-'),
+        z.literal('*'),
+        z.literal('/'),
+        simpleValueSchema,
+        splitValueSchema,
+        sliceValueSchema,
+      ]),
+    )
+    .min(3),
+})
+
+export const joinValueSchema = z.object({
+  type: z.literal('join'),
+  values: z
+    .array(
+      z.union([
+        simpleValueSchema,
+        splitValueSchema,
+        sliceValueSchema,
+        mathValueSchema,
+      ]),
+    )
+    .min(1),
+})
+
+export const allValueSchema = z.union([
+  simpleValueSchema,
+  splitValueSchema,
+  sliceValueSchema,
+  mathValueSchema,
+  joinValueSchema,
 ])
 
-export const amountComponentSchema = z.union([
-  /** column から値代入 / 絶対値で代入 */
+export const patternSchema = z.union([
+  // string
   z.string(),
-  /** 複数の column に四則演算追加 */
+  // defined
   z.object({
-    type: z.union([
-      z.literal('plus'),
-      z.literal('minus'),
-      z.literal('times'),
-      z.literal('divide'),
-    ]),
-    columns: z.array(z.string()).min(2),
+    type: z.literal('defined'),
+  }),
+  // undefined
+  z.object({
+    type: z.literal('undefined'),
+  }),
+  // in
+  z.object({
+    type: z.literal('in'),
+    values: z.array(z.string()),
+  }),
+  // not-in
+  z.object({
+    type: z.literal('not-in'),
+    values: z.array(z.string()),
   }),
 ])
 
+export const conditionSchema = z.object({
+  value: allValueSchema,
+  pattern: patternSchema,
+})
+
+export const targetConditionSchema = z.object({
+  column: z.string(),
+  pattern: patternSchema,
+})
+
+const amountTextSchema = z.object({
+  type: z.literal('text'),
+  value: allValueSchema,
+})
+
+const amountDecimalSchema = z.object({
+  type: z.literal('decimal'),
+  value: allValueSchema,
+  decimals: indexSchema,
+})
+
+export const amountSchema = z.union([amountTextSchema, amountDecimalSchema])
+
+/** value param から取得した値を symbol として持つ時価総額最大の crypto, fiat を取得 / symbolAssetMap に一致する値があればそれを優先取得 */
+export const assetSymbolSchema = z.object({
+  type: z.literal('symbol'),
+  value: allValueSchema,
+})
+
+/** value param から取得した値を splitter で type と id に分割して asset を生成 */
+export const assetIdSchema = z.object({
+  type: z.literal('id'),
+  value: allValueSchema,
+  splitter: z.string(),
+})
+
+export const assetSchema = z.union([assetSymbolSchema, assetIdSchema])
+
 export const transferComponentSchema = z.object({
-  direction: z.union([z.literal('in'), z.literal('out')]),
-  amount: amountComponentSchema,
-  asset: assetComponentSchema,
+  /** 全ての target condition に合致する行毎に transfer 生成  */
+  target: z.array(targetConditionSchema).min(1).optional(),
+  direction: z.union([z.literal('in'), z.literal('out'), z.literal('none')]),
+  from: allValueSchema.optional(),
+  to: allValueSchema.optional(),
+  amount: amountSchema,
+  asset: assetSchema,
 })
 
-// 同一の row でも、 action type によって処理が変わるのでは？
-// 条件を提示して、その条件に合致した場合はこの action を生成する的なルールにした方が良いかも
+const generatorSchema = z.object({
+  type: actionTypeUnionSchema,
+  source: allValueSchema,
+  timestamp: cellValueSchema,
+  comment: allValueSchema.optional(),
+  app: allValueSchema.optional(),
+  crossId: allValueSchema.optional(),
+  crossType: actionCrossTypeUnionSchema.optional(),
+  loanId: allValueSchema.optional(),
+  target: assetIdSchema.optional(),
+  transfers: z.array(transferComponentSchema),
+})
 
 export const parserSchema = z.object({
-  conditions: z.array(conditionComponentSchema),
-  action: actionTypeUnionSchema,
-  /** 指定した値群を結合して作成したテキストを代入 */
-  source: z.array(textComponentSchema),
-  /** 指定した column の値を timestamp に代入 */
-  timestamp: z.string(),
-  /** 指定した値群を結合して作成したテキストを代入 */
-  comment: z.array(textComponentSchema).optional(),
-  transfers: z.array(transferComponentSchema),
-  /** 指定した値群を結合して作成したテキストを代入 */
-  crossId: z.array(textComponentSchema).optional(),
-  crossType: z
-    .union([z.literal('start'), z.literal('middle'), z.literal('end')])
-    .optional(),
-  /** 指定した値群を結合して作成したテキストを代入 */
-  loanId: z.array(textComponentSchema).optional(),
-  target: nftComponentSchema.optional(),
+  conditions: z.array(conditionSchema),
+  generators: z.array(generatorSchema),
 })
 
-export const parsersSchema = z.array(parserSchema)
+export const parsersWithKeySchema = z.object({
+  /** 指定した columns の値が一致する行を統合して分析 */
+  key: z.array(z.string()).min(1).optional(),
+  parsers: z.array(parserSchema),
+})

package/tests/assets.ts

@@ -14,7 +14,7 @@ export const testCryptoCurrencies: CryptoCurrency[] = [
       marketCapUsd: 1_205_095_120_187,
     },
     priceDatasourceId: undefined,
-    updatedAt: Date.now(),
+    updatedAt: 1_715_490_000_000,
   },
   {
     ...ethereum,
@@ -22,6 +22,7 @@ export const testCryptoCurrencies: CryptoCurrency[] = [
       ...ethereum.market,
       marketCapUsd: 352_453_045_218,
     },
+    updatedAt: 1_715_490_000_000,
   },
 ]
 

package/tests/coincheck-standard.csv

@@ -2,16 +2,6 @@
 2021/07/28 23:36:54,入金,,,JPY,260000.0,,,,,,,,,関東財務局長 第00014号,コインチェック株式会社,
 2021/07/28 23:38:14,購入,自己,ETH/JPY,ETH,0.99656,JPY,260000.0,260000.0,260897.48735651,,,,,関東財務局長 第00014号,コインチェック株式会社,
 2021/07/28 23:51:17,送付,,,,,ETH,0.99156,,,ETH,0.005,,0xF9b5E1202AC637BcfED4EEd026086531c5847D00,関東財務局長 第00014号,コインチェック株式会社,
-2021/07/31 10:16:18,入金,,,JPY,2500000.0,,,,,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/07/31 11:08:48,購入,自己,ETH/JPY,ETH,8.9589,JPY,2500000.0,2500000.0,279052.11577314,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/07/31 11:20:59,送付,,,,,ETH,8.9539,,,ETH,0.005,,0xF9b5E1202AC637BcfED4EEd026086531c5847D00,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:25:54,入金,,,JPY,5000000.0,,,,,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.05229,JPY,277980.01938,277980.01938,5316122.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
 2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.01,JPY,53161.45,53161.45,5316145.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.41386996,JPY,2200430.6937312,2200430.6937312,5316720.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
 2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.03,JPY,159510.0,159510.0,5317000.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.05126,JPY,272549.42,272549.42,5317000.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.05631,JPY,299400.27,299400.27,5317000.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 10:46:17,購入,媒介,BTC/JPY,BTC,0.32664995,JPY,1736797.78415,1736797.78415,5317000.0,,,,,関東財務局長 第00014号,コインチェック株式会社,
 2021/10/04 11:46:50,送付,,,,,BTC,0.001,,,BTC,0.0005,,1Ni8NuJrBmRvpctKcd516GYpUuxNoEis4R,関東財務局長 第00014号,コインチェック株式会社,
-2021/10/04 11:58:31,送付,,,,,BTC,0.93837991,,,BTC,0.0005,,1Ni8NuJrBmRvpctKcd516GYpUuxNoEis4R,関東財務局長 第00014号,コインチェック株式会社,

package/tests/coincheck.ts

@@ -18,120 +18,210 @@ export const coincheckStandardFormat = {
     送付先アドレス: ['string'],
     備考: ['string'],
   },
-  parsers: [
-    {
-      conditions: [
-        {
-          column: '取引種別',
-          pattern: {
-            type: 'in',
-            values: ['購入', '売却', '交換'],
+  parser: {
+    parsers: [
+      {
+        conditions: [
+          {
+            value: {
+              type: 'cell',
+              column: '取引種別',
+              row: 0,
+            },
+            pattern: {
+              type: 'in',
+              values: ['購入', '売却', '交換'],
+            },
           },
-        },
-        {
-          column: '増加通貨名',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '増加通貨名',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-        {
-          column: '増加数量',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '増加数量',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-        {
-          column: '減少通貨名',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '減少通貨名',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-        {
-          column: '減少数量',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '減少数量',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-      ],
-      action: 'trade',
-      source: [
-        'coincheck_',
-        {
-          type: 'column',
-          column: '取引日時',
-        },
-      ],
-      timestamp: '取引日時',
-      comment: [
-        {
-          type: 'column',
-          column: '備考',
-        },
-      ],
-      transfers: [
-        {
-          direction: 'in',
-          amount: '増加数量',
-          asset: {
-            type: 'column',
-            column: '増加通貨名',
+        ],
+        generators: [
+          {
+            type: 'trade',
+            source: {
+              type: 'join',
+              values: [
+                { type: 'service' },
+                '_',
+                {
+                  type: 'cell',
+                  column: '取引日時',
+                  row: 0,
+                },
+              ],
+            },
+            timestamp: {
+              type: 'cell',
+              column: '取引日時',
+              row: 0,
+            },
+            comment: {
+              type: 'cell',
+              column: '備考',
+              row: 0,
+            },
+            transfers: [
+              {
+                direction: 'in',
+                amount: {
+                  type: 'text',
+                  value: {
+                    type: 'cell',
+                    column: '増加数量',
+                    row: 0,
+                  },
+                },
+                asset: {
+                  type: 'symbol',
+                  value: {
+                    type: 'cell',
+                    column: '増加通貨名',
+                    row: 0,
+                  },
+                },
+              },
+              {
+                direction: 'out',
+                amount: {
+                  type: 'text',
+                  value: {
+                    type: 'cell',
+                    column: '減少数量',
+                    row: 0,
+                  },
+                },
+                asset: {
+                  type: 'symbol',
+                  value: {
+                    type: 'cell',
+                    column: '減少通貨名',
+                    row: 0,
+                  },
+                },
+              },
+            ],
           },
-        },
-        {
-          direction: 'out',
-          amount: '減少数量',
-          asset: {
-            type: 'column',
-            column: '減少通貨名',
+        ],
+      },
+      {
+        conditions: [
+          {
+            value: {
+              type: 'cell',
+              column: '取引種別',
+              row: 0,
+            },
+            pattern: '送付',
           },
-        },
-      ],
-    },
-    {
-      conditions: [
-        {
-          column: '取引種別',
-          pattern: '送付',
-        },
-        {
-          column: '手数料通貨',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '手数料通貨',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-        {
-          column: '手数料数量',
-          pattern: {
-            type: 'defined',
+          {
+            value: {
+              type: 'cell',
+              column: '手数料数量',
+              row: 0,
+            },
+            pattern: {
+              type: 'defined',
+            },
           },
-        },
-      ],
-      action: 'fee',
-      source: [
-        'coincheck_',
-        {
-          type: 'column',
-          column: '取引日時',
-        },
-      ],
-      timestamp: '取引日時',
-      comment: [
-        'Transfer to ',
-        {
-          type: 'column',
-          column: '送付先アドレス',
-        },
-      ],
-      transfers: [
-        {
-          direction: 'out',
-          amount: '手数料数量',
-          asset: {
-            type: 'column',
-            column: '手数料通貨',
+        ],
+        generators: [
+          {
+            type: 'fee',
+            source: {
+              type: 'join',
+              values: [
+                { type: 'service' },
+                '_',
+                {
+                  type: 'cell',
+                  column: '取引日時',
+                  row: 0,
+                },
+              ],
+            },
+            timestamp: {
+              type: 'cell',
+              column: '取引日時',
+              row: 0,
+            },
+            comment: {
+              type: 'cell',
+              column: '備考',
+              row: 0,
+            },
+            transfers: [
+              {
+                direction: 'out',
+                amount: {
+                  type: 'text',
+                  value: {
+                    type: 'cell',
+                    column: '手数料数量',
+                    row: 0,
+                  },
+                },
+                asset: {
+                  type: 'symbol',
+                  value: {
+                    type: 'cell',
+                    column: '手数料通貨',
+                    row: 0,
+                  },
+                },
+              },
+            ],
           },
-        },
-      ],
-    },
-  ],
+        ],
+      },
+    ],
+  },
 } satisfies CsvFormat

package/types.ts

@@ -2,7 +2,7 @@ import type { z } from 'zod'
 import type { csvFormatSchema } from './schemas'
 import type { formatterSchema } from './schemas/formatter'
 import type { formatterValueSchema } from './schemas/formatterTypes'
-import type { parserSchema } from './schemas/parser'
+import type { parsersWithKeySchema } from './schemas/parser'
 
 export type CsvFormat = z.infer<typeof csvFormatSchema>
 
@@ -14,4 +14,4 @@ export type FormattedRow = {
   [column: string]: FormatterValue
 }
 
-export type Parser = z.infer<typeof parserSchema>
+export type Parser = z.infer<typeof parsersWithKeySchema>

package/_cjs/parseCsvFileToAccountActions.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"parseCsvFileToAccountActions.js","sourceRoot":"","sources":["../parseCsvFileToAccountActions.ts"],"names":[],"mappings":";;;AAAA,wCAMsB;AACtB,mDAA+C;AAC/C,6DAAyD;AACzD,mEAA+D;AAC/D,iDAA6C;AAatC,MAAM,4BAA4B,GAAG,KAAK,EAAE,EACjD,IAAI,EACJ,MAAM,EAAE,EAAE,OAAO,EAAE,SAAS,EAAE,OAAO,EAAE,cAAc,EAAE,EACvD,SAAS,EACT,gBAAgB,EAChB,cAAc,EACd,IAAI,EACJ,wBAAwB,GACe,EAA8B,EAAE;IACvE,MAAM,IAAI,GAAG,MAAM,IAAA,uCAAkB,EAAC,IAAI,CAAC,CAAA;IAC3C,MAAM,IAAI,GAAG,IAAA,6BAAa,EAAC;QACzB,IAAI,EAAE,IAAA,2BAAY,EAAC,IAAI,CAAC;QACxB,SAAS;KACV,CAAC,CAAA;IACF,MAAM,OAAO,GAAG,IAAA,6CAAqB,EAAC;QACpC,IAAI;QACJ,OAAO;QACP,OAAO;QACP,cAAc;QACd,SAAS;QACT,gBAAgB;QAChB,cAAc;KACf,CAAC,CAAA;IACF,OAAO,MAAM,IAAA,sBAAe,EAAC;QAC3B,UAAU,EAAE,wBAAwB;QACpC,OAAO;QACP,IAAI;KACL,CAAC,CAAA;AACJ,CAAC,CAAA;AA5BY,QAAA,4BAA4B,gCA4BxC"}