@futdevpro/nts-dynamo 1.15.57 → 1.15.58

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (134) hide show
  1. package/.dynamo/logs/cicd-pipeline/output.log +1757 -3604
  2. package/.dynamo/logs/cicd-pipeline/status.json +43 -345
  3. package/build/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.d.ts +110 -0
  4. package/build/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.d.ts.map +1 -0
  5. package/build/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.js +419 -0
  6. package/build/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.js.map +1 -0
  7. package/build/_modules/ai/_modules/document-ai/_models/interfaces/dai-code-chunk.interface.d.ts +50 -0
  8. package/build/_modules/ai/_modules/document-ai/_models/interfaces/dai-code-chunk.interface.d.ts.map +1 -0
  9. package/build/_modules/ai/_modules/document-ai/_models/interfaces/dai-code-chunk.interface.js +3 -0
  10. package/build/_modules/ai/_modules/document-ai/_models/interfaces/dai-code-chunk.interface.js.map +1 -0
  11. package/build/_modules/ai/_modules/document-ai/index.d.ts +2 -0
  12. package/build/_modules/ai/_modules/document-ai/index.d.ts.map +1 -1
  13. package/build/_modules/ai/_modules/document-ai/index.js +2 -0
  14. package/build/_modules/ai/_modules/document-ai/index.js.map +1 -1
  15. package/build/_modules/ai/_services/ai-embedding-mock.service.d.ts +81 -0
  16. package/build/_modules/ai/_services/ai-embedding-mock.service.d.ts.map +1 -0
  17. package/build/_modules/ai/_services/ai-embedding-mock.service.js +167 -0
  18. package/build/_modules/ai/_services/ai-embedding-mock.service.js.map +1 -0
  19. package/build/_modules/ai/_services/ai-embedding-provider.registry.d.ts +52 -0
  20. package/build/_modules/ai/_services/ai-embedding-provider.registry.d.ts.map +1 -0
  21. package/build/_modules/ai/_services/ai-embedding-provider.registry.js +79 -0
  22. package/build/_modules/ai/_services/ai-embedding-provider.registry.js.map +1 -0
  23. package/build/_modules/ai/_services/lmstudio-embedding.control-service.d.ts +111 -0
  24. package/build/_modules/ai/_services/lmstudio-embedding.control-service.d.ts.map +1 -0
  25. package/build/_modules/ai/_services/lmstudio-embedding.control-service.js +298 -0
  26. package/build/_modules/ai/_services/lmstudio-embedding.control-service.js.map +1 -0
  27. package/build/_modules/ai/index.d.ts +3 -0
  28. package/build/_modules/ai/index.d.ts.map +1 -1
  29. package/build/_modules/ai/index.js +4 -0
  30. package/build/_modules/ai/index.js.map +1 -1
  31. package/build/_modules/data-readers/_collections/dynts-sqlite-reader.util.d.ts +59 -0
  32. package/build/_modules/data-readers/_collections/dynts-sqlite-reader.util.d.ts.map +1 -0
  33. package/build/_modules/data-readers/_collections/dynts-sqlite-reader.util.js +169 -0
  34. package/build/_modules/data-readers/_collections/dynts-sqlite-reader.util.js.map +1 -0
  35. package/build/_modules/data-readers/_models/interfaces/dynts-sqlite-reader.interface.d.ts +32 -0
  36. package/build/_modules/data-readers/_models/interfaces/dynts-sqlite-reader.interface.d.ts.map +1 -0
  37. package/build/_modules/data-readers/_models/interfaces/dynts-sqlite-reader.interface.js +8 -0
  38. package/build/_modules/data-readers/_models/interfaces/dynts-sqlite-reader.interface.js.map +1 -0
  39. package/build/_modules/data-readers/index.d.ts +3 -0
  40. package/build/_modules/data-readers/index.d.ts.map +1 -0
  41. package/build/_modules/data-readers/index.js +11 -0
  42. package/build/_modules/data-readers/index.js.map +1 -0
  43. package/build/_modules/local-vector-search/_models/data-models/lvs-vector-persist.data-model.d.ts +36 -0
  44. package/build/_modules/local-vector-search/_models/data-models/lvs-vector-persist.data-model.d.ts.map +1 -0
  45. package/build/_modules/local-vector-search/_models/data-models/lvs-vector-persist.data-model.js +54 -0
  46. package/build/_modules/local-vector-search/_models/data-models/lvs-vector-persist.data-model.js.map +1 -0
  47. package/build/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.d.ts +70 -0
  48. package/build/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.d.ts.map +1 -0
  49. package/build/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.js +123 -0
  50. package/build/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.js.map +1 -0
  51. package/build/_modules/local-vector-search/_services/lvs-vector-persist.data-service.d.ts +43 -0
  52. package/build/_modules/local-vector-search/_services/lvs-vector-persist.data-service.d.ts.map +1 -0
  53. package/build/_modules/local-vector-search/_services/lvs-vector-persist.data-service.js +72 -0
  54. package/build/_modules/local-vector-search/_services/lvs-vector-persist.data-service.js.map +1 -0
  55. package/build/_modules/local-vector-search/index.d.ts +3 -0
  56. package/build/_modules/local-vector-search/index.d.ts.map +1 -1
  57. package/build/_modules/local-vector-search/index.js +4 -0
  58. package/build/_modules/local-vector-search/index.js.map +1 -1
  59. package/build/_modules/mcp/_models/interfaces/dynts-mcp.interface.d.ts +109 -0
  60. package/build/_modules/mcp/_models/interfaces/dynts-mcp.interface.d.ts.map +1 -0
  61. package/build/_modules/mcp/_models/interfaces/dynts-mcp.interface.js +14 -0
  62. package/build/_modules/mcp/_models/interfaces/dynts-mcp.interface.js.map +1 -0
  63. package/build/_modules/mcp/_services/dynts-mcp-server.service-base.d.ts +71 -0
  64. package/build/_modules/mcp/_services/dynts-mcp-server.service-base.d.ts.map +1 -0
  65. package/build/_modules/mcp/_services/dynts-mcp-server.service-base.js +99 -0
  66. package/build/_modules/mcp/_services/dynts-mcp-server.service-base.js.map +1 -0
  67. package/build/_modules/mcp/_services/dynts-mcp.adapter.d.ts +57 -0
  68. package/build/_modules/mcp/_services/dynts-mcp.adapter.d.ts.map +1 -0
  69. package/build/_modules/mcp/_services/dynts-mcp.adapter.js +134 -0
  70. package/build/_modules/mcp/_services/dynts-mcp.adapter.js.map +1 -0
  71. package/build/_modules/mcp/index.d.ts +4 -0
  72. package/build/_modules/mcp/index.d.ts.map +1 -0
  73. package/build/_modules/mcp/index.js +13 -0
  74. package/build/_modules/mcp/index.js.map +1 -0
  75. package/build/_modules/scoped-config/_enums/dynts-scoped-config-level.enum.d.ts +19 -0
  76. package/build/_modules/scoped-config/_enums/dynts-scoped-config-level.enum.d.ts.map +1 -0
  77. package/build/_modules/scoped-config/_enums/dynts-scoped-config-level.enum.js +23 -0
  78. package/build/_modules/scoped-config/_enums/dynts-scoped-config-level.enum.js.map +1 -0
  79. package/build/_modules/scoped-config/_models/data-models/dynts-scoped-config.data-model.d.ts +44 -0
  80. package/build/_modules/scoped-config/_models/data-models/dynts-scoped-config.data-model.d.ts.map +1 -0
  81. package/build/_modules/scoped-config/_models/data-models/dynts-scoped-config.data-model.js +68 -0
  82. package/build/_modules/scoped-config/_models/data-models/dynts-scoped-config.data-model.js.map +1 -0
  83. package/build/_modules/scoped-config/_models/interfaces/dynts-scoped-config.interface.d.ts +89 -0
  84. package/build/_modules/scoped-config/_models/interfaces/dynts-scoped-config.interface.d.ts.map +1 -0
  85. package/build/_modules/scoped-config/_models/interfaces/dynts-scoped-config.interface.js +3 -0
  86. package/build/_modules/scoped-config/_models/interfaces/dynts-scoped-config.interface.js.map +1 -0
  87. package/build/_modules/scoped-config/_services/dynts-scoped-config.control-service.d.ts +84 -0
  88. package/build/_modules/scoped-config/_services/dynts-scoped-config.control-service.d.ts.map +1 -0
  89. package/build/_modules/scoped-config/_services/dynts-scoped-config.control-service.js +220 -0
  90. package/build/_modules/scoped-config/_services/dynts-scoped-config.control-service.js.map +1 -0
  91. package/build/_modules/scoped-config/_services/dynts-scoped-config.data-service.d.ts +54 -0
  92. package/build/_modules/scoped-config/_services/dynts-scoped-config.data-service.d.ts.map +1 -0
  93. package/build/_modules/scoped-config/_services/dynts-scoped-config.data-service.js +76 -0
  94. package/build/_modules/scoped-config/_services/dynts-scoped-config.data-service.js.map +1 -0
  95. package/build/_modules/scoped-config/index.d.ts +6 -0
  96. package/build/_modules/scoped-config/index.d.ts.map +1 -0
  97. package/build/_modules/scoped-config/index.js +15 -0
  98. package/build/_modules/scoped-config/index.js.map +1 -0
  99. package/package.json +58 -2
  100. package/pnpm-workspace.yaml +1 -0
  101. package/src/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.spec.ts +295 -0
  102. package/src/_modules/ai/_modules/document-ai/_collections/dai-code-chunking.util.ts +520 -0
  103. package/src/_modules/ai/_modules/document-ai/_models/interfaces/dai-code-chunk.interface.ts +68 -0
  104. package/src/_modules/ai/_modules/document-ai/index.ts +2 -0
  105. package/src/_modules/ai/_services/ai-embedding-mock.service.spec.ts +115 -0
  106. package/src/_modules/ai/_services/ai-embedding-mock.service.ts +219 -0
  107. package/src/_modules/ai/_services/ai-embedding-provider.registry.spec.ts +110 -0
  108. package/src/_modules/ai/_services/ai-embedding-provider.registry.ts +110 -0
  109. package/src/_modules/ai/_services/lmstudio-embedding.control-service.spec.ts +197 -0
  110. package/src/_modules/ai/_services/lmstudio-embedding.control-service.ts +378 -0
  111. package/src/_modules/ai/index.ts +5 -0
  112. package/src/_modules/data-readers/_collections/dynts-sqlite-reader.util.spec.ts +161 -0
  113. package/src/_modules/data-readers/_collections/dynts-sqlite-reader.util.ts +192 -0
  114. package/src/_modules/data-readers/_models/interfaces/dynts-sqlite-reader.interface.ts +33 -0
  115. package/src/_modules/data-readers/index.ts +11 -0
  116. package/src/_modules/local-vector-search/_models/data-models/lvs-vector-persist.data-model.ts +59 -0
  117. package/src/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.spec.ts +198 -0
  118. package/src/_modules/local-vector-search/_services/lvs-persistent-vector-pool.control-service.ts +146 -0
  119. package/src/_modules/local-vector-search/_services/lvs-vector-persist.data-service.spec.ts +167 -0
  120. package/src/_modules/local-vector-search/_services/lvs-vector-persist.data-service.ts +106 -0
  121. package/src/_modules/local-vector-search/index.ts +6 -1
  122. package/src/_modules/mcp/_models/interfaces/dynts-mcp.interface.ts +111 -0
  123. package/src/_modules/mcp/_services/dynts-mcp-server.service-base.spec.ts +142 -0
  124. package/src/_modules/mcp/_services/dynts-mcp-server.service-base.ts +120 -0
  125. package/src/_modules/mcp/_services/dynts-mcp.adapter.ts +157 -0
  126. package/src/_modules/mcp/index.ts +13 -0
  127. package/src/_modules/scoped-config/_enums/dynts-scoped-config-level.enum.ts +22 -0
  128. package/src/_modules/scoped-config/_models/data-models/dynts-scoped-config.data-model.ts +81 -0
  129. package/src/_modules/scoped-config/_models/interfaces/dynts-scoped-config.interface.ts +109 -0
  130. package/src/_modules/scoped-config/_services/dynts-scoped-config.control-service.spec.ts +306 -0
  131. package/src/_modules/scoped-config/_services/dynts-scoped-config.control-service.ts +295 -0
  132. package/src/_modules/scoped-config/_services/dynts-scoped-config.data-service.spec.ts +118 -0
  133. package/src/_modules/scoped-config/_services/dynts-scoped-config.data-service.ts +105 -0
  134. package/src/_modules/scoped-config/index.ts +17 -0
@@ -0,0 +1,520 @@
1
+ import * as ts from 'typescript';
2
+ import { DyFM_Log } from '@futdevpro/fsm-dynamo';
3
+ import { DyNTS_DAI_CodeChunk, DyNTS_DAI_CodeChunkType } from '../_models/interfaces/dai-code-chunk.interface';
4
+
5
+ /** A kód-chunker méret-paraméterei (a FAM/CCAP konstansokkal egyező default-ok). */
6
+ export interface DyNTS_DAI_CodeChunking_Options {
7
+ /** Max chunk-méret karakterben (e fölött sliding-window sub-split). Default: 1500. */
8
+ maxChunkSize?: number;
9
+ /** Overlap karakterben a nagy-node sliding-window-ban. Default: 100. */
10
+ overlap?: number;
11
+ /** Minimum chunk-méret (ennél kisebb chunk-ot eldobunk a zaj ellen). Default: 50. */
12
+ minChunkSize?: number;
13
+ }
14
+
15
+ /** Belső, normalizált méret-konfiguráció (a default-ok feloldása után). */
16
+ interface DyNTS_DAI_CodeChunking_Sizing {
17
+ maxChunkSize: number;
18
+ overlap: number;
19
+ minChunkSize: number;
20
+ }
21
+
22
+ /**
23
+ * Belső, AST-ből kinyert szemantikus blokk (a chunkká alakítás előtti közbenső reprezentáció).
24
+ */
25
+ interface DyNTS_DAI_CodeBlock {
26
+ /** A node forrás-szövege (JSDoc + dekorátorok kezdetétől a node végéig). */
27
+ text: string;
28
+ /** A chunk szemantikus típusa. */
29
+ chunkType: DyNTS_DAI_CodeChunkType;
30
+ /** A symbol-lánc szegmensei (pl. `['class:Foo', 'method:bar']`). */
31
+ symbolSegments: string[];
32
+ /** A legbelső symbol neve, ha van. */
33
+ symbolName?: string;
34
+ /** Karakter-kezdőpozíció a forrásban (0-alapú, inkluzív; JSDoc-ot is tartalmazza). */
35
+ charStart: number;
36
+ /** Karakter-végpozíció a forrásban (0-alapú, exkluzív). */
37
+ charEnd: number;
38
+ }
39
+
40
+ /**
41
+ * `DyNTS_DAI_CodeChunking_Util` (BFR-AM-005) — **AST-pontos** TypeScript/JavaScript kód-chunker
42
+ * a TypeScript Compiler API-val (`ts.createSourceFile`). A FAM `FAM_TsChunker_Util` regex/brace-depth
43
+ * workaround-jának **bedrock-szintű, durable** változata: a `{`/`}` számolás helyett a valódi
44
+ * szintaxisfát járja be, így string-literálban / template-literálban / comment-ben lévő zárójelek
45
+ * NEM tévesztik meg.
46
+ *
47
+ * **Chunkolási stratégia (top-level node-onként, egy chunk per szemantikus egység):**
48
+ * - **import-group** — az összes egymást követő top-level `import` / `export ... from` egy chunkba
49
+ * (a köztük lévő üres sorokkal együtt).
50
+ * - **class** — ha belefér a `maxChunkSize`-ba, az egész osztály egy chunk (dekorátorok + JSDoc-cal);
51
+ * ha NEM fér bele, **metódusonként** bomlik (osztály-fej + minden metódus külön chunk, a
52
+ * `class:Foo > method:bar` symbol-lánccal).
53
+ * - **interface / enum / type-alias / standalone function / top-level const(=>fn/value)** — egy chunk
54
+ * per deklaráció.
55
+ * - **nagy node** (a fentiek közül bármelyik, ami a metódus-bontás UTÁN is `maxChunkSize` fölötti) →
56
+ * karakter-alapú **sliding-window** sub-split (örökölt `chunkType` + symbol-lánc, `subChunkIndex`-szel).
57
+ * - **tiny / parse-degenerált tartalom** → egyetlen `fallback` chunk (a teljes forrás), hogy soha
58
+ * ne vesszen el tartalom.
59
+ *
60
+ * A JSDoc + `@Decorator` MINDIG a következő node-dal együtt marad (a `node.getStart(sf, true)` a
61
+ * leading-JSDoc elejétől indul, a `ts.getDecorators` a node része).
62
+ *
63
+ * **headingPath = kód-symbol-lánc** (a markdown-chunker heading-láncának kód-megfelelője):
64
+ * `symbolPath` = a szegmensek ` > `-rel összefűzve.
65
+ */
66
+ export class DyNTS_DAI_CodeChunking_Util {
67
+
68
+ /** A FAM/CCAP-egyeztetett default méret-konstansok. */
69
+ private static readonly DEFAULT_MAX_CHUNK_SIZE: number = 1500;
70
+ private static readonly DEFAULT_OVERLAP: number = 100;
71
+ private static readonly DEFAULT_MIN_CHUNK_SIZE: number = 50;
72
+
73
+ /**
74
+ * Egy TS/JS forrás chunkolása szemantikus blokkok mentén a TS Compiler API AST-jával.
75
+ * Üres / whitespace-only tartalom → üres lista. A `maxChunkSize` fölötti node-ok sliding-window-ra
76
+ * bomlanak; a degenerált (parse-hiba / 0 blokk) esetet egyetlen `fallback` chunk fedi.
77
+ *
78
+ * @param code - A forráskód.
79
+ * @param opts - Méret-paraméterek (default 1500/100/50).
80
+ * @returns A szemantikus kód-chunkok listája (0-alapú `chunkIndex`-szel).
81
+ */
82
+ static chunkTs(code: string, opts?: DyNTS_DAI_CodeChunking_Options): DyNTS_DAI_CodeChunk[] {
83
+ if (!code || !code.trim()) {
84
+ return [];
85
+ }
86
+
87
+ const sizing: DyNTS_DAI_CodeChunking_Sizing = this.resolveSizing(opts);
88
+
89
+ let blocks: DyNTS_DAI_CodeBlock[] = [];
90
+ try {
91
+ const sourceFile: ts.SourceFile = ts.createSourceFile(
92
+ 'chunk-input.ts',
93
+ code,
94
+ ts.ScriptTarget.Latest,
95
+ /* setParentNodes */ true,
96
+ ts.ScriptKind.TSX
97
+ );
98
+ blocks = this.identifyBlocks(sourceFile, code, sizing);
99
+ } catch (error) {
100
+ // Parse-hiba (degenerált forrás) → a tiny-fallback veszi át lentebb.
101
+ DyFM_Log.warn('DyNTS_DAI_CodeChunking_Util.chunkTs: AST parse failed, using fallback chunk', {
102
+ error: (error as Error)?.message,
103
+ });
104
+ blocks = [];
105
+ }
106
+
107
+ // Tiny / degenerált esetek: ha nincs azonosított blokk, vagy a teljes forrás kicsi → egyetlen
108
+ // fallback chunk (soha ne vesszen el tartalom).
109
+ if (!blocks.length) {
110
+ return this.buildFallbackChunks(code, sizing);
111
+ }
112
+
113
+ // A sor-pozíciókhoz a teljes forrás sortörés-offszetjei (egyszer számolva).
114
+ const lineStartOffsets: number[] = this.computeLineStartOffsets(code);
115
+
116
+ const chunks: DyNTS_DAI_CodeChunk[] = [];
117
+ for (const block of blocks) {
118
+ // Zaj-szűrés: CSAK a névtelen `generic` blokkokat dobjuk a minChunkSize alatt. A nevesített
119
+ // szemantikus deklarációk (type-alias / rövid function / class-fej / metódus / interface /
120
+ // enum / variable) MINDIG saját chunkot kapnak, méretüktől függetlenül — egy `type Id = string`
121
+ // teljes értékű egység. Az import-csoport sosem esik ki.
122
+ if (block.chunkType === 'generic' && block.text.trim().length < sizing.minChunkSize) {
123
+ continue;
124
+ }
125
+
126
+ if (block.text.length <= sizing.maxChunkSize) {
127
+ chunks.push(this.blockToChunk(block, chunks.length, lineStartOffsets));
128
+ continue;
129
+ }
130
+
131
+ // Túl nagy node → karakter-alapú sliding-window sub-split (örökölt symbol-lánc + chunkType).
132
+ this.splitLargeBlock(block, sizing, chunks, lineStartOffsets);
133
+ }
134
+
135
+ // Ha minden blokk kiesett a minChunkSize-szűrőn (pl. sok apró egysoros), essünk vissza a
136
+ // fallback-re, hogy ne adjunk vissza üres listát nem-üres bemenetre.
137
+ if (!chunks.length) {
138
+ return this.buildFallbackChunks(code, sizing);
139
+ }
140
+
141
+ return chunks;
142
+ }
143
+
144
+ /**
145
+ * Dispatcher: a `filename` kiterjesztése alapján a `.ts/.tsx/.js/.jsx/.mts/.cts/.mjs/.cjs`
146
+ * forrásokat az AST-chunkerre (`chunkTs`), minden mást (pl. `.md`) az adott formátum nyers
147
+ * sliding-fallback-jére irányít. A markdown-specifikus chunkolás a `DyNTS_DAI_DocChunking_Util`
148
+ * felelőssége (page-modell + parent-hierarchia kell hozzá), ezért azt itt NEM hívjuk —
149
+ * additív marad. Nem-kód input → `fallback` chunk a tartalom megőrzéséhez.
150
+ *
151
+ * @param content - A fájl tartalma.
152
+ * @param filename - A fájlnév (a kiterjesztés-alapú routinghoz).
153
+ * @param opts - Méret-paraméterek.
154
+ */
155
+ static chunk(content: string, filename: string, opts?: DyNTS_DAI_CodeChunking_Options): DyNTS_DAI_CodeChunk[] {
156
+ if (this.isTsLike(filename)) {
157
+ return this.chunkTs(content, opts);
158
+ }
159
+ // Nem-kód (pl. .md / .txt / ismeretlen): nyers fallback chunkok — a tartalmat megőrizzük,
160
+ // de NEM próbáljuk szemantikusan darabolni (a markdown-darabolás külön util-é).
161
+ if (!content || !content.trim()) {
162
+ return [];
163
+ }
164
+ return this.buildFallbackChunks(content, this.resolveSizing(opts));
165
+ }
166
+
167
+ /** `true`, ha a fájlnév TS/JS-szerű (a `chunkTs` AST-parsere tudja kezelni). */
168
+ private static isTsLike(filename: string): boolean {
169
+ return /\.(ts|tsx|mts|cts|js|jsx|mjs|cjs)$/i.test(filename || '');
170
+ }
171
+
172
+ /** A default-ok feloldása (1500/100/50) + sanity-clamp. */
173
+ private static resolveSizing(opts?: DyNTS_DAI_CodeChunking_Options): DyNTS_DAI_CodeChunking_Sizing {
174
+ const maxChunkSize: number = Math.max(1, opts?.maxChunkSize ?? this.DEFAULT_MAX_CHUNK_SIZE);
175
+ const overlap: number = Math.max(0, Math.min(opts?.overlap ?? this.DEFAULT_OVERLAP, maxChunkSize - 1));
176
+ const minChunkSize: number = Math.max(0, opts?.minChunkSize ?? this.DEFAULT_MIN_CHUNK_SIZE);
177
+ return { maxChunkSize: maxChunkSize, overlap: overlap, minChunkSize: minChunkSize };
178
+ }
179
+
180
+ /**
181
+ * AST-bejárás: a `SourceFile` top-level statement-jeit szemantikus blokkokká alakítja. Az
182
+ * egymást követő import-okat egy `imports` blokkba vonja össze. A `maxChunkSize` fölötti
183
+ * osztályt metódusonként bontja.
184
+ */
185
+ private static identifyBlocks(
186
+ sourceFile: ts.SourceFile,
187
+ code: string,
188
+ sizing: DyNTS_DAI_CodeChunking_Sizing
189
+ ): DyNTS_DAI_CodeBlock[] {
190
+ const blocks: DyNTS_DAI_CodeBlock[] = [];
191
+
192
+ // -- Import-csoport összevonás --
193
+ let importStart: number = -1;
194
+ let importEnd: number = -1;
195
+
196
+ const flushImports: () => void = () => {
197
+ if (importStart < 0) {
198
+ return;
199
+ }
200
+ const text: string = code.substring(importStart, importEnd);
201
+ if (text.trim().length) {
202
+ blocks.push({
203
+ text: text,
204
+ chunkType: 'imports',
205
+ symbolSegments: [],
206
+ symbolName: undefined,
207
+ charStart: importStart,
208
+ charEnd: importEnd,
209
+ });
210
+ }
211
+ importStart = -1;
212
+ importEnd = -1;
213
+ };
214
+
215
+ for (const statement of sourceFile.statements) {
216
+ if (this.isImportLike(statement)) {
217
+ const start: number = statement.getStart(sourceFile, /* includeJsDocComment */ true);
218
+ if (importStart < 0) {
219
+ importStart = start;
220
+ }
221
+ importEnd = statement.getEnd();
222
+ continue;
223
+ }
224
+
225
+ // Más jött → import-csoport lezárása.
226
+ flushImports();
227
+
228
+ const detected: { chunkType: DyNTS_DAI_CodeChunkType; name?: string } = this.detectDeclaration(statement);
229
+ const start: number = statement.getStart(sourceFile, /* includeJsDocComment */ true);
230
+ const end: number = statement.getEnd();
231
+ const text: string = code.substring(start, end);
232
+ const symbolSegments: string[] = detected.name ? [`${detected.chunkType}:${detected.name}`] : [];
233
+
234
+ // Nagy osztály → metódusonkénti bontás (osztály-fej + metódusok).
235
+ if (ts.isClassDeclaration(statement) && text.length > sizing.maxChunkSize) {
236
+ this.splitClassByMethods(statement, sourceFile, code, detected.name, blocks);
237
+ continue;
238
+ }
239
+
240
+ blocks.push({
241
+ text: text,
242
+ chunkType: detected.chunkType,
243
+ symbolSegments: symbolSegments,
244
+ symbolName: detected.name,
245
+ charStart: start,
246
+ charEnd: end,
247
+ });
248
+ }
249
+
250
+ // Maradék import-csoport (ha a fájl import-tal végződik).
251
+ flushImports();
252
+
253
+ return blocks;
254
+ }
255
+
256
+ /** `true`, ha a statement import / re-export (`export ... from`) — az import-csoporthoz. */
257
+ private static isImportLike(statement: ts.Statement): boolean {
258
+ if (ts.isImportDeclaration(statement) || ts.isImportEqualsDeclaration(statement)) {
259
+ return true;
260
+ }
261
+ // `export { ... } from '...'` / `export * from '...'` — csak ha van moduleSpecifier.
262
+ if (ts.isExportDeclaration(statement) && !!statement.moduleSpecifier) {
263
+ return true;
264
+ }
265
+ return false;
266
+ }
267
+
268
+ /** Egy top-level statement → szemantikus chunk-típus + symbol-név. */
269
+ private static detectDeclaration(statement: ts.Statement): { chunkType: DyNTS_DAI_CodeChunkType; name?: string } {
270
+ if (ts.isClassDeclaration(statement)) {
271
+ return { chunkType: 'class', name: statement.name?.getText() };
272
+ }
273
+ if (ts.isInterfaceDeclaration(statement)) {
274
+ return { chunkType: 'interface', name: statement.name.getText() };
275
+ }
276
+ if (ts.isEnumDeclaration(statement)) {
277
+ return { chunkType: 'enum', name: statement.name.getText() };
278
+ }
279
+ if (ts.isTypeAliasDeclaration(statement)) {
280
+ return { chunkType: 'type', name: statement.name.getText() };
281
+ }
282
+ if (ts.isFunctionDeclaration(statement)) {
283
+ return { chunkType: 'function', name: statement.name?.getText() };
284
+ }
285
+ if (ts.isVariableStatement(statement)) {
286
+ const firstDecl: ts.VariableDeclaration | undefined = statement.declarationList.declarations[0];
287
+ const name: string | undefined = firstDecl && ts.isIdentifier(firstDecl.name)
288
+ ? firstDecl.name.getText()
289
+ : undefined;
290
+ // Ha a const egy függvény/arrow → 'function', egyébként 'variable'.
291
+ const initializer: ts.Expression | undefined = firstDecl?.initializer;
292
+ const isFn: boolean = !!initializer
293
+ && (ts.isArrowFunction(initializer) || ts.isFunctionExpression(initializer));
294
+ return { chunkType: isFn ? 'function' : 'variable', name: name };
295
+ }
296
+ return { chunkType: 'generic', name: undefined };
297
+ }
298
+
299
+ /**
300
+ * Nagy osztály metódusonkénti bontása. Az első chunk az osztály-fej (a class-kulcsszótól az első
301
+ * tag előttig, dekorátorok + JSDoc-cal), majd minden metódus / property-deklaráció külön chunk a
302
+ * `class:Foo > method:bar` symbol-lánccal.
303
+ */
304
+ private static splitClassByMethods(
305
+ classDecl: ts.ClassDeclaration,
306
+ sourceFile: ts.SourceFile,
307
+ code: string,
308
+ className: string | undefined,
309
+ blocks: DyNTS_DAI_CodeBlock[]
310
+ ): void {
311
+ const classSegment: string = `class:${className ?? 'anonymous'}`;
312
+ const classStart: number = classDecl.getStart(sourceFile, /* includeJsDocComment */ true);
313
+
314
+ const members: ts.ClassElement[] = [...classDecl.members];
315
+
316
+ // Osztály-fej: a class kezdetétől az első tag kezdetéig (dekorátorok/JSDoc + `class X {`-rész).
317
+ const headerEnd: number = members.length
318
+ ? members[0].getStart(sourceFile, /* includeJsDocComment */ true)
319
+ : classDecl.getEnd();
320
+ const headerText: string = code.substring(classStart, headerEnd);
321
+ if (headerText.trim().length) {
322
+ blocks.push({
323
+ text: headerText,
324
+ chunkType: 'class',
325
+ symbolSegments: [classSegment],
326
+ symbolName: className,
327
+ charStart: classStart,
328
+ charEnd: headerEnd,
329
+ });
330
+ }
331
+
332
+ // Tagonkénti chunk (metódus / accessor / property).
333
+ for (const member of members) {
334
+ const memberStart: number = member.getStart(sourceFile, /* includeJsDocComment */ true);
335
+ const memberEnd: number = member.getEnd();
336
+ const memberText: string = code.substring(memberStart, memberEnd);
337
+ if (!memberText.trim().length) {
338
+ continue;
339
+ }
340
+
341
+ const memberName: string | undefined = member.name && ts.isIdentifier(member.name)
342
+ ? member.name.getText()
343
+ : (member.name ? member.name.getText() : undefined);
344
+ const memberKind: DyNTS_DAI_CodeChunkType = this.classMemberKind(member);
345
+ const memberSegment: string = memberName
346
+ ? `${memberKind}:${memberName}`
347
+ : memberKind;
348
+
349
+ blocks.push({
350
+ text: memberText,
351
+ chunkType: memberKind,
352
+ symbolSegments: [classSegment, memberSegment],
353
+ symbolName: memberName,
354
+ charStart: memberStart,
355
+ charEnd: memberEnd,
356
+ });
357
+ }
358
+ }
359
+
360
+ /** Egy osztály-tag → chunk-típus (metódus/accessor → 'method', mező → 'variable'). */
361
+ private static classMemberKind(member: ts.ClassElement): DyNTS_DAI_CodeChunkType {
362
+ if (
363
+ ts.isMethodDeclaration(member)
364
+ || ts.isConstructorDeclaration(member)
365
+ || ts.isGetAccessorDeclaration(member)
366
+ || ts.isSetAccessorDeclaration(member)
367
+ ) {
368
+ return 'method';
369
+ }
370
+ return 'variable';
371
+ }
372
+
373
+ /** Egy belső blokk → `DyNTS_DAI_CodeChunk` (pozíció + symbol-lánc kiszámolásával). */
374
+ private static blockToChunk(
375
+ block: DyNTS_DAI_CodeBlock,
376
+ chunkIndex: number,
377
+ lineStartOffsets: number[]
378
+ ): DyNTS_DAI_CodeChunk {
379
+ const lineStart: number = this.lineOfOffset(block.charStart, lineStartOffsets);
380
+ const lineEnd: number = this.lineOfOffset(Math.max(block.charStart, block.charEnd - 1), lineStartOffsets);
381
+ return {
382
+ content: block.text,
383
+ chunkType: block.chunkType,
384
+ symbolPath: block.symbolSegments.join(' > '),
385
+ symbolSegments: block.symbolSegments,
386
+ symbolName: block.symbolName,
387
+ lineStart: lineStart,
388
+ lineEnd: lineEnd,
389
+ charStart: block.charStart,
390
+ charEnd: block.charEnd,
391
+ chunkIndex: chunkIndex,
392
+ };
393
+ }
394
+
395
+ /**
396
+ * Túl nagy blokk karakter-alapú sliding-window sub-splitje (örökölt chunkType + symbol-lánc).
397
+ * Az átfedés (`overlap`) karakter-szinten, a `minChunkSize` alatti farok-chunkokat kihagyja.
398
+ */
399
+ private static splitLargeBlock(
400
+ block: DyNTS_DAI_CodeBlock,
401
+ sizing: DyNTS_DAI_CodeChunking_Sizing,
402
+ out: DyNTS_DAI_CodeChunk[],
403
+ lineStartOffsets: number[]
404
+ ): void {
405
+ const text: string = block.text;
406
+ const step: number = Math.max(1, sizing.maxChunkSize - sizing.overlap);
407
+ let subChunkIndex: number = 0;
408
+
409
+ for (let start: number = 0; start < text.length; start += step) {
410
+ const end: number = Math.min(start + sizing.maxChunkSize, text.length);
411
+ const slice: string = text.substring(start, end);
412
+
413
+ // A nagyon kicsi farok-chunkot (az utolsó, ami már nem éri el a minChunkSize-t) kihagyjuk,
414
+ // de csak ha NEM ez az egyetlen chunk.
415
+ if (slice.trim().length < sizing.minChunkSize && subChunkIndex > 0) {
416
+ break;
417
+ }
418
+
419
+ const absoluteCharStart: number = block.charStart + start;
420
+ const absoluteCharEnd: number = block.charStart + end;
421
+ const lineStart: number = this.lineOfOffset(absoluteCharStart, lineStartOffsets);
422
+ const lineEnd: number = this.lineOfOffset(Math.max(absoluteCharStart, absoluteCharEnd - 1), lineStartOffsets);
423
+
424
+ out.push({
425
+ content: slice,
426
+ chunkType: block.chunkType,
427
+ symbolPath: block.symbolSegments.join(' > '),
428
+ symbolSegments: block.symbolSegments,
429
+ symbolName: block.symbolName,
430
+ lineStart: lineStart,
431
+ lineEnd: lineEnd,
432
+ charStart: absoluteCharStart,
433
+ charEnd: absoluteCharEnd,
434
+ chunkIndex: out.length,
435
+ subChunkIndex: subChunkIndex,
436
+ });
437
+ subChunkIndex++;
438
+
439
+ if (end >= text.length) {
440
+ break;
441
+ }
442
+ }
443
+ }
444
+
445
+ /**
446
+ * Tiny / degenerált fallback: a teljes tartalmat egy (vagy nagy bemenetnél sliding) chunkba teszi.
447
+ * Soha nem ad vissza üres listát nem-üres bemenetre — a tartalom megőrzése a cél.
448
+ */
449
+ private static buildFallbackChunks(content: string, sizing: DyNTS_DAI_CodeChunking_Sizing): DyNTS_DAI_CodeChunk[] {
450
+ const trimmed: string = content.trim();
451
+ if (!trimmed) {
452
+ return [];
453
+ }
454
+
455
+ const lineStartOffsets: number[] = this.computeLineStartOffsets(content);
456
+
457
+ // Kis tartalom → egyetlen fallback chunk.
458
+ if (content.length <= sizing.maxChunkSize) {
459
+ const lineEnd: number = this.lineOfOffset(Math.max(0, content.length - 1), lineStartOffsets);
460
+ return [{
461
+ content: content,
462
+ chunkType: 'fallback',
463
+ symbolPath: '',
464
+ symbolSegments: [],
465
+ symbolName: undefined,
466
+ lineStart: 1,
467
+ lineEnd: lineEnd,
468
+ charStart: 0,
469
+ charEnd: content.length,
470
+ chunkIndex: 0,
471
+ }];
472
+ }
473
+
474
+ // Nagy, de nem-parse-olható tartalom → sliding-window fallback.
475
+ const fallbackBlock: DyNTS_DAI_CodeBlock = {
476
+ text: content,
477
+ chunkType: 'fallback',
478
+ symbolSegments: [],
479
+ symbolName: undefined,
480
+ charStart: 0,
481
+ charEnd: content.length,
482
+ };
483
+ const out: DyNTS_DAI_CodeChunk[] = [];
484
+ this.splitLargeBlock(fallbackBlock, sizing, out, lineStartOffsets);
485
+ return out;
486
+ }
487
+
488
+ /**
489
+ * A forrás minden sorának kezdő karakter-offszetje (0-alapú). A `lineStartOffsets[i]` az `i`-edik
490
+ * (0-alapú) sor első karakterének abszolút pozíciója — bináris kereséssel gyors `offset → sor`
491
+ * konverziót ad a chunkokhoz.
492
+ */
493
+ private static computeLineStartOffsets(source: string): number[] {
494
+ const offsets: number[] = [0];
495
+ for (let i: number = 0; i < source.length; i++) {
496
+ if (source[i] === '\n') {
497
+ offsets.push(i + 1);
498
+ }
499
+ }
500
+ return offsets;
501
+ }
502
+
503
+ /**
504
+ * Egy abszolút karakter-offszet → 1-alapú sorszám a forrásban (bináris keresés a
505
+ * `lineStartOffsets`-ben). A sor-mezők így a forrás VALÓDI soraira mutatnak (nem chunk-relatív).
506
+ */
507
+ private static lineOfOffset(offset: number, lineStartOffsets: number[]): number {
508
+ let lo: number = 0;
509
+ let hi: number = lineStartOffsets.length - 1;
510
+ while (lo < hi) {
511
+ const mid: number = (lo + hi + 1) >> 1;
512
+ if (lineStartOffsets[mid] <= offset) {
513
+ lo = mid;
514
+ } else {
515
+ hi = mid - 1;
516
+ }
517
+ }
518
+ return lo + 1;
519
+ }
520
+ }
@@ -0,0 +1,68 @@
1
+ /**
2
+ * `DyNTS_DAI_CodeChunkType` — egy kód-chunk szemantikus típusa (BFR-AM-005).
3
+ * A TS Compiler API node-fajtáihoz igazítva: import-csoport, top-level deklarációk
4
+ * (class/interface/enum/type/function/standalone const) + osztály-metódus + nagy-node
5
+ * sliding-sub-chunk + tiny-fallback.
6
+ */
7
+ export type DyNTS_DAI_CodeChunkType =
8
+ | 'imports'
9
+ | 'class'
10
+ | 'method'
11
+ | 'interface'
12
+ | 'enum'
13
+ | 'type'
14
+ | 'function'
15
+ | 'variable'
16
+ | 'generic'
17
+ | 'fallback';
18
+
19
+ /**
20
+ * `DyNTS_DAI_CodeChunk` (BFR-AM-005) — egy szemantikus kód-chunk, amit a
21
+ * `DyNTS_DAI_CodeChunking_Util.chunkTs(...)` állít elő a TypeScript Compiler API AST-jából.
22
+ *
23
+ * A markdown-oldali `DyNTS_DAI_DocChunk`-kal párhuzamos, de kód-specifikus mezőkkel:
24
+ * a `symbolPath` (pl. `class:Foo > method:bar`) a kód-symbol-láncot, a `chunkType` a
25
+ * node-fajtát, a `lineStart/lineEnd` + `charStart/charEnd` a forrás-pozíciót hordozza.
26
+ *
27
+ * Tisztán a chunker kimeneti alakja (NEM DB data-model) — a consumer dönti el, hogyan
28
+ * mappeli a `DyNTS_DAI_DocChunk` perzisztencia-modellre (pl. `symbolPath` → `path`).
29
+ */
30
+ export interface DyNTS_DAI_CodeChunk {
31
+ /** A chunk nyers szövege (a node forrás-tartománya, JSDoc + dekorátorokkal együtt). */
32
+ content: string;
33
+
34
+ /** A chunk szemantikus típusa (node-fajta). */
35
+ chunkType: DyNTS_DAI_CodeChunkType;
36
+
37
+ /**
38
+ * A kód-symbol-lánc, ` > ` szeparátorral összefűzve (a `chunkHeadParents`-mintára).
39
+ * Pl. `class:FooService > method:doThing`, `interface:Bar`, `function:helper`.
40
+ * Import-csoportra / generic-re üres string.
41
+ */
42
+ symbolPath: string;
43
+
44
+ /** A symbol-lánc szegmensei tömbként (pl. `['class:FooService', 'method:doThing']`). */
45
+ symbolSegments: string[];
46
+
47
+ /** A deklaráció neve (a legbelső symbol neve), ha van — pl. `doThing`, `FooService`. */
48
+ symbolName?: string;
49
+
50
+ /** 1-alapú kezdő sor a forrásban (inkluzív). */
51
+ lineStart: number;
52
+ /** 1-alapú záró sor a forrásban (inkluzív). */
53
+ lineEnd: number;
54
+
55
+ /** Karakter-kezdőpozíció a forrásban (0-alapú, inkluzív). */
56
+ charStart: number;
57
+ /** Karakter-végpozíció a forrásban (0-alapú, exkluzív). */
58
+ charEnd: number;
59
+
60
+ /** A chunk sorszáma a teljes kimenetben (0-alapú). */
61
+ chunkIndex: number;
62
+
63
+ /**
64
+ * Ha a chunk egy túl nagy node sliding-window sub-chunkja, akkor a sub-chunk
65
+ * 0-alapú indexe a szülő node-on belül; egyébként `undefined`.
66
+ */
67
+ subChunkIndex?: number;
68
+ }
@@ -3,6 +3,7 @@ export * from '@futdevpro/fsm-dynamo/ai/document-ai';
3
3
 
4
4
  // COLLECTIONS
5
5
  export * from './_collections/dai-chunking.util';
6
+ export * from './_collections/dai-code-chunking.util';
6
7
  export * from './_collections/dai-document.util';
7
8
 
8
9
  // ENUMS
@@ -16,6 +17,7 @@ export * from './_models/data-models/dai-document.data-model';
16
17
  export * from './_models/data-models/dai-doc-page.data-model';
17
18
 
18
19
  // models/INTERFACES
20
+ export * from './_models/interfaces/dai-code-chunk.interface';
19
21
  export * from './_models/interfaces/dai-doc-chunk-compare-result.interface';
20
22
  export * from './_models/interfaces/dai-doc-page-compare-result.interface';
21
23
  export * from './_models/interfaces/dai-document-compare-result.interface';