project-librarian 0.5.8 → 0.5.9
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.ko.md +3 -1
- package/README.md +3 -1
- package/dist/native/project-librarian-indexer-manifest.json +2 -2
- package/dist/native/win32-arm64/project-librarian-indexer.exe +0 -0
- package/dist/native/win32-x64/project-librarian-indexer.exe +0 -0
- package/docs/benchmarks.md +31 -11
- package/docs/ko/benchmarks.md +31 -11
- package/package.json +1 -1
package/README.ko.md
CHANGED
|
@@ -115,7 +115,7 @@ Project Librarian은 작은 첫 읽기와 더 깊은 정본으로 가는 경로
|
|
|
115
115
|
| 중형 | 45.95% 적음 | 37.42% 적음 | 11.88% 적음 | 4.30% 적음 | 69.12% 적음 |
|
|
116
116
|
| 대형 | 66.97% 적음 | 69.87% 적음 | 31.90% 적음 | 35.19% 적음 | 95.58% 적음 |
|
|
117
117
|
|
|
118
|
-
위키 트랙 작업 유형별 비용 가중 토큰
|
|
118
|
+
위키 트랙 작업 유형별 비용 가중 토큰 변화, 전체 규모 합산:
|
|
119
119
|
|
|
120
120
|
| 작업 유형 | 변화 |
|
|
121
121
|
| --- | ---: |
|
|
@@ -127,6 +127,8 @@ Project Librarian은 작은 첫 읽기와 더 깊은 정본으로 가는 경로
|
|
|
127
127
|
| multi_session | 52.58% 적음 |
|
|
128
128
|
| aggregation | 42.53% 적음 |
|
|
129
129
|
|
|
130
|
+
규모별 값은 서로 다릅니다. 소형/중형/대형 작업 유형별 실제 행렬과 아직 역전이 남은 셀은 [벤치마크 근거](docs/ko/benchmarks.md#위키-트랙)에 있습니다.
|
|
131
|
+
|
|
130
132
|
실행 시간과 명령 수의 한계도 있습니다. 이번 보고서에서 `code_impact`, `change_location`, `aggregation`은 토큰과 출력 바이트가 모두 개선됐지만, 실행 시간이나 명령 수에서는 일부 역전이 남아 있습니다.
|
|
131
133
|
|
|
132
134
|
코드 그래프 트랙, 대조군 대비 비용 가중 토큰:
|
package/README.md
CHANGED
|
@@ -115,7 +115,7 @@ Wiki track aggregate deltas vs control:
|
|
|
115
115
|
| Medium | 45.95% less | 37.42% less | 11.88% less | 4.30% less | 69.12% less |
|
|
116
116
|
| Large | 66.97% less | 69.87% less | 31.90% less | 35.19% less | 95.58% less |
|
|
117
117
|
|
|
118
|
-
Wiki track task-family cost-weighted token deltas vs control:
|
|
118
|
+
Wiki track task-family cost-weighted token deltas vs control, all scales combined:
|
|
119
119
|
|
|
120
120
|
| Task family | Delta |
|
|
121
121
|
| --- | ---: |
|
|
@@ -127,6 +127,8 @@ Wiki track task-family cost-weighted token deltas vs control:
|
|
|
127
127
|
| multi_session | 52.58% less |
|
|
128
128
|
| aggregation | 42.53% less |
|
|
129
129
|
|
|
130
|
+
Scale-specific values vary; see [Benchmark Evidence](docs/benchmarks.md#wiki-track) for the small/medium/large task-family matrix and the cells that still regress.
|
|
131
|
+
|
|
130
132
|
Timing and command-count caveat: `code_impact`, `change_location`, and `aggregation` still had wall-time or command-count regressions in this report, even though token and output-byte metrics improved for every task family.
|
|
131
133
|
|
|
132
134
|
Code-graph track, cost-weighted tokens vs control:
|
|
@@ -53,7 +53,7 @@
|
|
|
53
53
|
"architecture": "arm64",
|
|
54
54
|
"format": "pe",
|
|
55
55
|
"path": "dist/native/win32-arm64/project-librarian-indexer.exe",
|
|
56
|
-
"sha256": "
|
|
56
|
+
"sha256": "f8ef16c98ff97c4f1dd38e2e08a034a40bb219f114f8270d165feaddd8166d8f",
|
|
57
57
|
"size": 2098688,
|
|
58
58
|
"triple": "win32-arm64"
|
|
59
59
|
},
|
|
@@ -61,7 +61,7 @@
|
|
|
61
61
|
"architecture": "x64",
|
|
62
62
|
"format": "pe",
|
|
63
63
|
"path": "dist/native/win32-x64/project-librarian-indexer.exe",
|
|
64
|
-
"sha256": "
|
|
64
|
+
"sha256": "5a81b330741f11d10ab5d296e8cbc8c60f1596c30a45c5f31e41fab49e5b2603",
|
|
65
65
|
"size": 2375680,
|
|
66
66
|
"triple": "win32-x64"
|
|
67
67
|
}
|
|
Binary file
|
|
Binary file
|
package/docs/benchmarks.md
CHANGED
|
@@ -17,17 +17,33 @@ Generated benchmark reports under `benchmarks/reports/llm/` are ignored by defau
|
|
|
17
17
|
|
|
18
18
|
## Wiki Track
|
|
19
19
|
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
|
25
|
-
|
|
|
26
|
-
|
|
|
27
|
-
|
|
28
|
-
|
|
29
|
-
|
|
30
|
-
|
|
20
|
+
Latest clean synthetic wiki-track release evidence: 2026-06-29, `gpt-5.5`, branch `perf/small-repo-code-evidence-safeguards` at `ae79390`, 42 scenarios, 21 with/without pairs, 3 measured runs plus 1 warmup each. The overall claim gate **passed**, and the claim ledger classified the report as release-claimable. A repair run reused 125 claimable measured runs from retained raw JSONL and remeasured the remaining failed slot.
|
|
21
|
+
|
|
22
|
+
Cost-weighted tokens, Project Librarian vs control, all scales combined:
|
|
23
|
+
|
|
24
|
+
| Task family | Delta |
|
|
25
|
+
| --- | ---: |
|
|
26
|
+
| onboarding | 65.95% less |
|
|
27
|
+
| decision_lookup | 48.46% less |
|
|
28
|
+
| code_impact | 55.61% less |
|
|
29
|
+
| release_policy | 58.22% less |
|
|
30
|
+
| change_location | 29.59% less |
|
|
31
|
+
| multi_session | 52.58% less |
|
|
32
|
+
| aggregation | 42.53% less |
|
|
33
|
+
|
|
34
|
+
Scale-specific cost-weighted token deltas:
|
|
35
|
+
|
|
36
|
+
| Task family | Small | Medium | Large |
|
|
37
|
+
| --- | ---: | ---: | ---: |
|
|
38
|
+
| onboarding | 60.88% less | 65.53% less | 69.17% less |
|
|
39
|
+
| decision_lookup | 19.18% less | 51.29% less | 60.12% less |
|
|
40
|
+
| code_impact | 26.61% less | 54.81% less | 68.43% less |
|
|
41
|
+
| release_policy | 30.23% less | 62.16% less | 67.26% less |
|
|
42
|
+
| change_location | 7.79% less | 2.86% more | 57.27% less |
|
|
43
|
+
| multi_session | 54.29% more | 35.32% less | 82.77% less |
|
|
44
|
+
| aggregation | 7.66% less | 51.32% less | 49.17% less |
|
|
45
|
+
|
|
46
|
+
The release claim is bounded to the synthetic wiki-routing track and the listed task families. It is not a claim about code-graph behavior, real repositories, every agent surface, or every question shape. Published boundaries remain visible: small `multi_session` and medium `change_location` cost more with the wiki in the cost-weighted token metric. `code_impact`, `change_location`, and `aggregation` also still have wall-time or command-count regressions in this report, even though token and output-byte metrics improved at the task-family aggregate level.
|
|
31
47
|
|
|
32
48
|
## Code-Graph Track
|
|
33
49
|
|
|
@@ -52,7 +68,11 @@ Repositories under test:
|
|
|
52
68
|
|
|
53
69
|
Question types:
|
|
54
70
|
|
|
71
|
+
- **onboarding** - summarize what the project is, current risks, and where to read next.
|
|
55
72
|
- **decision_lookup** - find the latest project decision and its date from the wiki.
|
|
73
|
+
- **code_impact** - identify likely impacted files or areas for a benchmark report schema change.
|
|
74
|
+
- **release_policy** - find the checks required before publishing or making benchmark claims.
|
|
75
|
+
- **change_location** - find where an agent should edit to implement the Codex LLM benchmark runner.
|
|
56
76
|
- **aggregation** - answer a question whose facts are scattered across several pages and must be synthesized.
|
|
57
77
|
- **multi_session** - a second session on the same project, measuring whether the durable wiki helps the next session, not just the first.
|
|
58
78
|
- **impact_trace** - trace the full set of direct and indirect importers for a changing module.
|
package/docs/ko/benchmarks.md
CHANGED
|
@@ -17,17 +17,33 @@ npm run benchmark:release -- --allow-codex-run
|
|
|
17
17
|
|
|
18
18
|
## 위키 트랙
|
|
19
19
|
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
|
25
|
-
|
|
|
26
|
-
|
|
|
27
|
-
|
|
28
|
-
|
|
29
|
-
|
|
30
|
-
|
|
20
|
+
최신 clean 합성 위키 트랙 릴리스 근거는 2026-06-29에 `gpt-5.5`, `perf/small-repo-code-evidence-safeguards` 브랜치의 `ae79390` 커밋에서 측정했습니다. 42개 시나리오, 21개 with/without 쌍을 각 3회 측정하고 1회 예열했으며, 전체 주장 게이트는 **통과**했고 주장 ledger는 이 보고서를 release-claimable로 분류했습니다. repair 실행은 보존된 raw JSONL에서 claimable 측정 실행 125개를 재사용하고 남은 실패 슬롯 1개를 다시 측정했습니다.
|
|
21
|
+
|
|
22
|
+
비용 가중 토큰, Project Librarian 대 대조군, 전체 규모 합산:
|
|
23
|
+
|
|
24
|
+
| 작업 유형 | 변화 |
|
|
25
|
+
| --- | ---: |
|
|
26
|
+
| onboarding | 65.95% 적음 |
|
|
27
|
+
| decision_lookup | 48.46% 적음 |
|
|
28
|
+
| code_impact | 55.61% 적음 |
|
|
29
|
+
| release_policy | 58.22% 적음 |
|
|
30
|
+
| change_location | 29.59% 적음 |
|
|
31
|
+
| multi_session | 52.58% 적음 |
|
|
32
|
+
| aggregation | 42.53% 적음 |
|
|
33
|
+
|
|
34
|
+
규모별 비용 가중 토큰 변화:
|
|
35
|
+
|
|
36
|
+
| 작업 유형 | 소형 | 중형 | 대형 |
|
|
37
|
+
| --- | ---: | ---: | ---: |
|
|
38
|
+
| onboarding | 60.88% 적음 | 65.53% 적음 | 69.17% 적음 |
|
|
39
|
+
| decision_lookup | 19.18% 적음 | 51.29% 적음 | 60.12% 적음 |
|
|
40
|
+
| code_impact | 26.61% 적음 | 54.81% 적음 | 68.43% 적음 |
|
|
41
|
+
| release_policy | 30.23% 적음 | 62.16% 적음 | 67.26% 적음 |
|
|
42
|
+
| change_location | 7.79% 적음 | 2.86% 많음 | 57.27% 적음 |
|
|
43
|
+
| multi_session | 54.29% 많음 | 35.32% 적음 | 82.77% 적음 |
|
|
44
|
+
| aggregation | 7.66% 적음 | 51.32% 적음 | 49.17% 적음 |
|
|
45
|
+
|
|
46
|
+
이 릴리스 주장은 합성 위키 라우팅 트랙과 표기된 작업 유형에 한정됩니다. 코드 그래프 동작, 실제 저장소, 모든 에이전트 표면, 모든 질문 형태에 대한 주장이 아닙니다. 숨기지 않는 한계도 남습니다. 비용 가중 토큰 기준으로 소형 `multi_session`과 중형 `change_location`은 위키를 켰을 때 더 비쌉니다. 또한 `code_impact`, `change_location`, `aggregation`은 작업 유형 집계에서 토큰과 출력 바이트가 개선됐더라도 이번 보고서의 실행 시간이나 명령 수에는 일부 역전이 남아 있습니다.
|
|
31
47
|
|
|
32
48
|
## 코드 그래프 트랙
|
|
33
49
|
|
|
@@ -52,7 +68,11 @@ SHA로 고정한 오픈소스 저장소 2곳에서, 손으로 작성한 정답
|
|
|
52
68
|
|
|
53
69
|
질문 유형:
|
|
54
70
|
|
|
71
|
+
- **onboarding** - 프로젝트가 무엇인지, 현재 리스크, 다음에 읽을 문서를 요약합니다.
|
|
55
72
|
- **decision_lookup** - 위키에서 가장 최근 프로젝트 결정과 그 날짜를 찾습니다.
|
|
73
|
+
- **code_impact** - 벤치마크 보고서 스키마 변경 시 영향받을 파일이나 영역을 찾습니다.
|
|
74
|
+
- **release_policy** - publish 또는 benchmark claim 전에 필요한 체크를 찾습니다.
|
|
75
|
+
- **change_location** - Codex LLM benchmark runner 구현 시 어디를 수정해야 하는지 찾습니다.
|
|
56
76
|
- **aggregation** - 여러 페이지에 흩어진 사실을 종합해야 답할 수 있는 질문입니다.
|
|
57
77
|
- **multi_session** - 같은 프로젝트의 두 번째 세션으로, 지속되는 위키가 다음 세션에도 도움이 되는지 측정합니다.
|
|
58
78
|
- **impact_trace** - 바뀌는 모듈의 직접/간접 importer 전체를 추적합니다.
|