@mcptoolshop/style-dataset-lab 2.2.0 → 2.3.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.es.md +76 -144
- package/README.fr.md +75 -143
- package/README.hi.md +75 -143
- package/README.it.md +76 -144
- package/README.ja.md +75 -143
- package/README.md +80 -94
- package/README.pt-BR.md +75 -143
- package/README.zh.md +76 -144
- package/SECURITY.md +3 -1
- package/bin/sdlab.js +21 -21
- package/lib/errors.js +82 -0
- package/lib/log.js +36 -0
- package/lib/snapshot.js +5 -2
- package/lib/split.js +5 -2
- package/package.json +3 -4
- package/scripts/snapshot.js +27 -23
- package/scripts/split.js +3 -1
package/README.hi.md
CHANGED
|
@@ -11,196 +11,128 @@
|
|
|
11
11
|
<a href="LICENSE"><img src="https://img.shields.io/badge/license-MIT-blue" alt="MIT License"></a>
|
|
12
12
|
</p>
|
|
13
13
|
|
|
14
|
-
|
|
14
|
+
अपनी दृश्य दिशानिर्देशों को लिखें। कला उत्पन्न करें। प्रत्येक छवि का मूल्यांकन उन दिशानिर्देशों के आधार पर करें। परिणामों को संस्करणों के साथ, ऑडिट करने योग्य प्रशिक्षण डेटा के रूप में प्रस्तुत करें।
|
|
15
15
|
|
|
16
|
-
|
|
16
|
+
स्टाइल डेटासेट लैब आपके कलात्मक शैली के बारे में आपने जो कुछ भी लिखा है, उसे उस डेटासेट से जोड़ता है जिससे आप वास्तव में प्रशिक्षण लेते हैं। आप एक "संविधान" परिभाषित करते हैं - जैसे कि आकार के नियम, रंग पैलेट की सीमाएं, सामग्री का विवरण, या जो भी आपके प्रोजेक्ट के लिए महत्वपूर्ण है। यह प्रणाली संभावित विकल्पों को उत्पन्न करती है, उन्हें आपके द्वारा परिभाषित नियमों के आधार पर मूल्यांकन करती है, और स्वीकृत कार्यों को ऐसे डेटासेट में व्यवस्थित करती है जो पुन: प्रयोज्य हों, जहां प्रत्येक प्रविष्टि यह बताती है कि उसे क्यों शामिल किया गया है।
|
|
17
17
|
|
|
18
|
-
|
|
18
|
+
यह प्रक्रिया एक चक्र की तरह चलती है: एक मॉडल को प्रशिक्षित करें, नए आउटपुट उत्पन्न करें, उन्हें एक ही मानदंड के आधार पर मूल्यांकित करें, और जो आउटपुट मानदंडों को पूरा करते हैं, उन्हें वापस डेटासेट में शामिल करें। इस तरह, डेटासेट का आकार बढ़ता रहता है और नियम बने रहते हैं।
|
|
19
19
|
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
यह पाइपलाइन चार प्रकार के आउटपुट (परिणाम) उत्पन्न करता है:
|
|
23
|
-
|
|
24
|
-
| पुरातत्विक वस्तु। | यह क्या है। |
|
|
25
|
-
|----------|-----------|
|
|
26
|
-
| **Snapshot** | चयनित अभिलेखों की एक "फ्रीज" की गई सूची, जिसमें केवल योग्य अभिलेख शामिल हैं। प्रत्येक अभिलेख को शामिल करने का एक स्पष्ट और विशिष्ट कारण दर्ज किया गया है। |
|
|
27
|
-
| **Split** | रिसाव-रोधी ट्रेन/वैल्यू/टेस्ट विभाजन। रिकॉर्ड हमेशा एक ही समूह में आते हैं, जो एक विषय परिवार से संबंधित होते हैं। |
|
|
28
|
-
| **Export package** | स्वतंत्र डेटासेट: इसमें मैनिफेस्ट (manifest), मेटाडेटा (metadata), चित्र, डेटासेट के विभिन्न भाग, डेटासेट कार्ड और चेकसम (checksums) शामिल हैं। |
|
|
29
|
-
| **Eval pack** | कैनन (Canon) के मानकों के अनुरूप सत्यापन कार्य: लेन कवरेज, निषिद्ध विचलन, एंकर/गोल्ड, विषय की निरंतरता। |
|
|
30
|
-
|
|
31
|
-
पाइपलाइन में मौजूद प्रत्येक संपत्ति में तीन चीजें शामिल होती हैं:
|
|
32
|
-
|
|
33
|
-
1. **उत्पत्ति का विवरण** -- पूरी पीढ़ी का इतिहास (चेकपॉइंट, लोरा, सीड, सैंपलर, सीएफजी, समय)।
|
|
34
|
-
2. **मानकों का अनुपालन** -- यह निर्धारित करता है कि यह संपत्ति किस मानक को पूरा करती है, विफल होती है, या आंशिक रूप से पूरा करती है।
|
|
35
|
-
3. **गुणवत्ता मूल्यांकन** -- स्वीकृत/अस्वीकृत/सीमांत श्रेणी में, प्रत्येक पहलू के लिए अलग-अलग स्कोर के साथ।
|
|
36
|
-
|
|
37
|
-
यह काम गेम आर्ट, कैरेक्टर डिजाइन, जीव (क्रिएचर) डिजाइन, आर्किटेक्चर, वाहन/मैक अवधारणाओं, और किसी भी ऐसे क्षेत्र में किया जाता है जहाँ विज़ुअल उत्पादन को सटीक और अनुरूप बनाए रखने की आवश्यकता होती है।
|
|
38
|
-
|
|
39
|
-
## शुरुआत कैसे करें।
|
|
20
|
+
## पाइपलाइन।
|
|
40
21
|
|
|
41
22
|
```bash
|
|
42
|
-
#
|
|
43
|
-
npm install -g @mcptoolshop/style-dataset-lab
|
|
44
|
-
|
|
45
|
-
# Scaffold a new project
|
|
23
|
+
# Write your canon. Scaffold the project.
|
|
46
24
|
sdlab init my-project --domain character-design
|
|
47
25
|
|
|
48
|
-
#
|
|
49
|
-
sdlab
|
|
50
|
-
|
|
26
|
+
# Generate candidates via ComfyUI, then review them
|
|
27
|
+
sdlab generate inputs/prompts/wave1.json --project my-project
|
|
28
|
+
sdlab curate <id> approved "Strong silhouette, correct faction palette"
|
|
51
29
|
|
|
52
|
-
|
|
30
|
+
# Bind approved work to constitution rules
|
|
31
|
+
sdlab bind --project my-project
|
|
53
32
|
|
|
54
|
-
|
|
33
|
+
# Freeze a versioned dataset
|
|
34
|
+
sdlab snapshot create --project my-project
|
|
35
|
+
sdlab split build
|
|
36
|
+
sdlab export build
|
|
55
37
|
|
|
56
|
-
|
|
57
|
-
sdlab
|
|
58
|
-
sdlab
|
|
59
|
-
|
|
60
|
-
sdlab
|
|
61
|
-
sdlab generate:identity <packet> # Named-subject identity images
|
|
62
|
-
sdlab generate:controlnet # ControlNet-guided generation
|
|
63
|
-
sdlab generate:ipadapter # IP-Adapter reference-guided
|
|
64
|
-
|
|
65
|
-
sdlab curate <id> <status> <explanation> # Record review judgment
|
|
66
|
-
sdlab compare <a> <b> <winner> <reason> # Pairwise A-vs-B comparison
|
|
67
|
-
sdlab bind [--project <name>] # Bind records to constitution rules
|
|
68
|
-
sdlab painterly [--project <name>] # Post-processing style pass
|
|
69
|
-
|
|
70
|
-
sdlab snapshot create [--profile <name>] # Create frozen dataset snapshot
|
|
71
|
-
sdlab snapshot list # List all snapshots
|
|
72
|
-
sdlab snapshot diff <a> <b> # Compare two snapshots
|
|
73
|
-
sdlab eligibility audit # Audit record training eligibility
|
|
74
|
-
sdlab split build [--snapshot <id>] # Build train/val/test split
|
|
75
|
-
sdlab split audit <id> # Audit split for leakage + balance
|
|
76
|
-
sdlab card generate # Generate dataset card (md + JSON)
|
|
77
|
-
sdlab export build [--snapshot <id>] # Build versioned export package
|
|
78
|
-
sdlab eval-pack build # Build canon-aware eval pack
|
|
38
|
+
# Build a training package and close the loop
|
|
39
|
+
sdlab training-manifest create --profile character-style-lora
|
|
40
|
+
sdlab training-package build
|
|
41
|
+
sdlab eval-run create && sdlab eval-run score <id> --outputs results.jsonl
|
|
42
|
+
sdlab reingest generated --source ./outputs --manifest <id>
|
|
79
43
|
```
|
|
80
44
|
|
|
81
|
-
|
|
45
|
+
"वह अंतिम आदेश महत्वपूर्ण है। उत्पन्न होने वाले परिणाम भी उसी समीक्षा प्रक्रिया से गुजरते हैं, जैसे कि बाकी सब कुछ। इस प्रकार, एक चक्र पूरा होता है।"
|
|
82
46
|
|
|
83
|
-
##
|
|
47
|
+
## यह क्या उत्पादित करता है।
|
|
84
48
|
|
|
85
|
-
|
|
49
|
+
सात संस्करणों वाले, चेकसम से सत्यापित दस्तावेज़। प्रत्येक दस्तावेज़ अपने पूर्ववर्ती संस्करणों से जुड़ा हुआ है, जिससे आप किसी भी प्रशिक्षण रिकॉर्ड को उस नियम तक वापस खोज सकते हैं जिसने उसे स्वीकृत किया था।
|
|
86
50
|
|
|
87
|
-
|
|
88
|
-
|
|
89
|
-
|
|
90
|
-
|
|
91
|
-
|
|
92
|
-
|
|
93
|
-
|
|
94
|
-
|
|
95
|
-
|
|
96
|
-
records/ Per-asset JSON (provenance + judgment + canon)
|
|
97
|
-
inputs/prompts/ Prompt packs (JSON)
|
|
98
|
-
outputs/ Generated images (gitignored)
|
|
99
|
-
comparisons/ A-vs-B preference judgments
|
|
100
|
-
snapshots/ Frozen dataset snapshots
|
|
101
|
-
splits/ Train/val/test partitions
|
|
102
|
-
exports/ Versioned export packages
|
|
103
|
-
eval-packs/ Canon-aware eval instruments
|
|
104
|
-
```
|
|
51
|
+
| पुरातत्विक वस्तु। | यह क्या है। |
|
|
52
|
+
|----------|-----------|
|
|
53
|
+
| **Snapshot** | ठहरा हुआ रिकॉर्ड चयन, जिसमें कॉन्फ़िगरेशन की जानकारी शामिल है। प्रत्येक शामिल किए गए रिकॉर्ड का एक स्पष्ट कारण है। |
|
|
54
|
+
| **Split** | प्रशिक्षण (ट्रेन), मूल्यांकन (वैल), और परीक्षण (टेस्ट) डेटासेट को इस तरह विभाजित किया गया है कि किसी भी विषय परिवार के सदस्य इन विभाजनों के बीच न आएं। |
|
|
55
|
+
| **Export package** | स्वतंत्र डेटासेट: इसमें मैनिफेस्ट (manifest), मेटाडेटा (metadata), चित्र, डेटासेट के विभिन्न भाग, डेटासेट कार्ड और चेकसम (checksums) शामिल हैं। |
|
|
56
|
+
| **Eval pack** | कैनन (Canon) के मानकों के अनुरूप सत्यापन कार्य: लेन कवरेज, निषिद्ध विचलन, एंकर/गोल्ड, विषय की निरंतरता। |
|
|
57
|
+
| **Training package** | प्रशिक्षण के लिए तैयार लेआउट, जो एडेप्टर (`diffusers-lora`, `generic-image-caption`) के माध्यम से उपलब्ध है। एक ही जानकारी, लेकिन अलग प्रारूप में। |
|
|
58
|
+
| **Eval scorecard** | प्रत्येक कार्य के लिए, स्कोरिंग के आधार पर उत्पन्न परिणामों की तुलना मूल्यांकन पैकों से की जाती है, और यह निर्धारित किया जाता है कि परिणाम पास हुआ है या फेल। |
|
|
59
|
+
| **Implementation pack** | त्वरित उदाहरण, ज्ञात विफलताएं, निरंतरता परीक्षण, और पुनः उपयोग के लिए मार्गदर्शन। |
|
|
105
60
|
|
|
106
|
-
##
|
|
61
|
+
## यह क्यों मौजूद है?
|
|
107
62
|
|
|
108
|
-
|
|
109
|
-
canon → generate → curate → bind → snapshot → split → export → eval
|
|
110
|
-
| | | | | | | |
|
|
111
|
-
rules ComfyUI judgment rules frozen subject package verify
|
|
112
|
-
selection isolation
|
|
113
|
-
```
|
|
63
|
+
प्रशिक्षण डेटा किसी भी विज़ुअल एआई प्रणाली में सबसे महत्वपूर्ण घटक होता है। लेकिन अधिकांश प्रशिक्षण डेटा छवियों का एक संग्रह होता है, जिसमें कोई पृष्ठभूमि जानकारी, कोई मूल्यांकन प्रक्रिया, और उन शैलीगत नियमों से कोई संबंध नहीं होता जिनका पालन करने की अपेक्षा की जाती थी।
|
|
114
64
|
|
|
115
|
-
|
|
116
|
-
2. **उत्पन्न करें:** कॉमफीयूआई (ComfyUI) पूर्ण जानकारी के साथ संभावित विकल्प (कैंडिडेट्स) उत्पन्न करता है।
|
|
117
|
-
3. **चयन करें:** प्रत्येक आयाम के लिए स्कोर और विफलता के तरीकों के साथ, विकल्पों को स्वीकृत या अस्वीकृत करें।
|
|
118
|
-
4. **जोड़ें:** प्रत्येक संसाधन को संविधान के नियमों से जोड़ें और पास/फेल/आंशिक परिणाम दर्ज करें।
|
|
119
|
-
5. **स्नैपशॉट लें:** योग्य रिकॉर्ड को एक निश्चित, विशिष्ट पहचान (फिंगरप्रिंट) वाले संग्रह में स्थिर करें।
|
|
120
|
-
6. **विभाजित करें:** डेटा को प्रशिक्षण (ट्रेन), मूल्यांकन (वैल) और परीक्षण (टेस्ट) सेट में विभाजित करें, जिसमें विषय का अलगाव और डेटा संतुलन शामिल हो।
|
|
121
|
-
7. **निर्यात करें:** एक आत्मनिर्भर पैकेज बनाएं जिसमें घोषणापत्र (मैनिफेस्ट), मेटाडेटा, चित्र और चेकसम शामिल हों।
|
|
122
|
-
8. **मूल्यांकन करें:** मॉडल की पुष्टि के लिए, "कैनन" (परिभाषित मानकों) के अनुरूप परीक्षण उपकरण उत्पन्न करें।
|
|
65
|
+
स्टाइल डेटासेट लैब इस संबंध को स्पष्ट रूप से दर्शाता है। आपका संविधान नियमों को परिभाषित करता है। आपका मूल्यांकन मापदंड मूल्यांकन के आयामों को परिभाषित करता है। आपका क्यूरेशन रिकॉर्ड निर्णय को दर्ज करता है। आपका स्थापित सिद्धांत (कैनन) इस संबंध को प्रमाणित करता है। और आपका डेटासेट इन सभी तत्वों को संरचित, खोज योग्य और पुन: प्रस्तुत करने योग्य सत्य के रूप में आगे बढ़ाता है।
|
|
123
66
|
|
|
124
|
-
|
|
67
|
+
परिणामस्वरूप: जब आपका LoRA (लो-रैंक एडाप्टेशन) ठीक से काम नहीं करता, तो आप यह पता लगा सकते हैं कि *क्यों*। जब आपके अगले प्रशिक्षण दौर के लिए बेहतर डेटा की आवश्यकता होती है, तो आप सटीक रूप से जान सकते हैं कि कौन से डेटा रिकॉर्ड लगभग सही हैं और वे किस एक नियम का उल्लंघन करते हैं। जब कोई नया टीम सदस्य पूछता है कि परियोजना की दृश्य भाषा क्या है, तो उत्तर एक Figma बोर्ड नहीं होता है— बल्कि यह 1,182 वर्गीकृत उदाहरणों के साथ एक खोज योग्य संविधान होता है।
|
|
125
68
|
|
|
126
|
-
##
|
|
69
|
+
## पांच क्षेत्र, वास्तविक नियम।
|
|
127
70
|
|
|
128
|
-
प्रत्येक डोमेन
|
|
71
|
+
ये केवल टेम्पलेट नहीं हैं। प्रत्येक डोमेन उच्च गुणवत्ता वाले नियमों, लेन (क्षेत्र) की परिभाषाओं, मूल्यांकन मापदंडों और समूह शब्दावली के साथ आता है।
|
|
129
72
|
|
|
130
|
-
| डोमेन। | सड़कें। |
|
|
131
|
-
|
|
132
|
-
| **game-art** | चरित्र, वातावरण, वस्तु, यूआई (उपयोगकर्ता इंटरफ़ेस), जहाज, आंतरिक भाग, उपकरण। | गेमप्ले के पैमाने पर
|
|
133
|
-
| **character-design** | पोर्ट्रेट (चित्र), पूरे शरीर का चित्रण, विभिन्न कोणों से चित्रण, भावों का चित्रण, गतिशील मुद्रा में चित्रण। |
|
|
134
|
-
| **creature-design** | अवधारणा, वर्तनी संबंधी, विस्तृत अध्ययन, क्रिया, माप का संदर्भ, आवास। | शारीरिक
|
|
135
|
-
| **architecture** | बाहरी भाग, आंतरिक भाग, सड़क का दृश्य, संरचनात्मक विवरण, खंडहर, परिदृश्य। |
|
|
73
|
+
| डोमेन। | सड़कें। | क्या चीज़ों का मूल्यांकन किया जाता है? |
|
|
74
|
+
|--------|-------|-----------------|
|
|
75
|
+
| **game-art** | चरित्र, वातावरण, वस्तु, यूआई (उपयोगकर्ता इंटरफ़ेस), जहाज, आंतरिक भाग, उपकरण। | गेमप्ले के पैमाने पर सिल्हूट, गुटों की जानकारी, और पहनने और उम्र बढ़ने के प्रभाव। |
|
|
76
|
+
| **character-design** | पोर्ट्रेट (चित्र), पूरे शरीर का चित्रण, विभिन्न कोणों से चित्रण, भावों का चित्रण, गतिशील मुद्रा में चित्रण। | अनुपात, वेशभूषा की तर्कसंगतता, व्यक्तित्व, और हाव-भाव की स्पष्टता। |
|
|
77
|
+
| **creature-design** | अवधारणा, वर्तनी संबंधी, विस्तृत अध्ययन, क्रिया, माप का संदर्भ, आवास। | शारीरिक संरचना, विकासवादी तर्क, और आकार की विशिष्टता। |
|
|
78
|
+
| **architecture** | बाहरी भाग, आंतरिक भाग, सड़क का दृश्य, संरचनात्मक विवरण, खंडहर, परिदृश्य। | संरचना, सामग्री की एकरूपता, दृष्टिकोण, युग के अनुरूपता। |
|
|
136
79
|
| **vehicle-mech** | बाहरी भाग, कॉकपिट, घटक, आरेख, सिल्हूट शीट, क्षति का प्रकार। | यांत्रिक तर्क, कार्यात्मक डिज़ाइन भाषा, पहुंच बिंदु, क्षति विवरण। |
|
|
137
80
|
|
|
138
|
-
##
|
|
81
|
+
## परियोजना की संरचना।
|
|
139
82
|
|
|
140
|
-
|
|
83
|
+
प्रत्येक परियोजना एक स्वतंत्र इकाई है। पाँच JSON कॉन्फ़िगरेशन फ़ाइलें नियमों को परिभाषित करती हैं; बाकी सब डेटा है।
|
|
141
84
|
|
|
142
85
|
```
|
|
143
|
-
|
|
144
|
-
|
|
145
|
-
|
|
146
|
-
|
|
147
|
-
|
|
148
|
-
|
|
149
|
-
|
|
150
|
-
|
|
86
|
+
projects/my-project/
|
|
87
|
+
project.json Identity + generation defaults
|
|
88
|
+
constitution.json Rules with rationale templates
|
|
89
|
+
lanes.json Subject lanes with detection patterns
|
|
90
|
+
rubric.json Scoring dimensions + thresholds
|
|
91
|
+
terminology.json Group vocabulary + detection order
|
|
92
|
+
records/ Per-asset JSON (provenance + judgment + canon)
|
|
93
|
+
snapshots/ Frozen dataset snapshots
|
|
94
|
+
splits/ Train/val/test partitions
|
|
95
|
+
exports/ Versioned export packages
|
|
96
|
+
training/ Profiles, manifests, packages, eval runs, implementations
|
|
151
97
|
```
|
|
152
98
|
|
|
153
|
-
|
|
99
|
+
## ट्रस्ट की संपत्ति।
|
|
154
100
|
|
|
155
|
-
|
|
101
|
+
ये केवल इच्छाएं नहीं हैं। ये लागू किए जाने वाले नियम हैं।
|
|
156
102
|
|
|
157
|
-
|
|
103
|
+
- **स्नैपशॉट अपरिवर्तनीय होते हैं।** कॉन्फ़िगरेशन फ़िंगरप्रिंट (SHA-256) यह साबित करता है कि कुछ भी नहीं बदला है।
|
|
104
|
+
- **विभाजन डेटा लीक को रोकते हैं।** विषय परिवार (पहचान, वंश या आईडी प्रत्यय के आधार पर) कभी भी विभाजन सीमाओं को पार नहीं करते हैं।
|
|
105
|
+
- **मैनिफेस्ट एक निश्चित अनुबंध होते हैं।** एक्सपोर्ट हैश + कॉन्फ़िगरेशन फ़िंगरप्रिंट। यदि कुछ भी बदलता है, तो एक नया बनाएं।
|
|
106
|
+
- **एडाप्टर सत्य को बदल नहीं सकते।** अलग लेआउट, लेकिन समान रिकॉर्ड। कोई अतिरिक्त जानकारी नहीं, कोई हटाने नहीं, और कोई पुन: वर्गीकरण नहीं।
|
|
107
|
+
- **उत्पन्न आउटपुट समीक्षा के माध्यम से फिर से आते हैं।** कोई शॉर्टकट नहीं। बाकी सब कुछ की तरह, इन्हें भी व्यवस्थित करें और बांधें।
|
|
158
108
|
|
|
159
|
-
|
|
109
|
+
## स्टार फ्रेट।
|
|
160
110
|
|
|
161
|
-
|
|
162
|
-
|
|
163
|
-
## स्टार फ्रेट उदाहरण।
|
|
164
|
-
|
|
165
|
-
एक पूर्ण, कार्यशील उदाहरण के लिए रिपॉजिटरी को क्लोन करें: 1,182 रिकॉर्ड, 28 प्रॉम्प्ट वेव, 5 गुट, 7 लेन, 24 संविधान नियम, और एक कठोर विज्ञान-फाई आरपीजी से 892 स्वीकृत संपत्तियां।
|
|
111
|
+
इस रिपॉजिटरी में एक पूर्ण, कार्यशील उदाहरण शामिल है: 1,182 रिकॉर्ड, 5 गुट, 7 मार्ग, 24 संवैधानिक नियम, 892 स्वीकृत संपत्तियां, 2 प्रशिक्षण प्रोफाइल। यह एक यथार्थवादी विज्ञान-फाई आरपीजी का दृश्य संग्रह है, जो पूरी तरह से तैयार किया गया है।
|
|
166
112
|
|
|
167
113
|
```bash
|
|
168
114
|
git clone https://github.com/mcp-tool-shop-org/style-dataset-lab
|
|
169
115
|
cd style-dataset-lab
|
|
170
|
-
|
|
171
|
-
# Validate the project
|
|
172
116
|
sdlab project doctor --project star-freight
|
|
173
|
-
|
|
174
|
-
|
|
175
|
-
sdlab snapshot create --project star-freight # 839 eligible records
|
|
176
|
-
sdlab split build --project star-freight # ~80/10/10, zero leakage
|
|
177
|
-
sdlab export build --project star-freight # package with checksums
|
|
178
|
-
sdlab eval-pack build --project star-freight # 78 eval records
|
|
117
|
+
sdlab snapshot create --project star-freight # 839 eligible records
|
|
118
|
+
sdlab split build --project star-freight # zero subject leakage
|
|
179
119
|
```
|
|
180
120
|
|
|
181
|
-
##
|
|
121
|
+
## डाउनस्ट्रीम प्रारूप
|
|
182
122
|
|
|
183
|
-
|
|
123
|
+
`sdlab` के पास यह डेटासेट है। प्रारूप रूपांतरण [`repo-dataset`](https://github.com/mcp-tool-shop-org/repo-dataset) द्वारा संभाला जाता है: TRL, LLaVA, Qwen2-VL, JSONL, Parquet, और अन्य। `repo-dataset` डेटा प्रस्तुत करता है; यह कभी भी शामिल करने का निर्णय नहीं लेता है।
|
|
184
124
|
|
|
185
|
-
|
|
186
|
-
# Rename your data directory
|
|
187
|
-
mv games projects
|
|
125
|
+
## इंस्टॉल करें
|
|
188
126
|
|
|
189
|
-
|
|
190
|
-
|
|
191
|
-
sdlab bind --project star-freight # canonical form
|
|
127
|
+
```bash
|
|
128
|
+
npm install -g @mcptoolshop/style-dataset-lab
|
|
192
129
|
```
|
|
193
130
|
|
|
194
|
-
|
|
195
|
-
|
|
196
|
-
**केवल स्थानीय।** `localhost:8188` पर ComfyUI से संवाद करता है। कोई टेलीमेट्री नहीं, कोई विश्लेषण नहीं, कोई बाहरी अनुरोध नहीं। छवियां आपके GPU और फ़ाइल सिस्टम पर ही रहती हैं।
|
|
131
|
+
इसके लिए Node.js 20+ और [ComfyUI](https://github.com/comfyanonymous/ComfyUI) की आवश्यकता है, जो localhost:8188 पर चल रहा होना चाहिए, ताकि सामग्री उत्पन्न की जा सके।
|
|
197
132
|
|
|
198
|
-
##
|
|
133
|
+
## सुरक्षा
|
|
199
134
|
|
|
200
|
-
|
|
201
|
-
- DreamShaper XL Turbo चेकपॉइंट + ClassipeintXL LoRA
|
|
202
|
-
- Node.js 20+
|
|
203
|
-
- प्रशिक्षण के लिए निर्यात के लिए [`@mcptoolshop/repo-dataset`](https://github.com/mcp-tool-shop-org/repo-dataset)
|
|
135
|
+
यह केवल स्थानीय रूप से काम करता है। इसमें कोई टेलीमेट्री, कोई विश्लेषण और कोई बाहरी अनुरोध शामिल नहीं हैं। छवियां आपके GPU और फ़ाइल सिस्टम पर ही रहती हैं।
|
|
204
136
|
|
|
205
137
|
## लाइसेंस
|
|
206
138
|
|
package/README.it.md
CHANGED
|
@@ -11,196 +11,128 @@
|
|
|
11
11
|
<a href="LICENSE"><img src="https://img.shields.io/badge/license-MIT-blue" alt="MIT License"></a>
|
|
12
12
|
</p>
|
|
13
13
|
|
|
14
|
-
|
|
14
|
+
Scrivete le vostre regole visive. Generate opere d'arte. Valutate ogni immagine in base a tali regole. Distribuite i risultati come dati di addestramento versionati e verificabili.
|
|
15
15
|
|
|
16
|
-
|
|
16
|
+
Style Dataset Lab collega le caratteristiche del vostro stile artistico definite in precedenza al set di dati utilizzato per l'addestramento. Definite una "costituzione" che includa regole sulla silhouette, vincoli di palette, linguaggio dei materiali, o qualsiasi altro aspetto rilevante per il vostro progetto. Il sistema genera candidati, li valuta in base a tali regole e confeziona le opere approvate in set di dati riproducibili, in cui ogni elemento spiega perché è stato incluso.
|
|
17
17
|
|
|
18
|
-
|
|
18
|
+
Il ciclo si chiude: addestrate un modello, generate nuovi risultati, valutateli in base agli stessi criteri e reinserite ciò che supera i test. Il set di dati cresce e le regole rimangono valide.
|
|
19
19
|
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
La pipeline produce quattro elementi:
|
|
23
|
-
|
|
24
|
-
| Elemento | Descrizione |
|
|
25
|
-
|----------|-----------|
|
|
26
|
-
| **Snapshot** | Selezione di record idonei, "congelata" e con "impronta digitale". Ogni inclusione ha una traccia esplicita della motivazione. |
|
|
27
|
-
| **Split** | Partizione train/val/test sicura da "data leakage". I record che condividono la stessa famiglia di soggetti vengono sempre inseriti nella stessa partizione. |
|
|
28
|
-
| **Export package** | Set di dati autonomo: manifest, metadati, immagini, suddivisioni, scheda del set di dati e checksum. |
|
|
29
|
-
| **Eval pack** | Compiti di verifica attenti al canone: copertura delle aree, prevenzione di derive indesiderate, ancoraggi/riferimenti, coerenza dei soggetti. |
|
|
30
|
-
|
|
31
|
-
Ogni risorsa all'interno della pipeline contiene tre elementi:
|
|
32
|
-
|
|
33
|
-
1. **Provenienza** -- cronologia completa della generazione (checkpoint, LoRA, seed, sampler, cfg, timing)
|
|
34
|
-
2. **Vincolo al canone** -- quali regole del canone questa risorsa soddisfa, non soddisfa o soddisfa parzialmente
|
|
35
|
-
3. **Valutazione della qualità** -- approvato/rifiutato/al limite, con punteggi per ogni dimensione.
|
|
36
|
-
|
|
37
|
-
Adatto per arte di videogiochi, progettazione di personaggi, progettazione di creature, architettura, concept di veicoli/meccanismi e qualsiasi dominio in cui la produzione visiva deve rimanere coerente.
|
|
38
|
-
|
|
39
|
-
## Guida rapida
|
|
20
|
+
## La pipeline
|
|
40
21
|
|
|
41
22
|
```bash
|
|
42
|
-
#
|
|
43
|
-
npm install -g @mcptoolshop/style-dataset-lab
|
|
44
|
-
|
|
45
|
-
# Scaffold a new project
|
|
23
|
+
# Write your canon. Scaffold the project.
|
|
46
24
|
sdlab init my-project --domain character-design
|
|
47
25
|
|
|
48
|
-
#
|
|
49
|
-
sdlab
|
|
50
|
-
|
|
26
|
+
# Generate candidates via ComfyUI, then review them
|
|
27
|
+
sdlab generate inputs/prompts/wave1.json --project my-project
|
|
28
|
+
sdlab curate <id> approved "Strong silhouette, correct faction palette"
|
|
51
29
|
|
|
52
|
-
|
|
30
|
+
# Bind approved work to constitution rules
|
|
31
|
+
sdlab bind --project my-project
|
|
53
32
|
|
|
54
|
-
|
|
33
|
+
# Freeze a versioned dataset
|
|
34
|
+
sdlab snapshot create --project my-project
|
|
35
|
+
sdlab split build
|
|
36
|
+
sdlab export build
|
|
55
37
|
|
|
56
|
-
|
|
57
|
-
sdlab
|
|
58
|
-
sdlab
|
|
59
|
-
|
|
60
|
-
sdlab
|
|
61
|
-
sdlab generate:identity <packet> # Named-subject identity images
|
|
62
|
-
sdlab generate:controlnet # ControlNet-guided generation
|
|
63
|
-
sdlab generate:ipadapter # IP-Adapter reference-guided
|
|
64
|
-
|
|
65
|
-
sdlab curate <id> <status> <explanation> # Record review judgment
|
|
66
|
-
sdlab compare <a> <b> <winner> <reason> # Pairwise A-vs-B comparison
|
|
67
|
-
sdlab bind [--project <name>] # Bind records to constitution rules
|
|
68
|
-
sdlab painterly [--project <name>] # Post-processing style pass
|
|
69
|
-
|
|
70
|
-
sdlab snapshot create [--profile <name>] # Create frozen dataset snapshot
|
|
71
|
-
sdlab snapshot list # List all snapshots
|
|
72
|
-
sdlab snapshot diff <a> <b> # Compare two snapshots
|
|
73
|
-
sdlab eligibility audit # Audit record training eligibility
|
|
74
|
-
sdlab split build [--snapshot <id>] # Build train/val/test split
|
|
75
|
-
sdlab split audit <id> # Audit split for leakage + balance
|
|
76
|
-
sdlab card generate # Generate dataset card (md + JSON)
|
|
77
|
-
sdlab export build [--snapshot <id>] # Build versioned export package
|
|
78
|
-
sdlab eval-pack build # Build canon-aware eval pack
|
|
38
|
+
# Build a training package and close the loop
|
|
39
|
+
sdlab training-manifest create --profile character-style-lora
|
|
40
|
+
sdlab training-package build
|
|
41
|
+
sdlab eval-run create && sdlab eval-run score <id> --outputs results.jsonl
|
|
42
|
+
sdlab reingest generated --source ./outputs --manifest <id>
|
|
79
43
|
```
|
|
80
44
|
|
|
81
|
-
|
|
45
|
+
L'ultimo comando è fondamentale. I risultati generati vengono sottoposti allo stesso processo di revisione di tutto il resto. Il ciclo si chiude.
|
|
82
46
|
|
|
83
|
-
##
|
|
47
|
+
## Cosa produce
|
|
84
48
|
|
|
85
|
-
|
|
49
|
+
Sette artefatti versionati e con checksum. Ognuno è collegato ai suoi predecessori, in modo da poter risalire a qualsiasi record di addestramento alla regola che lo ha approvato.
|
|
86
50
|
|
|
87
|
-
|
|
88
|
-
|
|
89
|
-
|
|
90
|
-
|
|
91
|
-
|
|
92
|
-
|
|
93
|
-
|
|
94
|
-
|
|
95
|
-
|
|
96
|
-
records/ Per-asset JSON (provenance + judgment + canon)
|
|
97
|
-
inputs/prompts/ Prompt packs (JSON)
|
|
98
|
-
outputs/ Generated images (gitignored)
|
|
99
|
-
comparisons/ A-vs-B preference judgments
|
|
100
|
-
snapshots/ Frozen dataset snapshots
|
|
101
|
-
splits/ Train/val/test partitions
|
|
102
|
-
exports/ Versioned export packages
|
|
103
|
-
eval-packs/ Canon-aware eval instruments
|
|
104
|
-
```
|
|
51
|
+
| Artefatto. | Cos'è. |
|
|
52
|
+
|----------|-----------|
|
|
53
|
+
| **Snapshot** | Selezione di record "congelati" con impronta di configurazione. Ogni inclusione ha una motivazione esplicita. |
|
|
54
|
+
| **Split** | Partizione di addestramento/validazione/test in cui le famiglie di soggetti non si sovrappongono. |
|
|
55
|
+
| **Export package** | Set di dati autonomo: manifest, metadati, immagini, suddivisioni, scheda del set di dati, checksum. |
|
|
56
|
+
| **Eval pack** | Compiti di test sensibili al "canone": copertura delle "lane", deriva proibita, ancoraggi/modelli di riferimento, continuità dei soggetti. |
|
|
57
|
+
| **Training package** | Layout pronto per l'addestramento tramite adattatori (`diffusers-lora`, `generic-image-caption`). Stessa verità, formato diverso. |
|
|
58
|
+
| **Eval scorecard** | Valutazione di superamento/non superamento per ogni compito, in base alla valutazione dei risultati generati rispetto ai set di valutazione. |
|
|
59
|
+
| **Implementation pack** | Esempi di prompt, errori noti, test di continuità e indicazioni per il reinserimento. |
|
|
105
60
|
|
|
106
|
-
##
|
|
61
|
+
## Perché esiste
|
|
107
62
|
|
|
108
|
-
|
|
109
|
-
canon → generate → curate → bind → snapshot → split → export → eval
|
|
110
|
-
| | | | | | | |
|
|
111
|
-
rules ComfyUI judgment rules frozen subject package verify
|
|
112
|
-
selection isolation
|
|
113
|
-
```
|
|
63
|
+
I dati di addestramento sono l'elemento più importante in qualsiasi pipeline di intelligenza artificiale visiva. Tuttavia, la maggior parte dei dati di addestramento è costituita da una cartella di immagini senza una cronologia, senza una traccia di valutazione e senza un collegamento alle regole di stile che avrebbero dovuto seguire.
|
|
114
64
|
|
|
115
|
-
|
|
116
|
-
2. **Genera** -- ComfyUI produce candidati con piena provenienza.
|
|
117
|
-
3. **Seleziona** -- approva/rifiuta con punteggi per ogni dimensione e modalità di errore.
|
|
118
|
-
4. **Collega** -- associa ogni risorsa alle regole del canone con verdetto di successo/fallimento/parziale.
|
|
119
|
-
5. **Snapshot** -- "congela" i record idonei in una selezione deterministica e con "impronta digitale".
|
|
120
|
-
6. **Suddividi** -- partiziona in train/val/test con isolamento dei soggetti e bilanciamento delle aree.
|
|
121
|
-
7. **Esporta** -- crea un pacchetto autonomo con manifest, metadati, immagini e checksum.
|
|
122
|
-
8. **Valuta** -- genera strumenti di test attenti al canone per la verifica del modello.
|
|
65
|
+
Style Dataset Lab rende esplicito questo collegamento. La vostra "costituzione" definisce le regole. La vostra "rubrica" definisce le dimensioni della valutazione. I vostri registri di "curazione" documentano la valutazione. La vostra "prova canonica" dimostra il collegamento. E il vostro set di dati porta con sé tutto questo come una verità strutturata, interrogabile e riproducibile.
|
|
123
66
|
|
|
124
|
-
|
|
67
|
+
Il risultato pratico: quando il vostro LoRA si discosta, potete capire *perché*. Quando la vostra prossima fase di addestramento necessita di dati migliori, sapete esattamente quali record sono "quasi giusti" e quale singola regola hanno violato. Quando un nuovo membro del team chiede qual è il linguaggio visivo del progetto, la risposta non è una lavagna Figma, ma una "costituzione" ricercabile con 1.182 esempi valutati.
|
|
125
68
|
|
|
126
|
-
##
|
|
69
|
+
## Cinque domini, regole reali
|
|
127
70
|
|
|
128
|
-
|
|
71
|
+
Non modelli di esempio. Ogni dominio viene fornito con regole di "costituzione" di livello professionale, definizioni di "lane", rubriche di valutazione e vocabolario di gruppo.
|
|
129
72
|
|
|
130
|
-
| Dominio |
|
|
131
|
-
|
|
132
|
-
| **game-art** | personaggio, ambiente, oggetto, interfaccia utente, nave, interno,
|
|
133
|
-
| **character-design** | ritratto, figura intera, vista a 360°, foglio di espressioni, posa d'azione |
|
|
134
|
-
| **creature-design** | concept,
|
|
135
|
-
| **architecture** | esterno, interno, paesaggio urbano, dettaglio strutturale, rovina, paesaggio |
|
|
136
|
-
| **vehicle-mech** | esterno, cabina di pilotaggio, componente, schema, foglio di silhouette, variante danneggiata |
|
|
73
|
+
| Dominio. | Lane. | Cosa viene valutato. |
|
|
74
|
+
|--------|-------|-----------------|
|
|
75
|
+
| **game-art** | personaggio, ambiente, oggetto, interfaccia utente, nave, interno, attrezzatura. | Silhouette alla scala del gameplay, interpretazione della fazione, usura e invecchiamento. |
|
|
76
|
+
| **character-design** | ritratto, figura intera, vista a 360°, foglio di espressioni, posa d'azione. | proporzioni, logica dell'abbigliamento, personalità, chiarezza dei gesti. |
|
|
77
|
+
| **creature-design** | concept, ortografico, studio dei dettagli, azione, riferimento delle dimensioni, habitat. | anatomia, logica evolutiva, distinzione della silhouette. |
|
|
78
|
+
| **architecture** | esterno, interno, paesaggio urbano, dettaglio strutturale, rovina, paesaggio. | struttura, coerenza dei materiali, prospettiva, coerenza dell'epoca. |
|
|
79
|
+
| **vehicle-mech** | esterno, cabina di pilotaggio, componente, schema, foglio di silhouette, variante danneggiata. | logica meccanica, linguaggio del design, punti di accesso, narrazione dei danni. |
|
|
137
80
|
|
|
138
|
-
##
|
|
81
|
+
## Struttura del progetto
|
|
139
82
|
|
|
140
|
-
|
|
83
|
+
Ogni progetto è autonomo. Cinque file di configurazione JSON definiscono le regole; il resto è costituito da dati.
|
|
141
84
|
|
|
142
85
|
```
|
|
143
|
-
|
|
144
|
-
|
|
145
|
-
|
|
146
|
-
|
|
147
|
-
|
|
148
|
-
|
|
149
|
-
|
|
150
|
-
|
|
86
|
+
projects/my-project/
|
|
87
|
+
project.json Identity + generation defaults
|
|
88
|
+
constitution.json Rules with rationale templates
|
|
89
|
+
lanes.json Subject lanes with detection patterns
|
|
90
|
+
rubric.json Scoring dimensions + thresholds
|
|
91
|
+
terminology.json Group vocabulary + detection order
|
|
92
|
+
records/ Per-asset JSON (provenance + judgment + canon)
|
|
93
|
+
snapshots/ Frozen dataset snapshots
|
|
94
|
+
splits/ Train/val/test partitions
|
|
95
|
+
exports/ Versioned export packages
|
|
96
|
+
training/ Profiles, manifests, packages, eval runs, implementations
|
|
151
97
|
```
|
|
152
98
|
|
|
153
|
-
|
|
154
|
-
|
|
155
|
-
Le **suddivisioni** assegnano i record alle partizioni di training/validazione/test, con isolamento dei soggetti (nessuna famiglia di soggetti compare in più suddivisioni) e distribuzione bilanciata per "corsia". Un generatore di numeri pseudo-casuali (PRNG) con seme garantisce risultati identici a partire dallo stesso seme.
|
|
156
|
-
|
|
157
|
-
I **pacchetti di esportazione** sono autonomi: manifest, metadata.jsonl, immagini (collegate simbolicamente o copiate), suddivisioni, scheda del dataset (markdown + JSON) e checksum in formato BSD. Tutto il necessario per ricostruire il dataset da zero.
|
|
99
|
+
## Principi fondamentali
|
|
158
100
|
|
|
159
|
-
|
|
101
|
+
Questi principi non sono solo aspirazionali, ma vengono applicati rigorosamente.
|
|
160
102
|
|
|
161
|
-
|
|
103
|
+
- **Gli snapshot sono immutabili.** L'impronta digitale della configurazione (SHA-256) dimostra che nulla è cambiato.
|
|
104
|
+
- **Le suddivisioni impediscono la fuoriuscita di dati.** Le famiglie di soggetti (definite da identità, lignaggio o suffisso ID) non attraversano i confini delle partizioni.
|
|
105
|
+
- **I manifesti sono contratti vincolanti.** Esportazione dell'hash + impronta digitale della configurazione. Se qualcosa cambia, è necessario crearne uno nuovo.
|
|
106
|
+
- **Gli adattatori non possono alterare i dati.** Layout diversi, ma stessi record. Nessuna aggiunta, nessuna rimozione, nessuna riclassificazione.
|
|
107
|
+
- **Gli output generati vengono riesaminati.** Non ci sono scorciatoie. Vengono curati e collegati come tutto il resto.
|
|
162
108
|
|
|
163
|
-
##
|
|
109
|
+
## Star Freight
|
|
164
110
|
|
|
165
|
-
|
|
111
|
+
Il repository include un esempio completo e funzionante: 1.182 record, 5 fazioni, 7 percorsi, 24 regole costituzionali, 892 risorse approvate, 2 profili di addestramento. Un canone visivo di un RPG fantascientifico, completamente curato.
|
|
166
112
|
|
|
167
113
|
```bash
|
|
168
114
|
git clone https://github.com/mcp-tool-shop-org/style-dataset-lab
|
|
169
115
|
cd style-dataset-lab
|
|
170
|
-
|
|
171
|
-
# Validate the project
|
|
172
116
|
sdlab project doctor --project star-freight
|
|
173
|
-
|
|
174
|
-
|
|
175
|
-
sdlab snapshot create --project star-freight # 839 eligible records
|
|
176
|
-
sdlab split build --project star-freight # ~80/10/10, zero leakage
|
|
177
|
-
sdlab export build --project star-freight # package with checksums
|
|
178
|
-
sdlab eval-pack build --project star-freight # 78 eval records
|
|
117
|
+
sdlab snapshot create --project star-freight # 839 eligible records
|
|
118
|
+
sdlab split build --project star-freight # zero subject leakage
|
|
179
119
|
```
|
|
180
120
|
|
|
181
|
-
##
|
|
121
|
+
## Formati di output
|
|
182
122
|
|
|
183
|
-
|
|
123
|
+
`sdlab` è proprietaria del dataset. La conversione del formato è gestita da [`repo-dataset`](https://github.com/mcp-tool-shop-org/repo-dataset): TRL, LLaVA, Qwen2-VL, JSONL, Parquet e altro. `repo-dataset` esegue la conversione; non decide quali dati includere.
|
|
184
124
|
|
|
185
|
-
|
|
186
|
-
# Rename your data directory
|
|
187
|
-
mv games projects
|
|
125
|
+
## Installazione
|
|
188
126
|
|
|
189
|
-
|
|
190
|
-
|
|
191
|
-
sdlab bind --project star-freight # canonical form
|
|
127
|
+
```bash
|
|
128
|
+
npm install -g @mcptoolshop/style-dataset-lab
|
|
192
129
|
```
|
|
193
130
|
|
|
194
|
-
|
|
195
|
-
|
|
196
|
-
**Solo locale.** Comunica con ComfyUI su `localhost:8188`. Nessuna telemetria, nessuna analisi, nessuna richiesta esterna. Le immagini rimangono sulla tua GPU e nel tuo filesystem.
|
|
131
|
+
Richiede Node.js 20+ e [ComfyUI](https://github.com/comfyanonymous/ComfyUI) installato localmente all'indirizzo localhost:8188 per la generazione.
|
|
197
132
|
|
|
198
|
-
##
|
|
133
|
+
## Sicurezza
|
|
199
134
|
|
|
200
|
-
|
|
201
|
-
- Checkpoint DreamShaper XL Turbo + LoRA ClassipeintXL
|
|
202
|
-
- Node.js 20+
|
|
203
|
-
- [`@mcptoolshop/repo-dataset`](https://github.com/mcp-tool-shop-org/repo-dataset) per l'esportazione dei dati per l'addestramento.
|
|
135
|
+
Funziona solo localmente. Nessuna telemetria, nessuna analisi, nessuna richiesta esterna. Le immagini rimangono sulla GPU e sul filesystem locale.
|
|
204
136
|
|
|
205
137
|
## Licenza
|
|
206
138
|
|