tongflow 0.1.0 → 1.0.0

package/README.md

@@ -1,7 +1,8 @@
 # tongflow
 
-The core of [TongFlow](https://github.com/tong-io/tongflow), the multi-modal
-AIGC workflow studio, as an npm package with two entries:
+The core of [TongFlow](https://github.com/tong-io/tongflow), the
+Agent-Human-Friendly, Modality-First, Enterprise-Level GenAI Workflow Platform,
+as an npm package with two entries:
 
 - **`tongflow`** — framework-free: the ABI contract, the static node
   registry, connection validation, the workflow exporter, canvas layout, a

package/abi/tongflow.abi.json

@@ -744,6 +744,12 @@
                     },
                     "text": {
                         "type": "string"
+                    },
+                    "images": {
+                        "type": "array",
+                        "items": {
+                            "$ref": "#/$defs/ImageRef"
+                        }
                     }
                 },
                 "additionalProperties": false
@@ -928,6 +934,45 @@
                 "additionalProperties": false
             }
         },
+        {
+            "nodeSlot": "text-gen-audio",
+            "inputs": {
+                "type": "object",
+                "required": ["text"],
+                "properties": {
+                    "text": {
+                        "type": "string",
+                        "minLength": 1
+                    },
+                    "ref_audios": {
+                        "type": "array",
+                        "items": {
+                            "$ref": "#/$defs/Asset"
+                        }
+                    },
+                    "seed": {
+                        "type": "integer"
+                    }
+                },
+                "additionalProperties": false
+            },
+            "outputs": {
+                "type": "object",
+                "required": ["success"],
+                "properties": {
+                    "success": {
+                        "type": "boolean"
+                    },
+                    "error": {
+                        "type": "string"
+                    },
+                    "audio": {
+                        "$ref": "#/$defs/AudioRef"
+                    }
+                },
+                "additionalProperties": false
+            }
+        },
         {
             "nodeSlot": "text-gen-speech-preset",
             "inputs": {
@@ -2316,13 +2361,13 @@
             "nodeSlot": "convert_voice",
             "inputs": {
                 "type": "object",
-                "required": ["sourceKey", "targetKey"],
+                "required": ["audio", "ref_audio"],
                 "properties": {
-                    "sourceKey": {
+                    "audio": {
                         "$ref": "#/$defs/Asset"
                     },
-                    "targetKey": {
-                        "type": "string"
+                    "ref_audio": {
+                        "$ref": "#/$defs/Asset"
                     }
                 },
                 "additionalProperties": false

package/dist/canvas-messages.cjs

@@ -116,6 +116,7 @@ var en_default = {
 			"separateAudio": "Separate Vocals",
 			"separateSpeaker": "Speaker Separation",
 			"separateSound": "Extract Sound",
+			"speakWithStyle": "Speak with Style",
 			"denoise": "Denoise",
 			"convertVoice": "Voice Replacement",
 			"filter": "Filter",
@@ -253,6 +254,9 @@ var en_default = {
 				"modalDeployProgressHint": "Deployed {done}/{total}",
 				"pluginImplementationTitle": "Implementation",
 				"pluginModelTitle": "Model",
+				"pluginParamsTitle": "Advanced",
+				"pluginParamsReset": "Reset",
+				"pluginParamDefault": "default {value}",
 				"pluginImplementationLoading": "Loading plugin implementations…",
 				"pluginImplementationEmpty": "No plugin implementations were scanned for this capability. Add Modal or API plugins under the repo's plugins/ directory (see README), then reload this page.",
 				"pluginRegistryLoadError": "Could not load the plugin registry: {message}",
@@ -378,11 +382,7 @@ var en_default = {
 				"referenceTextPlaceholder": "Optional: transcript of the reference audio — improves clone quality",
 				"referenceTextCloneHint": "Leave empty for fast x-vector clone; paste the reference transcript for higher-quality ICL clone",
 				"language": "Language",
-				"inputText": "Input Text",
-				"voiceOptions": {
-					"female": "Female Voice",
-					"male": "Male Voice"
-				}
+				"inputText": "Input Text"
 			},
 			"titles": {
 				"imageGenVideo": "Image to Video",
@@ -446,7 +446,8 @@ var en_default = {
 				"musicExtract": "Extract Stem",
 				"musicLego": "Add Track",
 				"musicComplete": "Complete Arrangement",
-				"musicBrief": "Music Brief"
+				"musicBrief": "Music Brief",
+				"textGenAudio": "Text to Audio"
 			},
 			"options": {
 				"portrait": "Portrait",
@@ -753,15 +754,9 @@ var en_default = {
 				"audioPromptPlaceholder": "Enter audio dubbing prompt"
 			},
 			"convertVoice": {
-				"voiceLabel": "Voice:",
-				"selectVoice": "Select Voice",
-				"previewVoice": "Preview Voice",
-				"uploadVoice": "Upload Voice",
-				"recordVoice": "Record Voice",
-				"recordAudio": "Record Audio",
-				"recordHint": "You can record audio here.",
-				"recordNeedImpl": "Audio recording feature needs implementation",
-				"done": "Done"
+				"sourceAudio": "Source audio",
+				"referenceVoice": "Reference voice",
+				"connectHint": "Connect the audio to convert and a reference voice clip"
 			},
 			"removeWatermark": { "hint": "Automatically detect and remove Sora video watermarks" },
 			"videoGenText": {
@@ -955,6 +950,12 @@ var en_default = {
 			"separateSound": {
 				"textLabel": "Sound to isolate",
 				"textPlaceholder": "e.g. dog barking, piano, sirens in the background"
+			},
+			"textGenAudio": {
+				"voiceReference": "Reference voices",
+				"promptLabel": "Audio prompt",
+				"promptPlaceholder": "Describe the whole scene: who speaks and how, background ambience, sound effects. Quote the lines, e.g. @voice1 says: \"It's sunny today.\" Rain patters on the window.",
+				"hint": "One pass renders speech, sound effects and ambience together. Connect up to 3 audio clips as reference voices and click one to insert @voice1…@voice3."
 			}
 		}
 	},
@@ -1017,6 +1018,7 @@ var en_default = {
 		"copy": "Copy",
 		"copied": "Copied",
 		"close": "Close",
+		"openModalBilling": "Open Modal billing",
 		"needHelp": "Stuck? Come find us:",
 		"wechatGroup": "WeChat group",
 		"wechatQrAlt": "WeChat group QR code"
@@ -1103,7 +1105,7 @@ var ja_default = {
 			"saveSuccess": "保存しました！",
 			"saveFailed": "保存に失敗しました。もう一度お試しください",
 			"generateVideo": "動画生成",
-			"generateAudio": "音声生成",
+			"generateAudio": "オーディオ生成",
 			"generateText": "テキスト生成",
 			"generateImage": "画像生成",
 			"generateMusic": "音楽生成",
@@ -1148,6 +1150,7 @@ var ja_default = {
 			"separateAudio": "ボーカル分離",
 			"separateSpeaker": "話者分離",
 			"separateSound": "音を抽出",
+			"speakWithStyle": "感情付き音声",
 			"denoise": "ノイズ除去",
 			"convertVoice": "音声置換",
 			"filter": "フィルター",
@@ -1285,6 +1288,9 @@ var ja_default = {
 				"modalDeployProgressHint": "{done}/{total} をデプロイ済み",
 				"pluginImplementationTitle": "実装",
 				"pluginModelTitle": "モデル",
+				"pluginParamsTitle": "詳細設定",
+				"pluginParamsReset": "リセット",
+				"pluginParamDefault": "既定 {value}",
 				"pluginImplementationLoading": "プラグイン実装一覧を読み込み中…",
 				"pluginImplementationEmpty": "この機能向けのプラグイン実装がスキャン結果にありません。リポジトリの plugins/ に Modal または API プラグインを追加してください（README 参照）。ページを再読み込みしてください。",
 				"pluginRegistryLoadError": "プラグイン登録情報を読み込めませんでした：{message}",
@@ -1410,11 +1416,7 @@ var ja_default = {
 				"referenceTextPlaceholder": "任意：参照音声の書き起こしテキスト。クローン品質の向上に役立ちます",
 				"referenceTextCloneHint": "空欄の場合は x-vector クローン。転写テキストを入力すると ICL 高品質クローンになります",
 				"language": "言語",
-				"inputText": "テキスト入力",
-				"voiceOptions": {
-					"female": "女性の声",
-					"male": "男性の声"
-				}
+				"inputText": "テキスト入力"
 			},
 			"titles": {
 				"imageGenVideo": "画像から動画",
@@ -1478,7 +1480,8 @@ var ja_default = {
 				"musicExtract": "ステム抽出",
 				"musicLego": "トラック追加",
 				"musicComplete": "編曲補完",
-				"musicBrief": "音楽ブリーフ"
+				"musicBrief": "音楽ブリーフ",
+				"textGenAudio": "テキストからオーディオ"
 			},
 			"options": {
 				"portrait": "縦向き",
@@ -1501,7 +1504,7 @@ var ja_default = {
 				"describeVideo": "動画を説明",
 				"recognizeSpeech": "音声を認識",
 				"generateMusic": "音楽を生成",
-				"generateAudio": "音声を生成",
+				"generateAudio": "オーディオを生成",
 				"startReplace": "置換を開始",
 				"startDenoise": "ノイズ除去を開始",
 				"parseDocument": "ドキュメントを解析",
@@ -1699,15 +1702,9 @@ var ja_default = {
 				"audioPromptPlaceholder": "音声吹き替えのプロンプトを入力"
 			},
 			"convertVoice": {
-				"voiceLabel": "音声：",
-				"selectVoice": "音声を選択",
-				"previewVoice": "音声をプレビュー",
-				"uploadVoice": "音声をアップロード",
-				"recordVoice": "音声を録音",
-				"recordAudio": "音声を録音",
-				"recordHint": "ここで音声を録音できます。",
-				"recordNeedImpl": "音声録音機能は実装が必要です",
-				"done": "完了"
+				"sourceAudio": "元の音声",
+				"referenceVoice": "参考ボイス",
+				"connectHint": "変換したい音声と、参考にする声の音声をつないでください"
 			},
 			"removeWatermark": { "hint": "Sora動画の透かしを自動検出して削除" },
 			"videoGenText": {
@@ -1901,6 +1898,12 @@ var ja_default = {
 			"separateSound": {
 				"textLabel": "抽出したい音",
 				"textPlaceholder": "例:犬の鳴き声、ピアノ、背景のサイレン"
+			},
+			"textGenAudio": {
+				"voiceReference": "参照ボイス",
+				"promptLabel": "オーディオの説明",
+				"promptPlaceholder": "場面をまるごと書きます：誰がどう話すか、背景の環境音、効果音。セリフは引用符で囲みます。例：@voice1 が言う：「今日はいい天気だね。」窓の外で小雨が降っている。",
+				"hint": "話し声・効果音・環境音を一度に生成します。参照ボイスとして音声を最大 3 本つなぎ、クリックすると @voice1…@voice3 が挿入されます。"
 			}
 		}
 	},
@@ -1963,6 +1966,7 @@ var ja_default = {
 		"copy": "コピー",
 		"copied": "コピーしました",
 		"close": "閉じる",
+		"openModalBilling": "Modal の請求設定を開く",
 		"needHelp": "解決しない場合はこちらへ：",
 		"wechatGroup": "WeChat グループ",
 		"wechatQrAlt": "WeChat グループの QR コード"
@@ -2094,6 +2098,7 @@ var ko_default = {
 			"separateAudio": "보컬 분리",
 			"separateSpeaker": "화자 분리",
 			"separateSound": "소리 추출",
+			"speakWithStyle": "감정 음성 생성",
 			"denoise": "노이즈 제거",
 			"convertVoice": "음성 교체",
 			"filter": "필터",
@@ -2231,6 +2236,9 @@ var ko_default = {
 				"modalDeployProgressHint": "{done}/{total} 배포됨",
 				"pluginImplementationTitle": "구현",
 				"pluginModelTitle": "모델",
+				"pluginParamsTitle": "고급 설정",
+				"pluginParamsReset": "초기화",
+				"pluginParamDefault": "기본 {value}",
 				"pluginImplementationLoading": "플러그인 구현을 불러오는 중…",
 				"pluginImplementationEmpty": "이 기능에 대해 스캔된 플러그인 구현이 없습니다. 저장소의 plugins/ 디렉터리 아래에 Modal 또는 API 플러그인을 추가한 후(README 참조) 이 페이지를 새로 고치세요.",
 				"pluginRegistryLoadError": "플러그인 레지스트리를 불러올 수 없습니다: {message}",
@@ -2356,11 +2364,7 @@ var ko_default = {
 				"referenceTextPlaceholder": "선택 사항: 참조 오디오의 전사본 — 복제 품질을 향상시킵니다",
 				"referenceTextCloneHint": "빠른 x-vector 복제는 비워 두고, 더 높은 품질의 ICL 복제를 위해서는 참조 전사본을 붙여넣으세요",
 				"language": "언어",
-				"inputText": "입력 텍스트",
-				"voiceOptions": {
-					"female": "여성 목소리",
-					"male": "남성 목소리"
-				}
+				"inputText": "입력 텍스트"
 			},
 			"titles": {
 				"imageGenVideo": "이미지-비디오",
@@ -2424,7 +2428,8 @@ var ko_default = {
 				"musicExtract": "스템 추출",
 				"musicLego": "트랙 추가",
 				"musicComplete": "편곡 완성",
-				"musicBrief": "음악 브리프"
+				"musicBrief": "음악 브리프",
+				"textGenAudio": "텍스트로 오디오 생성"
 			},
 			"options": {
 				"portrait": "세로",
@@ -2731,15 +2736,9 @@ var ko_default = {
 				"audioPromptPlaceholder": "오디오 더빙 프롬프트 입력"
 			},
 			"convertVoice": {
-				"voiceLabel": "음성:",
-				"selectVoice": "음성 선택",
-				"previewVoice": "음성 미리듣기",
-				"uploadVoice": "음성 업로드",
-				"recordVoice": "음성 녹음",
-				"recordAudio": "오디오 녹음",
-				"recordHint": "여기에서 오디오를 녹음할 수 있습니다.",
-				"recordNeedImpl": "오디오 녹음 기능 구현이 필요합니다",
-				"done": "완료"
+				"sourceAudio": "원본 오디오",
+				"referenceVoice": "참고 목소리",
+				"connectHint": "바꿀 오디오와 참고할 목소리 오디오를 연결하세요"
 			},
 			"removeWatermark": { "hint": "Sora 비디오 워터마크를 자동으로 감지하고 제거합니다" },
 			"videoGenText": {
@@ -2933,6 +2932,12 @@ var ko_default = {
 			"separateSound": {
 				"textLabel": "추출할 소리",
 				"textPlaceholder": "예: 개 짖는 소리, 피아노, 배경 사이렌"
+			},
+			"textGenAudio": {
+				"voiceReference": "참조 음색",
+				"promptLabel": "오디오 설명",
+				"promptPlaceholder": "장면 전체를 적어 주세요. 누가 어떻게 말하는지, 배경 소리, 효과음까지. 대사는 따옴표로 묶어요. 예: @voice1이 말한다: \"오늘 날씨 좋다.\" 창밖에 가랑비가 내린다.",
+				"hint": "말소리, 효과음, 배경음을 한 번에 만들어요. 참조 음색으로 오디오를 최대 3개까지 연결하고, 누르면 @voice1…@voice3이 설명에 들어가요."
 			}
 		}
 	},
@@ -2995,6 +3000,7 @@ var ko_default = {
 		"copy": "복사",
 		"copied": "복사됨",
 		"close": "닫기",
+		"openModalBilling": "Modal 결제 설정 열기",
 		"needHelp": "해결이 안 되면 커뮤니티로 오세요:",
 		"wechatGroup": "WeChat 그룹",
 		"wechatQrAlt": "WeChat 그룹 QR 코드"
@@ -3081,7 +3087,7 @@ var zh_default = {
 			"saveSuccess": "保存成功！",
 			"saveFailed": "保存失败，请重试",
 			"generateVideo": "生成视频",
-			"generateAudio": "生成语音",
+			"generateAudio": "生成音频",
 			"generateText": "生成文本",
 			"generateImage": "生成图片",
 			"generateMusic": "生成音乐",
@@ -3126,6 +3132,7 @@ var zh_default = {
 			"separateAudio": "人声分离",
 			"separateSpeaker": "说话人分离",
 			"separateSound": "提取声音",
+			"speakWithStyle": "按情绪配音",
 			"denoise": "降噪",
 			"convertVoice": "人声替换",
 			"filter": "筛选",
@@ -3263,6 +3270,9 @@ var zh_default = {
 				"modalDeployProgressHint": "已部署 {done}/{total}",
 				"pluginImplementationTitle": "实现",
 				"pluginModelTitle": "模型",
+				"pluginParamsTitle": "高级参数",
+				"pluginParamsReset": "重置",
+				"pluginParamDefault": "默认 {value}",
 				"pluginImplementationLoading": "正在加载插件实现列表…",
 				"pluginImplementationEmpty": "未扫描到适用于该能力的插件实现。请在仓库的 plugins/ 目录下添加 Modal 或 API 插件（见 README），然后刷新页面。",
 				"pluginRegistryLoadError": "无法加载插件注册表：{message}",
@@ -3388,11 +3398,7 @@ var zh_default = {
 				"referenceTextPlaceholder": "可选：参考音频的转写文本，有助于提升克隆质量",
 				"referenceTextCloneHint": "不填则使用 x-vector 快速克隆；填写参考音频转写文本可启用更高质量的 ICL 克隆",
 				"language": "语言",
-				"inputText": "输入文本",
-				"voiceOptions": {
-					"female": "普通女声",
-					"male": "普通男声"
-				}
+				"inputText": "输入文本"
 			},
 			"titles": {
 				"imageGenVideo": "图片生成视频",
@@ -3456,7 +3462,8 @@ var zh_default = {
 				"musicExtract": "分离音轨",
 				"musicLego": "添加乐轨",
 				"musicComplete": "补全编曲",
-				"musicBrief": "音乐企划"
+				"musicBrief": "音乐企划",
+				"textGenAudio": "文本生成音频"
 			},
 			"options": {
 				"portrait": "竖屏",
@@ -3763,15 +3770,9 @@ var zh_default = {
 				"audioPromptPlaceholder": "输入音频配音提示词"
 			},
 			"convertVoice": {
-				"voiceLabel": "音色：",
-				"selectVoice": "请选择音色",
-				"previewVoice": "试听当前音色",
-				"uploadVoice": "上传音色",
-				"recordVoice": "录制音色",
-				"recordAudio": "录制音频",
-				"recordHint": "您可以在这里录制音频。",
-				"recordNeedImpl": "音频录制功能需要实现",
-				"done": "完成"
+				"sourceAudio": "源音频",
+				"referenceVoice": "参考音色",
+				"connectHint": "连上要换声的音频，再连一段参考音色"
 			},
 			"removeWatermark": { "hint": "自动识别并去除 Sora 视频水印" },
 			"videoGenText": {
@@ -3965,6 +3966,12 @@ var zh_default = {
 			"separateSound": {
 				"textLabel": "要提取的声音",
 				"textPlaceholder": "如:狗叫、钢琴、背景里的警笛"
+			},
+			"textGenAudio": {
+				"voiceReference": "参考音色",
+				"promptLabel": "音频描述",
+				"promptPlaceholder": "把整段场景写出来：谁在说话、怎么说，背景环境，音效。台词用引号，例如：@voice1 说：“今天天气真好。”窗外下着小雨。",
+				"hint": "一次生成人声、音效和环境声。最多连 3 段音频作参考音色，点一下就把 @voice1…@voice3 插进描述里。"
 			}
 		}
 	},
@@ -4027,6 +4034,7 @@ var zh_default = {
 		"copy": "复制",
 		"copied": "已复制",
 		"close": "关闭",
+		"openModalBilling": "打开 Modal 账单设置",
 		"needHelp": "解决不了？来社群里找我们：",
 		"wechatGroup": "微信群",
 		"wechatQrAlt": "微信群二维码"