mulmocast 0.0.1

package/README.md

@@ -0,0 +1,74 @@
+# mulmo
+
+A CLI tool for generating podcast and video content from script files. Automates the process of creating audio, images, and video from structured script files.
+
+## Installation
+
+```bash
+npm install -g mulmo
+```
+
+You'll also need to install ffmpeg:
+```bash
+# For macOS with Homebrew
+brew install ffmpeg
+
+# For other platforms
+# Visit https://ffmpeg.org/download.html
+```
+
+## Configuration
+
+Create a `.env` file in your project directory with the following API keys:
+
+```
+OPENAI_API_KEY=your_openai_api_key
+GOOGLE_PROJECT_ID=your_google_project_id # optional for movie, image generation
+NIJIVOICE_API_KEY=your_nijivoice_api_key # optional for movie, audio generation
+BROWSERLESS_API_TOKEN=your_browserless_api_token # optional for scripting from web content
+```
+
+## Workflow
+
+1. Create a MulmoScript JSON file with `mulmo-tool scripting`
+2. Generate audio with `mulmo audio`
+3. Generate images with `mulmo images` 
+4. Create final video with `mulmo movie`
+
+## Generate MulmoScript
+
+```bash
+# Generate script from web content
+mulmo-tool scripting -u https://example.com -t seed_materials
+
+# Generate script with interactive mode
+mulmo-tool scripting -i -t seed_interactive
+```
+
+## Generate content from MulmoScript
+
+Mulmo provides several commands to handle different aspects of content creation:
+
+```bash
+# Generate audio from script
+mulmo audio -f script.json
+
+# Generate images for script
+mulmo images -f script.json
+
+# Generate both audio and images, then combine into video
+mulmo movie -f script.json
+
+# Translate script to Japanese
+mulmo translate -f script.json
+```
+
+## MulmoScript Format
+
+MulmoScript is a JSON format to define podcast or video scripts:
+schema: [./src/types/schema.ts](./src/types/schema.ts)
+
+
+## Contributing
+
+For developers interested in contributing to this project, please see [CONTRIBUTING.md](./CONTRIBUTING.md).

package/assets/templates/business.json

@@ -0,0 +1,89 @@
+{
+  "title": "Business presentation",
+  "description": "Template for children book.",
+  "systemPrompt": "Generate a script for a business presentation of the given topic. Use textSlides or markdown to show slides or use imagePrompt to generate an appropriate image for that page. Use the JSON below as a template",
+  "script": {
+    "$mulmocast": {
+      "version": "1.0",
+      "credit": "closing"
+    },
+    "title": "Sample Title",
+    "canvasSize": {
+      "width": 1536,
+      "height": 1024
+    },
+    "imageParams": {
+      "style": "Style appropriate for business environment.",
+      "model": "gpt-image-1",
+      "size": "1536x1024"
+    },
+    "speechParams": {
+      "speakers": {
+        "Presenter": {
+          "voiceId": "shimmer",
+          "displayName": {
+            "en": "Presenter",
+            "ja": "語り手"
+          }
+        }
+      }
+    },
+    "lang": "en",
+    "beats": [
+      {
+        "speaker": "Presenter",
+        "text": "Today we're exploring a fascinating concept that has shaped some of the most innovative companies and leaders of our time: the Reality Distortion Field. This term has become synonymous with visionary leadership and the ability to accomplish seemingly impossible goals.",
+        "image": {
+          "type": "textSlide",
+          "slide": {
+            "title": "This is the title of this slide",
+            "bullets": []
+          }
+        },
+        "textSlideParams": {
+          "cssStyles": ["h1 { margin-top: 400px }"]
+        }
+      },
+      {
+        "speaker": "Presenter",
+        "text": "The evolution of humans is a complex journey that spans millions of years, shaped by biology, environment, and culture. Here's a high-level summary of the key stages in human evolution",
+        "image": {
+          "type": "textSlide",
+          "slide": {
+            "title": "Human Evolution",
+            "bullets": [
+              "Early Primates",
+              "Hominids and Hominins",
+              "Australopithecus",
+              "Genus Homo Emerges",
+              "Homo erectus and Migration",
+              "Neanderthals and Other Archaic Humans",
+              "Homo sapiens"
+            ]
+          }
+        }
+      },
+      {
+        "speaker": "Presenter",
+        "text": "Our story begins with tree-dwelling primates—small mammals with forward-facing eyes and grasping hands. These ancestors lived in forests and evolved traits useful for climbing and visual depth perception.",
+        "image": {
+          "type": "markdown",
+          "markdown": [
+            "# Markdown Table Example",
+            "| Item              | In Stock | Price |",
+            "| :---------------- | :------: | ----: |",
+            "| Python Hat        |   True   | 23.99 |",
+            "| SQL Hat           |   True   | 23.99 |",
+            "| Codecademy Tee    |  False   | 19.99 |",
+            "| Codecademy Hoodie |  False   | 42.99 |"
+          ]
+        }
+      },
+      {
+        "speaker": "Presenter",
+        "text": "Our story begins with tree-dwelling primates—small mammals with forward-facing eyes and grasping hands. These ancestors lived in forests and evolved traits useful for climbing and visual depth perception.",
+        "imagePrompt": "tree-dwelling primates with forward-facing eyes in a jungle."
+      }
+    ]
+  }
+}

package/assets/templates/children_book.json

@@ -0,0 +1,135 @@
+{
+  "title": "Children Book",
+  "description": "Template for children book.",
+  "systemPrompt": "Please generate a script for a children book on the topic provided by the user. Each page (=beat) must haven an image prompt appropriate for the text.",
+  "script": {
+    "$mulmocast": {
+      "version": "1.0",
+      "credit": "closing"
+    },
+    "title": "桃太郎",
+    "canvasSize": {
+      "width": 1536,
+      "height": 1024
+    },
+    "imageParams": {
+      "style": "A hand-drawn style illustration with a warm, nostalgic atmosphere. The background is rich with natural scenery—lush forests, cloudy skies, and traditional Japanese architecture. Characters have expressive eyes, soft facial features, and are portrayed with gentle lighting and subtle shading. The color palette is muted yet vivid, using earthy tones and watercolor-like textures. The overall scene feels magical and peaceful, with a sense of quiet wonder and emotional depth, reminiscent of classic 1980s and 1990s Japanese animation.",
+      "model": "gpt-image-1",
+      "size": "1536x1024"
+    },
+    "speechParams": {
+      "speakers": {
+        "Presenter": {
+          "voiceId": "shimmer",
+          "displayName": {
+            "en": "Presenter",
+            "ja": "語り手"
+          }
+        }
+      }
+    },
+    "lang": "ja",
+    "beats": [
+      {
+        "speaker": "Presenter",
+        "text": "むかしむかし、あるところにおじいさんとおばあさんが住んでいました。おじいさんは山へ芝刈りに、おばあさんは川へ洗濯に行きました。",
+        "imagePrompt": "藁葺き屋根の古い日本家屋。近くには清らかな川が流れ、裏には緑豊かな山がある。おじいさんは鎌を持って山へ向かい、おばあさんは洗濯かごを持って川へ向かっている。春の穏やかな日差しが風景を照らしている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "おばあさんが川で洗濯をしていると、上流から大きな桃が流れてきました。「まあ、なんて大きな桃でしょう」とおばあさんは驚きました。",
+        "imagePrompt": "川で洗濯するおばあさん。川面に映る青空と白い雲。上流から流れてくる異様に大きくて鮮やかな赤い桃。驚いた表情でそれを見つめるおばあさん。周りには洗濯物と石。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "おばあさんはその桃を持ち帰り、「おじいさん、大きな桃を見つけましたよ」と言いました。二人が桃を切ろうとすると、中から元気な男の子が生まれました。",
+        "imagePrompt": "家の中、赤ん坊を高く抱き上げて、驚きと喜びの表情を浮かべる老夫婦。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "二人は男の子を「桃太郎」と名付けて、大切に育てました。桃太郎はすくすくと成長し、とても強い子になりました。",
+        "imagePrompt": "時間の経過を示す4コマの連続画像。最初は赤ちゃん、次に幼児、そして少年、最後に若い男性へと成長する桃太郎。各段階でおじいさんとおばあさんが愛情深く見守っている。最後の画像では、たくましく成長した桃太郎が木を持ち上げたり、重い石を運んだりして力の強さを示している。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "ある日、鬼が島から来た鬼たちが村を荒らしているという話を聞いた桃太郎は、おじいさんとおばあさんに「鬼退治に行きます」と告げました。",
+        "imagePrompt": "家の中の桃太郎、おじいさんとおばあさん。窓の外では村人たちが恐怖の表情で逃げ回り、遠くには炎と煙が見える。決意に満ちた表情の桃太郎が立ち上がり、おじいさんとおばあさんに語りかけている。憂慮と誇りの入り混じった表情の老夫婦。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "おばあさんは桃太郎のために、日本一のきびだんごを作ってくれました。おじいさんは立派な刀と着物をくれました。",
+        "imagePrompt": "家の中。おばあさんが台所できびだんごを作り、おじいさんが桐箱から刀と鮮やかな着物を取り出している。準備を整える桃太郎。テーブルの上には小さな布包みにきびだんごが包まれている。朝日が障子を通して部屋を温かく照らしている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "「いってきます」と言って、桃太郎はきびだんごを持って、鬼が島へ向かいました。",
+        "imagePrompt": "家の前で出発する桃太郎。腰にはきびだんごの入った袋と刀、背中には小さな旗。見送るおじいさんとおばあさん、そして村人たち。桃太郎は自信に満ちた表情で前方を見つめている。朝霧の中、道は山々へと続いている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "道中、桃太郎は犬に出会いました。「桃太郎さん、桃太郎さん、お腰につけたきびだんご、一つわたしに下さいな」と犬は言いました。",
+        "imagePrompt": "山道を進む桃太郎。横には大きな茶色の犬が立っている。犬は尾を振り、期待を込めた表情で桃太郎を見上げている。周りには春の花と緑豊かな自然。桃太郎は犬に微笑みかけている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "「よし、一つあげよう。その代わり家来になるんだよ」と桃太郎は言いました。犬は喜んできびだんごを食べ、桃太郎の家来になりました。",
+        "imagePrompt": "桃太郎がきびだんごを犬に渡している様子。犬が嬉しそうにきびだんごを食べている。桃太郎の表情は優しく頼もしい。背景には山と川、遠くには鬼が島を思わせる遠景。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "次に、桃太郎と犬は猿に出会いました。猿もきびだんごと引き換えに、桃太郎の家来になりました。",
+        "imagePrompt": "森の中の道。桃太郎と犬が木にとまる猿と話している。猿は好奇心いっぱいの表情で桃太郎の手にあるきびだんごを見ている。周りには色とりどりの木々と花。犬は猿を友好的に見上げている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "さらに進むと、今度はキジに出会いました。キジもきびだんごをもらい、桃太郎の家来になりました。",
+        "imagePrompt": "山の開けた場所。空高く舞うカラフルなキジが桃太郎たちに近づいてきている。地面には桃太郎、犬、猿が立っており、空を見上げている。キジは美しい羽を広げ、桃太郎のきびだんごに目を向けている。背景には雄大な山々と澄んだ青空。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "こうして桃太郎は、犬、猿、キジを家来にして、いよいよ鬼が島へと向かいました。",
+        "imagePrompt": "海に浮かぶ鬼が島に向かう小さな船。船の上には桃太郎、犬、猿、キジが乗っている。桃太郎は立って指揮を取り、犬は船の前方を見据え、猿は帆を操作し、キジは空から見張りをしている。荒々しい波と暗雲が立ち込める中、島へと近づく彼らの姿。島には険しい岩山と不気味な城が見える。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "鬼が島に着くと、そこには大きな門がありました。キジが飛んで様子を見ると、中では鬼たちが宴会をしていました。",
+        "imagePrompt": "鬼ヶ島の大きな赤い門。門の上空を飛ぶキジ。門の向こう側では、様々な色の鬼たちが酒を飲み、踊り、騒いでいる様子が見える。鬼の中には角が1本、2本、3本のものなど様々。宴会場の周りには盗んできた宝物が山積みになっている。門の手前には桃太郎、犬、猿が隠れて様子をうかがっている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "「よーし、みんな準備はいいか。今から鬼退治だ！」と桃太郎は言いました。",
+        "imagePrompt": "鬼ヶ島の入り口近く、岩陰に隠れた桃太郎と家来たち。桃太郎は刀を抜き、決意に満ちた表情で仲間たちに語りかけている。犬は牙をむき、猿は棒を構え、キジは鋭い嘴を見せて戦う準備をしている。全員が真剣な表情で桃太郎の言葉に耳を傾けている。背景には鬼の城が不気味にそびえ立っている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "桃太郎たちは勇敢に戦いました。犬は鬼の足に噛みつき、猿は鬼の髪を引っ張り、キジは鬼の目をつついて攻撃しました。",
+        "imagePrompt": "鬼ヶ島の城の中での激しい戦闘シーン。様々な色の鬼たちが驚きと怒りの表情で戦っている。犬は赤鬼の足に噛みついて倒し、猿は青鬼の髪を引っ張って混乱させ、キジは緑鬼の目をつついている。中央では桃太郎が刀を振るい、黄色い鬼と対峙している。背景には他の鬼たちも逃げ惑う姿がある。戦いの熱気と混乱が画面いっぱいに広がっている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "そして桃太郎は鬼の大将に向かって行きました。激しい戦いの末、桃太郎は鬼の大将を倒しました。",
+        "imagePrompt": "城の奥、豪華な部屋での桃太郎と鬼の大将との一騎打ち。鬼の大将は巨大で、赤い肌に金色の兜と鉄の棍棒を持っている。桃太郎は小さいながらも勇敢に刀を構えて対峙している。部屋の周りには宝物が散らばり、窓からは戦いを見守る家来たちの姿が見える。決定的な一撃を加えようとする桃太郎と、驚きの表情を浮かべる鬼の大将。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "「もう悪いことはしません。命だけはお助けください」と鬼たちは降参しました。そして村から盗んだ宝物をすべて差し出しました。",
+        "imagePrompt": "床に頭を下げて土下座する鬼の大将と鬼たち。勝利した桃太郎が堂々と立ち、家来たちがその横に誇らしげに並んでいる。鬼たちの前には金銀財宝、布、米俵など盗んだ宝物が山と積まれている。鬼たちは恐れと後悔の表情を浮かべている。桃太郎の表情は厳しいながらも慈悲深さを感じさせる。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "桃太郎と家来たちは宝物を持って村に帰りました。村人たちは大喜びで彼らを迎えました。",
+        "imagePrompt": "村に凱旋する桃太郎と家来たち。宝物を運ぶ犬、猿、キジ。桃太郎は誇らしげに村人たちに手を振っている。老若男女の村人たちが道の両側に集まり、喜びの表情で花や旗を振って迎えている。おじいさんとおばあさんも最前列で涙を流しながら桃太郎の帰りを待っている。春の明るい日差しが村全体を照らしている。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "おじいさんとおばあさんは桃太郎の無事な帰りを喜び、抱きしめました。そして村はもう二度と鬼に襲われることはありませんでした。",
+        "imagePrompt": "家の前でおじいさんとおばあさんが桃太郎を抱きしめている感動的な場面。喜びの涙を流すおじいさんとおばあさん。犬、猿、キジも幸せそうに見守っている。周りには村人たちが集まり、祝福している。家の前には宝物の一部が置かれ、背景には平和な村の風景が広がっている。夕日が温かな光を投げかけ、晴れやかな雰囲気を作り出している。"
+      },
+      {
+        "speaker": "Presenter",
+        "text": "こうして桃太郎とおじいさんとおばあさん、そして家来たちは幸せに暮らしました。めでたし、めでたし。",
+        "imagePrompt": "時が経ち、平和になった村の風景。桃太郎の家では、おじいさんとおばあさんが縁側でお茶を飲んでいる。庭では成長した桃太郎が犬、猿、キジと一緒に楽しそうに過ごしている。背景には実りある田んぼと平和な村の様子。桃の木が花を咲かせ、その下で皆が笑顔で暮らしている。夕暮れの優しい光が全体を包み込み、物語の幸せな結末を象徴している。"
+      }
+    ]
+  }
+}

package/assets/templates/podcast_standard.json

@@ -0,0 +1,5 @@
+{
+  "title": "Generic",
+  "description": "Generic. No template.",
+  "systemPrompt": "Please generate a podcast script based on the topic provided by the user."
+}

package/assets/templates/sensei_and_taro.json

@@ -0,0 +1,123 @@
+{
+  "title": "Student and Teacher",
+  "description": "Interactive discussion between a student and teacher",
+  "systemPrompt": "この件について、内容全てを高校生にも分かるように、太郎くん(Student)と先生(Teacher)の会話、という形の台本をArtifactとして作って。ただし要点はしっかりと押さえて。以下に別のトピックに関するサンプルを貼り付けます。このJSONフォーマットに従って。",
+  "script": {
+    "$mulmocast": {
+      "version": "1.0",
+      "credit": "closing"
+    },
+    "title": "韓国の戒厳令とその日本への影響",
+    "description": "韓国で最近発令された戒厳令とその可能性のある影響について、また日本の憲法に関する考慮事項との類似点を含めた洞察に満ちた議論。",
+    "lang": "ja",
+    "speechParams": {
+      "provider": "nijivoice",
+      "speakers": {
+        "Announcer": {
+          "displayName": {
+            "ja": "アナウンサー"
+          },
+          "voiceId": "afd7df65-0fdc-4d31-ae8b-a29f0f5eed62"
+        },
+        "Student": {
+          "displayName": {
+            "ja": "生徒"
+          },
+          "voiceId": "a7619e48-bf6a-4f9f-843f-40485651257f"
+        },
+        "Teacher": {
+          "displayName": {
+            "ja": "先生"
+          },
+          "voiceId": "bc06c63f-fef6-43b6-92f7-67f919bd5dae"
+        }
+      }
+    },
+    "beats": [
+      {
+        "speaker": "Announcer",
+        "text": "今日は、韓国で起きた戒厳令について、太郎くんが先生に聞きます。"
+      },
+      {
+        "speaker": "Student",
+        "text": "先生、今日は韓国で起きた戒厳令のことを教えてもらえますか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "もちろんだよ、太郎くん。韓国で最近、大統領が「戒厳令」っていうのを突然宣言したんだ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "戒厳令ってなんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "簡単に言うと、国がすごく危ない状態にあるとき、軍隊を使って人々の自由を制限するためのものなんだ。たとえば、政治活動を禁止したり、人の集まりを取り締まったりするんだよ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "それって怖いですね。なんでそんなことをしたんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "大統領は「国会がうまく機能していないから」と言っていたけど、実際には自分の立場を守るために使ったように見えるんだ。それで、軍隊が国会に突入して、議員たちを捕まえようとしたんだ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "ええっ！？国会議員を捕まえようとするなんて、すごく危ないことじゃないですか。"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "その通りだよ。もし軍隊が国会を占拠していたら、国会で戒厳令を解除することもできなかったかもしれない。つまり、大統領がずっと自分の好きなように国を支配できるようになってしまうんだ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "韓国ではどうなったんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "幸い、野党の議員や市民たちが急いで集まって抗議して、6時間後に戒厳令は解除されたんだ。でも、ほんの少しの違いで、韓国の民主主義が大きく傷つけられるところだったんだよ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "それは大変なことですね…。日本ではそんなこと起きないんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "実はね、今、日本でも似たような話があるんだよ。自民党が「緊急事態宣言」を憲法に追加しようとしているんだ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "緊急事態宣言って、韓国の戒厳令と同じようなものなんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "似ている部分があるね。たとえば、総理大臣が「社会秩序の混乱の危険があるから」と言えば、特別な権限を使って国を動かすことができるんだ。法律と同じ力を持つ命令を出したり、地方自治体に指示を出したりすることができるんだよ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "それって便利そうですけど、なんだか心配です。"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "そうだね。もちろん、緊急時には素早い対応が必要だから便利な面もあるけど、その権限が濫用されると、とても危険なんだ。たとえば、総理大臣が自分に都合のいいように国を動かしたり、国民の自由を奪ったりすることができるようになってしまうかもしれない。"
+      },
+      {
+        "speaker": "Student",
+        "text": "韓国みたいに、軍隊が政治に口を出してくることもあり得るんですか？"
+      },
+      {
+        "speaker": "Teacher",
+        "text": "完全にあり得ないとは言えないからこそ、注意が必要なんだ。私たち国民は、自民党の改憲案が権力の濫用を防ぐための適切な制限を含んでいるのかをしっかり監視し、声を上げることが求められる。民主主義が損なわれるのを防ぐために、私たち一人ひとりが積極的に関心を持つことが大切なんだよ。"
+      },
+      {
+        "speaker": "Student",
+        "text": "ありがとうございます。とても良い勉強になりました。"
+      },
+      {
+        "speaker": "Announcer",
+        "text": "ご視聴、ありがとうございました。次回の放送もお楽しみに。"
+      }
+    ]
+  }
+}

package/lib/actions/audio.d.ts

@@ -0,0 +1,3 @@
+import "dotenv/config";
+import { MulmoStudioContext } from "../types";
+export declare const audio: (context: MulmoStudioContext, concurrency: number) => Promise<void>;

package/lib/actions/audio.js

@@ -0,0 +1,186 @@
+"use strict";
+var __createBinding = (this && this.__createBinding) || (Object.create ? (function(o, m, k, k2) {
+    if (k2 === undefined) k2 = k;
+    var desc = Object.getOwnPropertyDescriptor(m, k);
+    if (!desc || ("get" in desc ? !m.__esModule : desc.writable || desc.configurable)) {
+      desc = { enumerable: true, get: function() { return m[k]; } };
+    }
+    Object.defineProperty(o, k2, desc);
+}) : (function(o, m, k, k2) {
+    if (k2 === undefined) k2 = k;
+    o[k2] = m[k];
+}));
+var __setModuleDefault = (this && this.__setModuleDefault) || (Object.create ? (function(o, v) {
+    Object.defineProperty(o, "default", { enumerable: true, value: v });
+}) : function(o, v) {
+    o["default"] = v;
+});
+var __importStar = (this && this.__importStar) || (function () {
+    var ownKeys = function(o) {
+        ownKeys = Object.getOwnPropertyNames || function (o) {
+            var ar = [];
+            for (var k in o) if (Object.prototype.hasOwnProperty.call(o, k)) ar[ar.length] = k;
+            return ar;
+        };
+        return ownKeys(o);
+    };
+    return function (mod) {
+        if (mod && mod.__esModule) return mod;
+        var result = {};
+        if (mod != null) for (var k = ownKeys(mod), i = 0; i < k.length; i++) if (k[i] !== "default") __createBinding(result, mod, k[i]);
+        __setModuleDefault(result, mod);
+        return result;
+    };
+})();
+var __importDefault = (this && this.__importDefault) || function (mod) {
+    return (mod && mod.__esModule) ? mod : { "default": mod };
+};
+Object.defineProperty(exports, "__esModule", { value: true });
+exports.audio = void 0;
+require("dotenv/config");
+const graphai_1 = require("graphai");
+const agents = __importStar(require("@graphai/vanilla"));
+const tts_nijivoice_agent_1 = __importDefault(require("../agents/tts_nijivoice_agent"));
+const add_bgm_agent_1 = __importDefault(require("../agents/add_bgm_agent"));
+const combine_audio_files_agent_1 = __importDefault(require("../agents/combine_audio_files_agent"));
+const tts_openai_agent_1 = __importDefault(require("../agents/tts_openai_agent"));
+const vanilla_node_agents_1 = require("@graphai/vanilla_node_agents");
+const methods_1 = require("../methods");
+const filters_1 = require("../utils/filters");
+const file_1 = require("../utils/file");
+// const rion_takanashi_voice = "b9277ce3-ba1c-4f6f-9a65-c05ca102ded0"; // たかなし りおん
+// const ben_carter_voice = "bc06c63f-fef6-43b6-92f7-67f919bd5dae"; // ベン・カーター
+const graph_tts = {
+    nodes: {
+        preprocessor: {
+            agent: (namedInputs) => {
+                const { beat, script, speakers } = namedInputs;
+                return {
+                    voiceId: speakers[beat.speaker].voiceId,
+                    speechOptions: methods_1.MulmoScriptMethods.getSpeechOptions(script, beat),
+                };
+            },
+            inputs: {
+                beat: ":beat",
+                script: ":script",
+                speakers: ":script.speechParams.speakers",
+            },
+        },
+        ttsAgent: {
+            agent: (namedInputs) => {
+                if (namedInputs.provider === "nijivoice") {
+                    return "ttsNijivoiceAgent";
+                }
+                return "ttsOpenaiAgent";
+            },
+            inputs: {
+                provider: ":script.speechParams.provider",
+            },
+        },
+        tts: {
+            unless: ":beat.audio",
+            agent: ":ttsAgent",
+            inputs: {
+                text: ":beat.text",
+                file: "${:scratchpadDirPath}/${:beat.audioFile}.mp3", // TODO
+            },
+            params: {
+                voice: ":preprocessor.voiceId",
+                speed: ":preprocessor.speechOptions.speed",
+                instructions: ":preprocessor.speechOptions.instruction",
+            },
+        },
+    },
+};
+const graph_data = {
+    version: 0.5,
+    concurrency: 8,
+    nodes: {
+        context: {},
+        outputBGMFilePath: {},
+        outputAudioFilePath: {},
+        outputStudioFilePath: {},
+        scratchpadDirPath: {},
+        map: {
+            agent: "mapAgent",
+            inputs: { rows: ":context.studio.beats", script: ":context.studio.script", scratchpadDirPath: ":scratchpadDirPath" },
+            params: {
+                rowKey: "beat",
+            },
+            graph: graph_tts,
+        },
+        combineFiles: {
+            agent: "combineAudioFilesAgent",
+            inputs: {
+                map: ":map",
+                context: ":context",
+                combinedFileName: ":outputAudioFilePath",
+                scratchpadDirPath: ":scratchpadDirPath",
+            },
+            isResult: true,
+        },
+        fileWrite: {
+            agent: "fileWriteAgent",
+            inputs: {
+                file: ":outputStudioFilePath",
+                text: ":combineFiles.studio.toJSON()",
+            },
+        },
+        addBGM: {
+            agent: "addBGMAgent",
+            params: {
+                musicFile: process.env.PATH_BGM ?? file_1.defaultBGMPath,
+            },
+            inputs: {
+                wait: ":combineFiles",
+                voiceFile: ":outputAudioFilePath",
+                outputFile: ":outputBGMFilePath",
+                script: ":context.studio.script",
+            },
+            isResult: true,
+        },
+        title: {
+            agent: "copyAgent",
+            params: {
+                namedKey: "title",
+            },
+            inputs: {
+                title: "\n${:context.studio.script.title}\n\n${:context.studio.script.description}\nReference: ${:context.studio.script.reference}\n",
+                waitFor: ":addBGM",
+            },
+        },
+    },
+};
+const agentFilters = [
+    {
+        name: "fileCacheAgentFilter",
+        agent: filters_1.fileCacheAgentFilter,
+        nodeIds: ["tts"],
+    },
+];
+const audio = async (context, concurrency) => {
+    const { studio, fileDirs } = context;
+    const { outDirPath, scratchpadDirPath } = fileDirs;
+    const outputBGMFilePath = (0, file_1.getOutputBGMFilePath)(outDirPath, studio.filename);
+    const outputAudioFilePath = (0, file_1.getOutputAudioFilePath)(outDirPath, studio.filename);
+    const outputStudioFilePath = (0, file_1.getOutputStudioFilePath)(outDirPath, studio.filename);
+    (0, file_1.mkdir)(outDirPath);
+    (0, file_1.mkdir)(scratchpadDirPath);
+    graph_data.concurrency = concurrency;
+    const graph = new graphai_1.GraphAI(graph_data, {
+        ...agents,
+        fileWriteAgent: vanilla_node_agents_1.fileWriteAgent,
+        ttsOpenaiAgent: tts_openai_agent_1.default,
+        ttsNijivoiceAgent: tts_nijivoice_agent_1.default,
+        addBGMAgent: add_bgm_agent_1.default,
+        combineAudioFilesAgent: combine_audio_files_agent_1.default,
+    }, { agentFilters });
+    graph.injectValue("context", context);
+    graph.injectValue("outputBGMFilePath", outputBGMFilePath);
+    graph.injectValue("outputAudioFilePath", outputAudioFilePath);
+    graph.injectValue("outputStudioFilePath", outputStudioFilePath);
+    graph.injectValue("scratchpadDirPath", scratchpadDirPath);
+    await graph.run();
+    (0, file_1.writingMessage)(outputAudioFilePath);
+};
+exports.audio = audio;

package/lib/actions/images.d.ts

@@ -0,0 +1,2 @@
+import { MulmoStudioContext } from "../types";
+export declare const images: (context: MulmoStudioContext) => Promise<void>;