pandoc_wasm 1.0.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: 5b94721e546d31230f7402b4cae87b29ec1829b38d492e79ec00e84fac357776
+  data.tar.gz: 8c7138acc5b8acc863a3c24575e6fe01e51206de9b72453145d9123c1501688d
+SHA512:
+  metadata.gz: e60162d62c4bd8eb7a1c05f1d585ab25d23de6fa18fa3eb1cf4a4527ac7ec333a050d4da94b18fda25544dc65672cfedce9ddc63943679bc16c87de1e1a4de1d
+  data.tar.gz: 1b17517567d26e823b228010754ecd47ceb63d4ece62f3f6d445254f808ed6c1509f9d1c58151c5e6e659009dce5533626efa624fcf0671085b80ee87e97e290

data/.npmignore

@@ -0,0 +1,41 @@
+# Build outputs
+dist-newstyle/
+*.pptx
+*.docx
+
+# Haskell build artifacts
+*.hi
+*.o
+*.dyn_hi
+*.dyn_o
+cabal.project.local
+cabal.project.local~
+
+# Source patches (not needed in npm package)
+patches/
+
+# Development files
+.ralph/
+.cursor/
+.vscode/
+*.swp
+*~
+
+# macOS
+.DS_Store
+
+# Git
+.git/
+.gitignore
+
+# Documentation (keep README.md)
+SECURITY.md
+RALPH_TASK.md
+
+# Cabal project file
+cabal.project
+
+# Test files
+tests/
+*.md
+!README.md

data/RALPH_TASK.md

@@ -0,0 +1,52 @@
+# Pandoc WASM Compilation
+
+## Goal
+Compile Pandoc to WebAssembly for converting Markdown to PPTX (and other formats).
+
+## Current State
+- ghc-wasm-meta: Fully installed at ~/.ghc-wasm/
+- wasmtime: Available at ~/.ghc-wasm/wasmtime/bin/wasmtime (v41.0.0)
+- Target: Pandoc 3.8.3 (latest stable on Hackage)
+- **STATUS: COMPLETE - pandoc.wasm works!**
+
+## Criteria
+
+### Phase 0: Complete ghc-wasm-meta Installation
+- [x] Run bootstrap.sh to install GHC WASM compiler
+- [x] Verify wasm32-wasi-ghc --version works (9.12.3.20251231)
+
+### Phase 1: Project Setup and Build
+- [x] Create cabal.project with WASM-compatible configuration
+- [x] Run wasm32-wasi-cabal update
+- [x] Build pandoc-cli with wasm32-wasi-cabal
+
+### Phase 2: Handle Dependency Failures (if needed)
+- [x] Address basement WASM/GHC 9.12 compatibility (patched)
+- [x] Address digest zlib dependency (disabled pkg-config)
+- [x] Address crypton argon2 pthread issue (added ARGON2_NO_THREADS)
+- [x] Address xml-conduit Custom build type issue (patched to Simple)
+- [x] Address pandoc-cli threaded RTS issue (removed -threaded flag)
+- [x] Address network socket stubs for WASI (added socket function stubs)
+
+### Phase 3: Validation
+- [x] Create test markdown files (small.md, medium.md, large.md)
+- [x] pandoc.wasm binary exists (166MB)
+- [x] Successfully convert small.md to PPTX
+- [x] Successfully convert medium.md to PPTX
+- [x] Successfully convert large.md to PPTX
+- [x] Output PPTX files are valid
+
+## Test Command
+```bash
+# Verify WASM compilation produces working output
+source ~/.ghc-wasm/env && wasmtime run --dir . pandoc.wasm -o test.pptx small.md
+```
+
+## Notes
+- Use flags: `-lua -server` to disable problematic features
+- Use `+embed_data_files` to include templates in binary
+- wasmtime needs `--dir .` to access host filesystem
+- No external processes or network in WASI
+- Packages with `build-type: Custom` need to be patched to Simple
+- The `-threaded` flag must be removed from executable ghc-options
+- Socket functions are stubbed (return ENOSYS) - network features won't work

data/README.md

@@ -0,0 +1,382 @@
+# Pandoc WASM
+
+> Pandoc 3.8.3 compilé en WebAssembly pour la conversion de documents dans des environnements WASI.
+
+[![Pandoc Version](https://img.shields.io/badge/pandoc-3.8.3-blue)](https://pandoc.org/)
+[![GHC WASM](https://img.shields.io/badge/GHC%20WASM-9.12-purple)](https://gitlab.haskell.org/haskell-wasm/ghc-wasm-meta)
+[![Status](https://img.shields.io/badge/status-experimental-orange)](#disclaimer)
+
+---
+
+## Disclaimer / Avertissement
+
+> **Ce projet est expérimental et constitue avant tout un travail de recherche.**
+
+- Les patches appliqués aux dépendances Haskell peuvent ne pas être parfaits et n'ont pas été audités de manière exhaustive
+- Ce projet peut ne pas convenir à tous les cas d'usage
+- Les fichiers de travail de **Ralph** (agent IA) ont été volontairement conservés dans le dossier `.ralph/` pour montrer la méthodologie et le processus de développement
+- Le binaire résultant (166 MB) est optimisé pour la compatibilité WASI, pas pour la taille
+
+**Utilisez ce projet en connaissance de cause et à vos propres risques.**
+
+---
+
+## Introduction
+
+Ce projet permet de compiler [Pandoc](https://pandoc.org/), le convertisseur de documents universel, en WebAssembly (WASM) pour l'exécuter dans des environnements compatibles WASI (WebAssembly System Interface).
+
+### Résultat
+
+- **Binaire** : `pandoc.wasm` (~166 MB)
+- **Runtime** : [wasmtime](https://wasmtime.dev/) ou tout runtime WASI compatible
+- **Fonctionnalités** : Conversion Markdown vers HTML, PPTX, DOCX, et autres formats supportés par Pandoc
+- **Limitations** : Pas de réseau, pas de Lua, pas de serveur HTTP (voir [Limitations](#limitations))
+
+---
+
+## Installation via npm
+
+Pour utiliser `pandoc.wasm` comme dépendance dans vos projets Node.js :
+
+```bash
+npm install @nathanhimpens/pandoc-wasm
+```
+
+Le fichier `pandoc.wasm` sera automatiquement téléchargé depuis les [GitHub Releases](https://github.com/NathanHimpens/pandoc-wasm/releases) lors de l'installation.
+
+### Utilisation dans votre code
+
+```javascript
+const pandocWasmPath = require('@nathanhimpens/pandoc-wasm');
+const { execSync } = require('child_process');
+
+// Utilisation avec wasmtime
+execSync(`wasmtime run --dir . ${pandocWasmPath} -o output.pptx input.md`);
+```
+
+### Note importante
+
+Le package nécessite que `pandoc.wasm` soit disponible dans une release GitHub. Si aucune release n'existe encore, vous devrez :
+
+1. Compiler le binaire vous-même (voir section [HOW TO : Compiler soi-même](#how-to--compiler-soi-même))
+2. Créer une release GitHub avec `pandoc.wasm` en pièce jointe
+3. Ou copier manuellement le fichier dans `node_modules/@nathanhimpens/pandoc-wasm/`
+
+---
+
+## Installation via RubyGems
+
+Pour utiliser `pandoc.wasm` comme dépendance dans vos projets Ruby/Rails :
+
+```bash
+gem install pandoc_wasm
+```
+
+Ou ajoutez-le à votre `Gemfile` :
+
+```ruby
+gem 'pandoc_wasm', '~> 1.0'
+```
+
+Le fichier `pandoc.wasm` sera automatiquement téléchargé depuis les [GitHub Releases](https://github.com/NathanHimpens/pandoc-wasm/releases) lors de la première utilisation (lazy loading).
+
+### Utilisation dans votre code Ruby
+
+```ruby
+require 'pandoc_wasm'
+
+# Obtenir le chemin vers pandoc.wasm
+pandoc_path = PandocWasm.path
+# => "/path/to/gems/pandoc_wasm-1.0.0/lib/pandoc_wasm/pandoc.wasm"
+
+# Utilisation avec wasmtime
+system("wasmtime run --dir . #{pandoc_path} -o output.pptx input.md")
+
+# Vérifier si pandoc.wasm est disponible
+if PandocWasm.available?
+  # Utiliser pandoc.wasm
+end
+```
+
+### Note importante
+
+La gem nécessite que `pandoc.wasm` soit disponible dans une release GitHub. Si aucune release n'existe encore, vous devrez :
+
+1. Compiler le binaire vous-même (voir section [HOW TO : Compiler soi-même](#how-to--compiler-soi-même))
+2. Créer une release GitHub avec `pandoc.wasm` en pièce jointe
+3. Ou copier manuellement le fichier dans le répertoire de la gem installée
+
+---
+
+## Comment ça fonctionne
+
+```mermaid
+flowchart LR
+    A[Source Haskell] --> B[GHC WASM 9.12]
+    B --> C[pandoc.wasm]
+    C --> D[wasmtime]
+    D --> E[Conversion de documents]
+    
+    subgraph patches [Packages Patchés]
+        P1[basement]
+        P2[memory]
+        P3[network]
+        P4[crypton]
+        P5[cborg]
+        P6[xml-conduit]
+        P7[pandoc-cli]
+    end
+    
+    patches --> B
+```
+
+Le compilateur GHC WASM cross-compile le code Haskell vers WebAssembly. Plusieurs packages ont dû être patchés pour supporter la plateforme 32-bit WASM et l'environnement WASI limité.
+
+---
+
+## HOW TO : Compiler soi-même
+
+### Prérequis
+
+| Outil | Version | Description |
+|-------|---------|-------------|
+| [ghc-wasm-meta](https://gitlab.haskell.org/haskell-wasm/ghc-wasm-meta) | 9.12 | Compilateur GHC pour WASM |
+| [wasmtime](https://wasmtime.dev/) | >= 41.0 | Runtime WASI pour exécuter le binaire |
+| [cabal](https://www.haskell.org/cabal/) | >= 3.10 | Gestionnaire de packages Haskell (inclus dans ghc-wasm-meta) |
+
+### Étape 1 : Installer ghc-wasm-meta
+
+```bash
+# Installation du compilateur GHC WASM
+cd ~
+curl -sSL https://gitlab.haskell.org/haskell-wasm/ghc-wasm-meta/-/raw/master/bootstrap.sh | FLAVOUR=9.12 sh
+
+# Charger l'environnement (à ajouter dans ~/.zshrc ou ~/.bashrc)
+source ~/.ghc-wasm/env
+
+# Vérifier l'installation
+wasm32-wasi-ghc --version
+# Devrait afficher: The Glorious Glasgow Haskell Compilation System, version 9.12.x
+```
+
+### Étape 2 : Cloner ce repository
+
+```bash
+git clone https://github.com/SleePy-nh/pandoc-wasm.git
+cd pandoc-wasm
+```
+
+### Étape 3 : Mettre à jour l'index des packages
+
+```bash
+source ~/.ghc-wasm/env
+wasm32-wasi-cabal update
+```
+
+### Étape 4 : Compiler Pandoc
+
+```bash
+# Compilation (peut prendre 30-60 minutes selon votre machine)
+# L'option -j1 évite les race conditions de compilation
+wasm32-wasi-cabal build pandoc-cli -j1
+
+# Le binaire se trouve dans :
+# dist-newstyle/build/wasm32-wasi/ghc-9.12.x/pandoc-cli-3.8.3/x/pandoc/build/pandoc/pandoc.wasm
+```
+
+### Étape 5 : Copier le binaire
+
+```bash
+cp dist-newstyle/build/wasm32-wasi/ghc-*/pandoc-cli-3.8.3/x/pandoc/build/pandoc/pandoc.wasm .
+ls -lh pandoc.wasm
+# Devrait afficher ~166M
+```
+
+### Étape 6 : Tester
+
+```bash
+# Test simple : Markdown vers HTML
+echo "# Hello World" | wasmtime run --dir . pandoc.wasm
+
+# Test : Markdown vers PowerPoint
+wasmtime run --dir . pandoc.wasm -o output.pptx tests/small.md
+ls -la output.pptx
+
+# Tests de validation complets
+wasmtime run --dir . pandoc.wasm -o small.pptx tests/small.md
+wasmtime run --dir . pandoc.wasm -o medium.pptx tests/medium.md
+wasmtime run --dir . pandoc.wasm -o large.pptx tests/large.md
+echo "Tests réussis si les 3 fichiers .pptx sont créés"
+```
+
+---
+
+## Utilisation
+
+### Syntaxe de base
+
+```bash
+wasmtime run --dir . pandoc.wasm [OPTIONS] [FICHIER_ENTREE]
+```
+
+> **Important** : L'option `--dir .` est obligatoire pour donner accès au système de fichiers via WASI.
+
+### Exemples
+
+```bash
+# Markdown vers HTML (sortie standard)
+wasmtime run --dir . pandoc.wasm document.md
+
+# Markdown vers PowerPoint
+wasmtime run --dir . pandoc.wasm -o presentation.pptx document.md
+
+# Markdown vers DOCX
+wasmtime run --dir . pandoc.wasm -o document.docx input.md
+
+# Spécifier les formats explicitement
+wasmtime run --dir . pandoc.wasm -f markdown -t html document.md
+
+# Depuis stdin
+echo "# Titre" | wasmtime run --dir . pandoc.wasm -t html
+```
+
+### Formats supportés
+
+Les formats de Pandoc sont supportés, à l'exception de ceux nécessitant :
+- Des appels réseau (HTTP)
+- Le moteur Lua
+- Des processus externes (LaTeX pour PDF)
+
+---
+
+## Collaboration avec Ralph
+
+Ce projet a été réalisé avec l'aide de **Ralph**, un agent IA autonome spécialisé dans les tâches de développement complexes. Ralph a travaillé sur ce projet en **4 sessions**, documentées dans le dossier `.ralph/`.
+
+### Fichiers de travail conservés
+
+| Fichier | Description |
+|---------|-------------|
+| `.ralph/progress.md` | Journal de progression détaillé |
+| `.ralph/signs.md` | Leçons apprises et pièges à éviter |
+| `.ralph/activity.log` | Log des commandes exécutées |
+| `.ralph/tasks.yaml` | État des tâches |
+| `RALPH_TASK.md` | Définition initiale de la tâche |
+
+### Pourquoi conserver ces fichiers ?
+
+Ces fichiers montrent :
+1. **La méthodologie** : Comment aborder la compilation WASM de projets Haskell complexes
+2. **Les obstacles rencontrés** : Problèmes de compatibilité 32-bit, APIs manquantes, etc.
+3. **Les solutions appliquées** : Patches spécifiques pour chaque package
+4. **La transparence** : Le processus complet de développement est visible
+
+---
+
+## Packages Patchés
+
+Sept packages ont nécessité des modifications pour compiler en WASM. Voir [SECURITY.md](SECURITY.md) pour les détails techniques et implications de sécurité.
+
+| Package | Version | Raison du patch |
+|---------|---------|-----------------|
+| `basement` | 0.0.16 | Compatibilité 32-bit, suppression GHC.IntWord64 |
+| `memory` | 0.18.0 | Désactivation mmap, corrections FFI |
+| `network` | 3.2.8.0 | Stubs pour fonctions socket non supportées par WASI |
+| `cborg` | 0.2.10.0 | Corrections primitives 32-bit |
+| `crypton` | 1.0.5 | Désactivation pthread (ARGON2_NO_THREADS) |
+| `xml-conduit` | 1.10.1.0 | Build-type Custom → Simple |
+| `pandoc-cli` | 3.8.3 | Suppression flag -threaded |
+
+---
+
+## Limitations
+
+### Fonctionnalités désactivées
+
+| Fonctionnalité | Raison | Alternative |
+|----------------|--------|-------------|
+| **Lua scripting** | Complexité d'intégration WASM | Utiliser des filtres JSON |
+| **Serveur HTTP** | Pas de réseau en WASI | N/A |
+| **Requêtes réseau** | WASI ne supporte pas les sockets | Télécharger les ressources localement |
+| **PDF via LaTeX** | Nécessite processus externe | Utiliser HTML ou DOCX |
+
+### Contraintes techniques
+
+- **Mono-thread** : Le runtime WASM n'a pas de threading
+- **Pas de mmap** : Memory-mapping désactivé
+- **Fonctions réseau stubées** : Retournent `ENOSYS`
+- **Taille du binaire** : ~166 MB (données embarquées)
+
+---
+
+## Leçons apprises
+
+Extraits de `.ralph/signs.md` - les pièges à éviter lors de la compilation WASM :
+
+### GHC.IntWord64 supprimé dans GHC 9.4+
+
+> Les primitives `Int64#`/`Word64#` sont maintenant dans `GHC.Prim`, pas `GHC.IntWord64`.
+
+### Packages avec Custom Setup.hs
+
+> Les packages avec `build-type: Custom` échouent car le Setup.hs est compilé pour le HOST, pas la TARGET WASM. Solution : patcher vers `build-type: Simple`.
+
+### Flag -threaded incompatible
+
+> GHC WASM n'a pas de runtime threadé. Retirer `-threaded` des ghc-options.
+
+### Stubs réseau WASI
+
+> WASI P1 fournit certaines fonctions socket (accept, send, recv) mais pas d'autres (socket, bind, listen, connect). Ne stubber que les fonctions manquantes.
+
+---
+
+## Structure du projet
+
+```
+pandoc-wasm/
+├── README.md              # Ce fichier
+├── SECURITY.md            # Détails des patches de sécurité
+├── RALPH_TASK.md          # Définition de la tâche pour Ralph
+├── cabal.project          # Configuration de build Cabal
+├── .gitignore
+├── tests/                 # Fichiers de test Markdown
+│   ├── small.md
+│   ├── medium.md
+│   ├── large.md
+│   └── test.md
+├── patches/               # Packages Haskell patchés
+│   ├── basement-0.0.16/
+│   ├── memory-0.18.0/
+│   ├── network-3.2.8.0/
+│   ├── cborg-0.2.10.0/
+│   ├── crypton-1.0.5/
+│   ├── xml-conduit-1.10.1.0/
+│   └── pandoc-cli-3.8.3/
+└── .ralph/                # Fichiers de travail Ralph
+    ├── progress.md
+    ├── signs.md
+    ├── activity.log
+    └── tasks.yaml
+```
+
+---
+
+## Licence
+
+Ce projet utilise Pandoc qui est sous licence GPL-2.0-or-later. Les patches sont fournis sous la même licence que les packages originaux.
+
+---
+
+## Acknowledgment
+
+Ce projet s'inspire du travail de [haskell-wasm/pandoc-wasm](https://github.com/haskell-wasm/pandoc-wasm), qui a démontré la faisabilité de compiler Pandoc en WebAssembly.
+
+---
+
+## Ressources
+
+- [Pandoc Documentation](https://pandoc.org/MANUAL.html)
+- [GHC WASM Meta](https://gitlab.haskell.org/haskell-wasm/ghc-wasm-meta)
+- [WASI Specification](https://wasi.dev/)
+- [Wasmtime](https://wasmtime.dev/)

data/Rakefile

@@ -0,0 +1,27 @@
+# frozen_string_literal: true
+
+require 'bundler/gem_tasks'
+require 'rake/testtask'
+
+task default: :test
+
+Rake::TestTask.new(:test) do |t|
+  t.libs << 'test'
+  t.pattern = 'test/**/*_test.rb'
+  t.verbose = true
+end
+
+desc 'Build the gem'
+task :build do
+  system 'gem build pandoc_wasm.gemspec'
+end
+
+desc 'Install the gem locally'
+task :install => :build do
+  system 'gem install ./pandoc_wasm-*.gem'
+end
+
+desc 'Publish the gem to RubyGems'
+task :release => :build do
+  system 'gem push pandoc_wasm-*.gem'
+end