data-primals-engine 1.0.3 → 1.0.5

package/README.md

@@ -30,13 +30,16 @@
 
 ## ⚡ Quick Start
 
+```bash
+npm i data-primals-engine
+```
+or
 ```bash
 git clone https://your-repo/data-primals-engine.git
 cd data-primals-engine
 npm install
 ```
-
-Create a `.env` file:
+Possibly create a `.env` file:
 ```env
 MONGO_DB_URL=mongodb://127.0.0.1:27017
 ```
@@ -197,14 +200,15 @@ curl -X DELETE http://localhost:7633/api/data?_user=demo \
 ```
 data-primals-engine/
 ├── src/
-│   ├── engine.js
+│   ├── middlewares/
+│   ├── migrations/
 │   ├── modules/
-│   ├── providers/
-│   ├── constants.js
-│   ├── defaultModels.js
-├── config/
-│   ├── models/
-│   └── packs/
+│   ├── workers/
+│   ├── engine.js // The Express engine that serves the API
+│   ├── constants.js // The inner-application constants definitions
+│   ├── packs.js // The packs that will be loaded and available with installPack() method
+│   ├── defaultModels.js // The default models available to import
+│   ├── ...
 └── server.js
 ```
 

package/package.json

@@ -1,11 +1,11 @@
 {
   "name": "data-primals-engine",
-  "version": "1.0.3",
+  "version": "1.0.5",
   "description": "data-primals-engine is the package responsible from handling large amount of data in a practical and performant way. It can handle large amount of data in a practical and performant way. It can also get workflow models working (for automation), and fully supports internationalisation.",
   "main": "src/engine.js",
   "type": "module",
   "scripts": {
-    "preinstall": "npx npm-force-resolutions",
+    "preinstall": "npx force-resolutions",
     "devserver": "cross-env NODE_ENV=development node server.js",
     "server": "cross-env NODE_ENV=production node server.js",
     "migrate:create": "node src/migrate.js create",
@@ -48,7 +48,6 @@
     "express-csrf-double-submit-cookie": "^1.2.1",
     "express-rate-limit": "^8.0.1",
     "express-session": "^1.18.1",
-    "express-sitemap-xml": "^3.1.0",
     "juice": "^11.0.1",
     "mathjs": "^14.4.0",
     "mongodb": "^6.12.0",

package/server.js

@@ -4,34 +4,8 @@
 
 //set ES modules to be loaded by the script
 import process from "node:process";
-import {Config} from "../data-primals-engine/src/config.js";
-import {Engine} from "../data-primals-engine/src/engine.js";
-import {BenchmarkTool, GameObject, Logger} from "../data-primals-engine/src/gameObject.js";
-import {
-    createModel, DATAS_API_TOKEN,
-    getModels, getResource,
-    searchData,
-    validateModelStructure
-} from "../data-primals-engine/src/modules/data.js";
-import {availableLangs, install, langs, maxBytesPerSecondThrottleFile} from "../data-primals-engine/src/constants.js";
-import fs from "node:fs";
-import {
-    event_on, getFileExtension,
-    shuffle,
-    uuidv4
-} from "../data-primals-engine/src/core.js";
-import {datasCollection, filesCollection, modelsCollection, packsCollection} from "../data-primals-engine/src/modules/mongodb.js";
-import {translations} from "../data-primals-engine/src/i18n.js";
-import {getFieldValueHash} from "../data-primals-engine/src/data.js";
-
-import swaggerUi from 'swagger-ui-express';
-
-import YAML from 'yaml';
-import util from "node:util";
-import path from "node:path";
-import { getAllPacks} from "../data-primals-engine/src/packs.js";
-import {middlewareAuthenticator, userInitiator} from "../data-primals-engine/src/modules/user.js";
-import {defaultModels} from "../data-primals-engine/src/defaultModels.js";
+import {Config, Engine, BenchmarkTool, GameObject, Logger} from "./src/index.js";
+
 Config.Set("modules", ["mongodb", "data", "file", "bucket", "workflow","user", "assistant", "swagger"])
 Config.Set("middlewares", []);
 

package/src/constants.js

@@ -40,6 +40,10 @@ export const awsDefaultConfig = {
     region: 'eu-north-1',
 }
 
+export const emailDefaultConfig = {
+    from: "Support - data@primals.net <data@primals.net>"
+}
+
 // 10000 tiny users
 // 1000 modern users
 // 100 mega utilisateurs potentiality

package/src/data.js

@@ -420,6 +420,7 @@ export const getFieldValueHash = (model, data) => {
  * @returns {string} - La chaîne de caractères représentant la donnée.
  */
 export const getDataAsString = (model, data, t, allModels, extended=false) => {
+
     // Cas de base : si le modèle ou les données sont manquants, on ne peut rien faire.
     if (!model || !data) {
         return '';
@@ -484,8 +485,14 @@ export const getDataAsString = (model, data, t, allModels, extended=false) => {
             return value.value; // Champs traduits
         }
 
-        const translatedValue = t(value, {defaultValue: value});
-        return translatedValue || value.toString();
+        if( typeof(value) === 'string' ) {
+            const translatedValue = t(value, {defaultValue: value});
+            return translatedValue || value.toString();
+        }
+        if( typeof(value) === 'object' ) {
+            return JSON.stringify(value, null, 2);
+        }
+        return value;
 
     }).filter(Boolean).join(', ');
 

package/src/email.js

@@ -1,4 +1,4 @@
-import { translations } from "../../data-primals-engine/src/i18n.js";
+import { translations } from "data-primals-engine/i18n";
 import process from "node:process";
 import nodemailer from "nodemailer";
 import juice from "juice";
@@ -44,14 +44,14 @@ const createTransporter = (smtpConfig) => {
  * @param {string|null} tpl - Le template HTML à utiliser.
  */
 export const sendEmail = async (email = "", data, smtpConfig = null, lang, tpl = null) => {
-    const contactEmail = smtpConfig ? (smtpConfig.from || "Our company <noreply@ourdomain.tld>") : "Support - data@primals.net <data@primals.net>";
+    const contactEmail = smtpConfig ? (smtpConfig.from || emailDefaultConfig.from) :"Our company <noreply@ourdomain.tld>";
     const emails = Array.isArray(email) ? email : [email];
     if (emails.length === 0) return;
 
     // Choisir le transporteur à utiliser
     const transporter = smtpConfig ? createTransporter(smtpConfig) : defaultTransporter;
 
-    if (tpl === null) tpl = etemplate1(data, lang);
+    if (tpl === null) tpl = event_trigger("sendEmail:template",data, lang);
     let html = tpl;
     try {
         html = juice(tpl);
@@ -80,205 +80,6 @@ export const sendEmail = async (email = "", data, smtpConfig = null, lang, tpl =
     }
 };
 
-export const etemplate1 = (data, lang = "de", font = "Roboto") => {
-    const { title, content } = data;
-    // S'assurer que les traductions existent pour la langue demandée
-    const trs = translations[lang]?.translation || translations['en']['translation'];
-    return (
-        `<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
-  <html xmlns="http://www.w3.org/1999/xhtml">
-      <head>
-      <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
-      <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
-      <title>Newsletter web.primals.net</title>
-      <script type="application/ld+json">
-{
-  "@context": "http://schema.org",
-  "@type": "EmailMessage",
-  "potentialAction": {
-    "@type": "ViewAction",
-    "url": "https://web.primals.net",
-    "name": "web.primals.net"
-  }
-}
-</script>
-  <style type="text/css">
-    /* Based on The MailChimp Reset INLINE: Yes. */
-    /* Client-specific Styles */
-    #outlook a {padding:0;} /* Force Outlook to provide a "view in browser" menu link. */
-    body{width:100% !important; -webkit-text-size-adjust:100%; -ms-text-size-adjust:100%; margin:0; padding:0; color:black}
-    /* Prevent Webkit and Windows Mobile platforms from changing default font sizes.*/
-    .ExternalClass {width:100%;} /* Force Hotmail to display emails at full width */
-    .ExternalClass, .ExternalClass p, .ExternalClass span, .ExternalClass font, .ExternalClass td, .ExternalClass div {line-height: 100%;}
-    /* Forces Hotmail to display normal line spacing.  More on that: http://www.emailonacid.com/forum/viewthread/43/ */
-    #backgroundTable {margin:0; padding:0; width:100% !important; line-height: 100% !important;}
-    /* End reset */
-
-    /* Some sensible defaults for images
-    Bring inline: Yes. */
-    img {outline:none; text-decoration:none; -ms-interpolation-mode: bicubic;}
-    a img {border:none;}
-    .image_fix {display:block;}
-
-    /* Yahoo paragraph fix
-    Bring inline: Yes. */
-    p {margin: 0;}
-
-    /* Hotmail header color reset
-    Bring inline: Yes. */
-    h1, h2, h3, h4, h5, h6 {color: black !important;}
-
-    h1 a, h2 a, h3 a, h4 a, h5 a, h6 a {color: blue !important;}
-
-    h1 a:active, h2 a:active,  h3 a:active, h4 a:active, h5 a:active, h6 a:active {
-    color: red !important; /* Preferably not the same color as the normal header link color.  There is limited support for psuedo classes in email clients, this was added just for good measure. */
-  }
-
-    h1 a:visited, h2 a:visited,  h3 a:visited, h4 a:visited, h5 a:visited, h6 a:visited {
-    color: purple !important; /* Preferably not the same color as the normal header link color. There is limited support for psuedo classes in email clients, this was added just for good measure. */
-  }
-
-    /* Outlook 07, 10 Padding issue fix
-    Bring inline: No.*/
-    table td {border-collapse: collapse; }
-
-    /* Remove spacing around Outlook 07, 10 tables
-    Bring inline: Yes */
-
-    /* Styling your links has become much simpler with the new Yahoo.  In fact, it falls in line with the main credo of styling in email and make sure to bring your styles inline.  Your link colors will be uniform across clients when brought inline.
-    Bring inline: Yes. */
-    a {color: #1381b1;}
-    p { color:black; }
-    
-    h2 {
-        padding: 20px 0;
-    }
-
-
-    /***************************************************
-    ****************************************************
-    MOBILE TARGETING
-    ****************************************************
-    ***************************************************/
-    @media only screen and (max-device-width: 480px) {
-    /* Part one of controlling phone number linking for mobile. */
-    a[href^="tel"], a[href^="sms"] {
-    text-decoration: none;
-    color: blue; /* or whatever your want */
-    pointer-events: none;
-    cursor: default;
-  }
-
-    .mobile_link a[href^="tel"], .mobile_link a[href^="sms"] {
-    text-decoration: default;
-    color: orange !important;
-    pointer-events: auto;
-    cursor: default;
-  }
-
-  }
-
-    /* More Specific Targeting */
-
-    @media only screen and (min-device-width: 768px) and (max-device-width: 1024px) {
-    /* You guessed it, ipad (tablets, smaller screens, etc) */
-    /* repeating for the ipad */
-    a[href^="tel"], a[href^="sms"] {
-    text-decoration: none;
-    color: blue; /* or whatever your want */
-    pointer-events: none;
-    cursor: default;
-  }
-
-    .mobile_link a[href^="tel"], .mobile_link a[href^="sms"] {
-    text-decoration: default;
-    color: orange !important;
-    pointer-events: auto;
-    cursor: default;
-  }
-  }
-
-    @media only screen and (-webkit-min-device-pixel-ratio: 2) {
-    /* Put your iPhone 4g styles in here */
-  }
-
-    /* Android targeting */
-    @media only screen and (-webkit-device-pixel-ratio:.75){
-    /* Put CSS for low density (ldpi) Android layouts in here */
-  }
-    @media only screen and (-webkit-device-pixel-ratio:1){
-    /* Put CSS for medium density (mdpi) Android layouts in here */
-  }
-    @media only screen and (-webkit-device-pixel-ratio:1.5){
-    /* Put CSS for high density (hdpi) Android layouts in here */
-  }
-    /* end Android targeting */
-
-  </style>
-
-  <!-- Targeting Windows Mobile -->
-<!--[if IEMobile 7]>
-<style type="text/css">
-
-      </style>
-  <![endif]-->
-
-  <!-- ***********************************************
-  ****************************************************
-  END MOBILE TARGETING
-****************************************************
-************************************************ -->
-
-  <!--[if gte mso 9]>
-<style>
-  /* Target Outlook 2007 and 2010 */
-  </style>
-  <![endif]-->
-  </head>
-  <body><style>
-@import url(https://fonts.googleapis.com/css?family=${font});
-
-/* Type styles for all clients */
-h1,h2,h3 {
-    font-family: Helvetica, Arial, serif;
-    text-align: center;
-}
-h3 {
-    margin: 0;
-}
-p{
-    font-family: Helvetica, Arial, serif;
-}
-/* Type styles for WebKit clients */
-@media screen and (-webkit-min-device-pixel-ratio:0) {
-    h1,h2,h3 {
-        font-family: ${font}, Helvetica, Arial, serif !important;
-    }
-}
-  </style>` +
-        etable(
-            etable(
-                erow(
-                    etag("h2", {'text-align': 'left'}, title) +
-                    etable(
-                        erow(etag('p', {}, trs[content] || content || ''), { 'text-align': 'left' })+
-                        erow(etag('p', {}, trs['email.defaultSignature'] ||'')),
-                        { 'text-align': 'left' }),
-                    { 'text-align': 'left' }
-                )+
-                erow(
-                    etag('hr', {}, '')+
-                    etag('a', { href: "https://data.primals.net"}, 'https://data.primals.net')+
-                    etag('div', {}, 'Service gratuit de base de donnée en ligne')+
-                    etag("div", {}, 'Support: '+etag('a', { href:'mailto:data@primals.net'}, 'data@primals.net')),
-                    { 'text-align': 'left' }
-                )
-            ),
-            { width: "1024px", 'text-align': "left" },
-        )
-    );
-};
-
 export const etag = (name, attrs, content = "") => {
     return (
         "<" +

package/src/index.js

@@ -1,4 +1,4 @@
-// data-primals-engine/src/index.js
+// data-primals-engine/index
 
 // --- Core Engine & Utilities ---
 export { Engine } from './engine.js';

package/src/modules/assistant.js

@@ -7,7 +7,7 @@ import { ChatGoogleGenerativeAI } from "@langchain/google-genai";
 import { HumanMessage, SystemMessage } from "@langchain/core/messages";
 import {searchData,  patchData, deleteData, insertData} from "./data.js";
 import { getDataAsString } from "../data.js";
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {generateLimiter} from "./user.js";
 import rateLimit from "express-rate-limit";
 
@@ -24,7 +24,13 @@ export const assistantGlobalLimiter = rateLimit({
     }
 });
 
-const createSystemPrompt = (modelDefs, conditionBuilderExample) =>`
+const createSystemPrompt = (modelDefs) => {
+const cond1 = JSON.stringify({ "model": "event", "sort": "startDate:ASC", "limit": 0, "filter": { "$and": [{ "$nin": ["$tags", "festival"] }, { "$lt": ["$endDate", "$$NOW"] }] }}, null, 2);
+    const cond2 = JSON.stringify({ "model": "contact", "sort": "legalName:ASC", "limit": 5,"filter": {"$ne": [{ "$type": "$legalName"}, "missing"] }}, null, 2);
+    const cond3 = JSON.stringify({ "model": "order", "sort": "_id:DESC", "limit": 10,"filter": {"lang": { "$find": [{ "$eq": ["$$this.code", "fr"] }] } }}, null, 2);
+    const cond4 = JSON.stringify({ "model": "order", "sort": "updatedAt:DESC", "limit": 0,"filter": {"user": { "$find": { "roles": { "$find": [{ "$in": ["$$this.name", ["admin", "moderator"]] }] } }}}}, null, 2);
+
+    return `
 Tu es "Prior", un assistant expert en analyse de données pour la plateforme data.primals.net.
 Ta mission est d'aider l'utilisateur en répondant à ses questions sur ses données.
 
@@ -55,7 +61,8 @@ Tu as accès aux outils suivants. Tu ne dois utiliser QUE ces outils.
 5.  **displayMessage**: Pour répondre directement à l'utilisateur. N'utilise cette action QUE lorsque tu as toutes les informations nécessaires pour formuler une réponse finale.
     - Utilisation: \`{ "action": "displayMessage", "params": { "message": "Ta réponse textuelle." } }\`
 
-La spécification suivante peut t'aider à construire les filtres) est la suivante :
+La spécification, pour t'aider à construire les filtres, est la suivante :
+utilise une chaine de caractère convertible en ObjectId (mongodb) lorsque le nom du champ est _id 
 utilise une chaine de caracteres lorsque le type de champ est : code, string, string_t , password, url, phone, email, richtext
 utilise une structure { "iso2langcode":"content..." } pour le champ multi-traductions richtext_t
 utilise un booléen pour : boolean
@@ -76,8 +83,17 @@ PROCESSUS DE RAISONNEMENT:
 CONTEXTE ACTUEL:
 - L'utilisateur a accès aux modèles de données suivants et ne peut utiliser les filtres que sur les champs associés:
 ${modelDefs.map(m => `  - Modèle "${m.name}":\n    Champs: ${JSON.stringify(m.fields.map(f => ({ name: f.name, type: f.type, hint: f.hint })), null, 2)}`).join('\n')}
-- Le format pour les filtres ($FILTER) est : ${conditionBuilderExample}
 - Le format de $DATA est { modelFieldName: "value", otherModelFieldName: { subObj : true } }
+- Exemples de filtres "params" utilisables : 
+Je voudrais les événements non terminés, qui ne sont pas des festivals ou des salons :
+\`${cond1}\`
+Donne moi les 5 nouvelles entreprises
+\`${cond2}\`
+Je veux les 10 dernières traductions ajoutées dans la langue française.
+\`${cond3}\`
+Je veux les commandes qui ont été faites par un admin ou un modérateur
+\`${cond4}\`
+Ton but est de créer un filtre au plus précis, et mets toujours un limit à 1 par défaut pour éviter de faire des actions en masse non désirées.
 
 
 Règles ABSOLUES:
@@ -97,13 +113,19 @@ json
 \`\`\`
 
 Exemple de réponse INCORRECTE (INTERDIT) :
-"Je vais d'abord rechercher ces requêtes. Voici la commande que je vais exécuter..."`;
+"Je vais d'abord rechercher ces requêtes. Voici la commande que je vais exécuter..."
+`;
+}
 
 
 /**
  * Gère la requête de chat, soit en exécutant une action confirmée,
  * soit en lançant la boucle de raisonnement de l'IA.
  */
+/**
+ * Gère la requête de chat, soit en exécutant une action confirmée,
+ * soit en lanant la boucle de raisonnement de l'IA.
+ */
 async function handleChatRequest(message, history, provider, context, user, confirmedAction) {
 
     // --- GESTION D'UNE ACTION CONFIRMÉE ---
@@ -152,8 +174,7 @@ async function handleChatRequest(message, history, provider, context, user, conf
     const relevantModelNames = new Set([modelName, 'alert', 'kpi', "dashboard", "request", "translation"]);
     const modelDefs = allModels.filter(m => relevantModelNames.has(m.name));
 
-    const conditionBuilderExample = JSON.stringify({ "$and": [{ "$eq": ["$fieldName", "value"] }] }, null, 2);
-    const systemPrompt = createSystemPrompt(modelDefs, conditionBuilderExample);
+    const systemPrompt = createSystemPrompt(modelDefs);
 
     const conversationHistory = history
         .filter(msg => !(msg.from === 'bot' && msg.text.startsWith(i18n.t('assistant.welcome'))))
@@ -207,21 +228,27 @@ async function handleChatRequest(message, history, provider, context, user, conf
 
                 return { success: true, displayMessage: resultString };
             }
-
             case 'displayMessage':
                 return { success: true, displayMessage: parsedResponse.params.message };
-
             case 'code':
-                return { success: true, displayMessage: "```json\n" + JSON.stringify(parsedResponse.params.message, null, 2) + "\n```" };
-
+                return { success: true, displayMessage: "Voici le code : " + parsedResponse.params.code };
             case 'post':
             case 'update':
-            case 'delete':
+            case 'delete': {
+                const { model, filter, data } = parsedResponse.params;
+
+                // Un message générique. Les détails seront affichés par le front-end.
+                const confirmationMessage = i18n.t('assistant.confirmActionPrompt', "Veuillez confirmer l'action suivante :");
+
                 return {
                     success: true,
-                    displayMessage: i18n.t('assistant.confirmAction', `Je vais exécuter : ${parsedResponse.action}. Confirmez-vous ?`),
-                    confirmationRequest: parsedResponse
+                    model,
+                    filter,
+                    data,
+                    displayMessage: confirmationMessage, // Message détaillé pour l'utilisateur
+                    confirmationRequest: parsedResponse // Action complète pour l'exécution
                 };
+            }
 
             default:
                 return {
@@ -234,7 +261,6 @@ async function handleChatRequest(message, history, provider, context, user, conf
     logger.warn("[Assistant] La boucle a atteint le nombre maximum de tours sans réponse.");
     return { success: true, displayMessage: i18n.t('assistant.loopTimeout', "Désolé, je n'ai pas réussi à terminer ma pensée. Pouvez-vous reformuler votre demande ?"), actions: [] };
 }
-
 /**
  * Exécute une action de modification (post, update, delete) après confirmation de l'utilisateur.
  * @param {string} action - L'action à exécuter ('post', 'update', 'delete').

package/src/modules/bucket.js

@@ -9,7 +9,7 @@ import {Logger} from "../gameObject.js";
 import {middlewareAuthenticator, myFreePremiumAnonymousLimiter, userInitiator} from "./user.js";
 import {awsDefaultConfig, maxBytesPerSecondThrottleData} from "../constants.js";
 import crypto from "node:crypto";
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {sendEmail} from "../email.js";
 import {throttleMiddleware} from "../middlewares/throttle.js";
 
@@ -188,9 +188,6 @@ export async function onInit(defaultEngine) {
         // Autres validations possibles (longueur, format de la région, etc.)
 
         try {
-            const primalsDb = MongoClient.db("primals"); // Assure-toi que MongoClient est bien ton client MongoDB connecté
-            const usersCollection = primalsDb.collection("users");
-
             const updateData = {
                 's3Config.bucketName': bucketName,
                 's3Config.accessKeyId': accessKeyId, // Stocké en clair (généralement acceptable)
@@ -207,18 +204,15 @@ export async function onInit(defaultEngine) {
                 // Pour l'instant, on ne touche pas à s3Config.secretAccessKey si req.body.secretAccessKey est vide.
             }
 
-            const result = await usersCollection.updateOne(
+            const result = await engine.userProvider.updateUser(
                 { username: user.username }, // ou user._id si c'est ce que tu utilises comme identifiant unique
-                { $set: updateData }
+                updateData
             );
 
-            if (result.modifiedCount > 0 || result.matchedCount > 0) { // Succès même si rien n'a été modifié (déjà les bonnes valeurs)
-                logger.info(`S3 configuration updated for user ${user.username}`);
+            if (result) { // Succès même si rien n'a été modifié (déjà les bonnes valeurs)
                 res.json({ success: true, message: "S3 configuration updated successfully." });
             } else {
-                logger.warn(`S3 configuration update: User ${user.username} not found or no changes made.`);
-                // Si l'utilisateur n'est pas trouvé, c'est une erreur 404
-                const userExists = await usersCollection.findOne({ username: user.username });
+                const userExists = engine.userProvider.findUserByUsername(user.username);
                 if (!userExists) {
                     return res.status(404).json({ success: false, error: "User not found." });
                 }

package/src/modules/data.js

@@ -8,7 +8,6 @@ import sanitizeHtml from 'sanitize-html';
 import * as tar from "tar";
 import process from "node:process";
 import {randomColor} from "randomcolor";
-import rateLimit from "express-rate-limit";
 import cronstrue from 'cronstrue/i18n.js';
 import { setTimeoutMiddleware } from '../middlewares/timeout.js';
 
@@ -65,8 +64,7 @@ import {
 import fs from "node:fs";
 import schedule from "node-schedule";
 import {middleware} from "../middlewares/middleware-mongodb.js";
-import ExpressSitemap from "express-sitemap-xml";
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {
     runScheduledJobWithDbLock,
     scheduleWorkflowTriggers,
@@ -76,7 +74,6 @@ import NodeCache from "node-cache";
 import AWS from 'aws-sdk';
 import {getUserStorageLimit} from "../user.js";
 import {openaiJobModel} from "../openai.jobs.js";
-import {tutorialsConfig} from "../tutorials.js";
 import checkDiskSpace from "check-disk-space";
 import { fileURLToPath } from 'url';
 import { Worker } from 'worker_threads';
@@ -103,10 +100,6 @@ const sseConnections = new Map();
 
 const delay = ms => new Promise(res => setTimeout(res, ms));
 
-const isProduction = process.env.NODE_ENV === 'production';
-export const urlData = isProduction ? 'https://data.primals.net/' : 'http://localhost:5173/';
-export const DATAS_API_TOKEN = process.env.DATAS_API_TOKEN;
-
 const backupDir = process.env.BACKUP_DIR || './backups'; // Répertoire de stockage des sauvegardes
 const execAsync = promisify(exec);
 
@@ -1123,33 +1116,6 @@ export async function onInit(defaultEngine) {
     engine = defaultEngine;
     logger = engine.getComponent(Logger);
 
-    const loadFromDb = async () => {
-        const webpages = await searchData({user: {username:'primals', token: DATAS_API_TOKEN}, query: { depth: 2, model: 'webpage', filter:{ $eq: ['$inSitemap', true]}}});
-        const contents = await searchData({user: {username:'primals', token: DATAS_API_TOKEN}, query: { depth: 2, model: 'content', filter:{ $eq: ['$inSitemap', true]}}});
-        const alls = [
-            "/",
-        ];
-
-        availableLangs.forEach(l => {
-            alls.push('/?lang='+l);
-            alls.push('/cgu?lang='+l);
-            alls.push('/'+l+'/documentation');
-        });
-
-        webpages.data.forEach(w => {
-            alls.push('/'+w.lang.code+(w.category.identifier?'/'+w.category.identifier:'')+(w.slug||''));
-        });
-        contents.data.forEach(w => {
-            alls.push('/'+w.lang.code+(w.category.identifier?'/'+w.category.identifier:'')+(w.slug||''));
-        });
-
-        return alls;
-    };
-
-    engine.use(
-        ExpressSitemap(loadFromDb, "https://data.primals.net", { maxAge: 60000 }),
-    );
-
     engine.use(middleware({ whitelist: [
         "$$NOW", "$in", "$eq", "$gt", "$gte", "$in", "$lt", "$lte", "$ne", "$nin", "$type", "$size",
             "$and", "$not", "$nor", "$or", "$regexMatch", "$find", "$elemMatch", "$filter", "$toString", "$toObjectId",
@@ -1160,7 +1126,6 @@ export async function onInit(defaultEngine) {
             "$toDate", "$toBool", "$toString", "$toInt", "$toDouble",
             "$dateSubtract", "$dateAdd", "$dateToString",
             '$year', '$month', '$week', '$dayOfMonth', '$dayOfWeek', '$dayOfYear', '$hour', '$minute', '$second', '$millisecond',
-
     ]}));
 
     let modelsCollection, datasCollection, filesCollection, packsCollection, magnetsCollection;
@@ -1263,24 +1228,6 @@ export async function onInit(defaultEngine) {
         return await usersCollection.updateOne({ username: user.username }, { $set: data }, { upsert: true })
     }
 
-    /**
-     * Remplace les placeholders dans un objet filtre.
-     * Gère {{userId}}.
-     */
-    const processFilterPlaceholders = (filter, user) => {
-        const processedFilter = JSON.parse(JSON.stringify(filter));
-        for (const key in processedFilter) {
-            if (processedFilter[key] === '{{userId}}') {
-                // Dans le système Primals, le champ utilisateur est souvent `_user`
-                // et contient le nom d'utilisateur, pas l'ID. Adaptez si besoin.
-                processedFilter[key] = user.username;
-            } else if (typeof processedFilter[key] === 'object' && processedFilter[key] !== null) {
-                processedFilter[key] = processFilterPlaceholders(processedFilter[key], user);
-            }
-        }
-        return processedFilter;
-    };
-
     // Dans C:/Dev/hackersonline-engine/server/src/modules/data.js, dans onInit()
 
     engine.post('/api/magnets', [middlewareAuthenticator, userInitiator], async (req, res) => {
@@ -1385,127 +1332,6 @@ export async function onInit(defaultEngine) {
         }
     });
 
-    engine.post('/api/tutorials/set-active', middlewareAuthenticator, async (req, res) => {
-        try {
-            const { tutorialState } = req.body;
-            const user = req.me;
-
-            if (tutorialState !== null && (typeof tutorialState !== 'object' || !tutorialState.id)) {
-                return res.status(400).json({ error: 'Invalid tutorial state payload.' });
-            }
-
-            // Créer une représentation de l'utilisateur mis à jour pour la réponse
-            const updatedData = { activeTutorial: tutorialState };
-
-            await saveUser(user, updatedData);
-
-            // --- MODIFICATION ---
-            res.json({
-                success: true,
-                updatedData // Renvoyer l'objet utilisateur complet
-            });
-
-        } catch (error) {
-            console.error('[Tutoriel Set Active Error]', error);
-            res.status(500).json({ error: 'Error setting active tutorial.', details: error.message });
-        }
-    });
-
-    // ...
-
-    engine.post('/api/tutorials/:tutorialId/claim-rewards', middlewareAuthenticator, async (req, res) => {
-        try {
-            const { tutorialId } = req.params;
-            const user = req.me; // L'objet utilisateur est déjà chargé
-            const tutorial = tutorialsConfig.find(t => t.id === tutorialId);
-
-            if (!tutorial) return res.status(404).json({ error: 'Tutoriel non trouvé.' });
-            if (!tutorial.rewards) return res.status(400).json({ error: 'Ce tutoriel n\'a pas de récompenses.' });
-            if (user.completedTutorials?.includes(tutorialId)) {
-                return res.status(400).json({ error: 'Tutoriel déjà terminé.' });
-            }
-
-            const { xpBonus, skill, achievement, notification } = tutorial.rewards;
-
-            // --- LOGIQUE CORRIGÉE ---
-            let newData= {};
-            newData.xp = newData.xp || 0;
-            newData.achievements = newData.achievements || [];
-            newData.skills = newData.skills || [];
-            newData.completedTutorials = newData.completedTutorials || [];
-
-            // Appliquer les récompenses directement sur l'objet newData
-            if (xpBonus) newData.xp += xpBonus;
-            if (achievement && !newData.achievements.includes(achievement)) newData.achievements.push(achievement);
-            if (skill) {
-                const existingSkill = newData.skills.find(s => s.name === skill.name);
-                if (existingSkill) {
-                    existingSkill.points += skill.points;
-                } else {
-                    newData.skills.push({ name: skill.name, points: skill.points });
-                }
-            }
-
-            newData.completedTutorials.push(tutorialId);
-            newData.activeTutorial = null;
-
-            await saveUser(user, newData);
-
-            const translatedNotification = {
-                title: i18n.t(notification.title, notification.title),
-                message: i18n.t(notification.message, notification.message),
-            };
-
-            res.json({
-                success: true,
-                userUpdate: newData, // Renvoyer l'objet utilisateur complet et mis à jour
-                notification: translatedNotification
-            });
-
-        } catch (error) {
-            console.error('[Tutoriel Rewards Error]', error);
-            res.status(500).json({ error: 'Erreur lors de l\'attribution des récompenses.', details: error.message });
-        }
-    });
-
-
-    /**
-     * Route pour vérifier si une condition de complétion est remplie.
-     * Utilise la fonction `searchData` existante pour interroger les données.
-     */
-    engine.post('/api/tutorials/check-completion', middlewareAuthenticator, async (req, res) => {
-        try {
-            const { model, filter, limit } = req.body;
-            const user = req.me;
-
-            if (!model || !filter || limit === undefined) {
-                return res.status(400).json({ error: 'Payload de condition de complétion invalide.' });
-            }
-
-            const processedFilter = processFilterPlaceholders(filter, user);
-
-            // On utilise la fonction de recherche interne de l'application
-            const searchResult = await searchData({
-                query: {
-                    model,
-                    filter: processedFilter,
-                    limit, // Optimisation : pas besoin de plus de résultats
-                    page: 1,
-                },
-                user: user,
-            });
-
-            // searchData devrait renvoyer un `count` total des documents correspondants
-            const isCompleted = searchResult.count >= limit;
-
-            res.json({ isCompleted });
-
-        } catch (error) {
-            console.error('[Tutoriel Check Error]', error);
-            res.status(500).json({ error: 'Erreur lors de la vérification de la complétion.', details: error.message });
-        }
-    });
-
     engine.get('/api/import/progress/:jobId', [middlewareAuthenticator], async (req, res) => {
         const { jobId } = req.params;
         const user = req.me;

package/src/modules/file.js

@@ -2,7 +2,7 @@
 // Nouvelle fonction pour ajouter un fichier privé
 import {maxPrivateFileSize, megabytes} from "../constants.js";
 import {isLocalUser} from "../data.js";
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {getUserStorageLimit} from "../user.js";
 import {getCollection} from "./mongodb.js";
 import {getFileExtension, isGUID, uuidv4} from "../core.js";

package/src/modules/user.js

@@ -1,4 +1,4 @@
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {MongoClient, MongoDatabase} from "../engine.js";
 import {getCollection, getCollectionForUser, getUserCollectionName} from "./mongodb.js";
 import {dbName, plans} from "../constants.js";

package/src/modules/workflow.js

@@ -10,7 +10,7 @@ import {maxExecutionsByStep, maxWorkflowSteps} from "../constants.js";
 import { ChatOpenAI } from "@langchain/openai";
 import { ChatGoogleGenerativeAI } from "@langchain/google-genai";
 import { ChatPromptTemplate } from "@langchain/core/prompts";
-import i18n from "../../../data-primals-engine/src/i18n.js";
+import i18n from "data-primals-engine/i18n";
 import {sendEmail} from "../email.js";
 
 // 1. ADD THIS IMPORT AT THE TOP OF THE FILE

package/src/providers.js

@@ -13,6 +13,15 @@ export class UserProvider {
         this.engine = engine;
     }
 
+    /**
+     * Met à jour un nouvel utilisateur.
+     * @param user
+     * @returns {Promise<void>}
+     */
+    async updateUser(user, data) {
+
+    }
+
     /**
      * Trouve un utilisateur par son nom d'utilisateur.
      * @param {string} username - Le nom d'utilisateur à rechercher.
@@ -57,6 +66,10 @@ export class DefaultUserProvider extends UserProvider {
         return true;
     }
 
+    async updateUser(user, data) {
+        this.users = this.users.map(user => user.username === user.username ? {...user, ...data} : user);
+    }
+
     async initiateUser(req) {
         req.me = this.users[0];
     }

package/src/tutorials.js

@@ -1,112 +0,0 @@
-// Fichier : src/tutorials.js
-
-export const tutorialsConfig = [
-    {
-        id: 'contact-management-basics',
-        name: 'Gestion des contacts : Les bases',
-        description: 'Apprenez les opérations fondamentales : créer et supprimer un contact.',
-        icon: 'FaUserPlus',
-        stages: [
-            {
-                stage: 1,
-                tourName: 'tour-create-contact', // Nom du tour guidé à lancer
-                name: 'Créez votre premier contact',
-                description: 'Ajoutez un nouveau contact avec le prénom "Richard".',
-                completionCondition: { model: 'contact', limit: 1, filter: { "firstName": "Richard" } }
-            },
-            {
-                stage: 2,
-                tourName: 'tour-delete-contact',
-                name: 'Effacez vos traces',
-                description: 'Maintenant, supprimez le contact "Richard" que vous venez de créer.',
-                // La condition pour valider une suppression est de vérifier que le nombre d'éléments correspondants est 0.
-                completionCondition: { model: 'contact', limit: 0, filter: { "firstName": "Richard" } }
-            }
-        ],
-        rewards: {
-            xpBonus: 150,
-            achievement: 'CONTACT_MANAGER_NOVICE',
-            notification: { title: 'Gestionnaire de contacts', message: 'Vous maîtrisez les bases de la gestion de contacts !' }
-        }
-    },
-    {
-        id: 'advanced-permissions',
-        name: 'Permissions & rôles',
-        description: 'Maîtrisez la gestion des droits du bout des doigts !',
-        icon: 'FaUserShield',
-        stages: [
-            {
-                stage: 1,
-                tourName: 'tour-set-permissions',
-                name: 'Gestion des droits utilisateurs',
-                description: 'Trouvez l\'utilisateur "userTuto" et donnez-lui le droit "visitor".',
-                completionCondition: {model: 'user', limit: 1, filter: {"username": "userTuto", "roles": { "$find": {"$eq":["$$this.name","visitor"]}}}}
-            },
-            {
-                stage: 2,
-                tourName: 'tour-create-role',
-                name: 'Créer un nouveau rôle',
-                description: 'Créez un rôle personnalisé nommé "Modérateur".',
-                // Condition : un document dans le modèle 'role' avec le nom 'Modérateur' doit exister.
-                // (On suppose ici l'existence d'un modèle 'role' pour gérer les rôles).
-                completionCondition: { model: 'role', limit: 1, filter: { "name": "moderator" } }
-            },
-            {
-                stage: 3,
-                tourName: 'tour-assign-permission-to-role',
-                name: 'Ajouter une permission au rôle',
-                description: 'Modifiez le rôle "moderator" pour lui ajouter la permission "API_EDIT_DATA_content".',
-                // Condition : le rôle 'Modérateur' doit avoir une permission nommée 'delete_contact'.
-                // (On suppose que le modèle 'role' a un champ 'permissions' qui est un tableau de relations).
-                completionCondition: { model: 'role', limit: 1, filter: { "name": "moderator", "permissions": { "$find": { "$eq": ["$$this.name", "API_EDIT_DATA_content"] } } } }
-            },
-            {
-                stage: 4,
-                tourName: 'tour-assign-role-to-user',
-                name: 'Promouvoir un utilisateur',
-                description: 'Maintenant, assignez votre rôle "moderator" à l\'utilisateur "userTuto".',
-                // Condition : l'utilisateur 'userTuto' doit maintenant aussi avoir le rôle 'Modérateur'.
-                completionCondition: { model: 'user', limit: 1, filter: { "username": "userTuto", "roles": { "$find": { "$eq": ["$$this.name", "moderator"] } } } }
-            }
-        ],
-        rewards: {
-            xpBonus: 500,
-            achievement: 'PERMISSION_ARCHITECT',
-            notification: { title: 'Architecte des Permissions', message: 'Vous savez maintenant comment finement gérer les accès !' }
-        }
-    },
-    {
-        id: 'requests',
-        name: 'Suivi d\'Activité',
-        description: 'Découvrez les succès liés à l\'activité.',
-        icon: 'FaUserShield',
-        stages: [
-            {
-                stage: 1,
-                tourName: null, // Pas de tour guidé, l'action peut se faire n'importe où
-                name: 'Première requête',
-                description: 'Effectuez des actions pour générer 50 requêtes système pour débloquer votre premier succès d\'activité.',
-                completionCondition: {model: 'request', limit: 50, filter: {}}
-            },
-            {
-                stage: 2,
-                tourName: null,
-                name: 'Activité soutenue',
-                description: 'Continuez votre activité et atteignez 250 requêtes pour le prochain palier.',
-                completionCondition: {model: 'request', limit: 250, filter: {}}
-            },
-            {
-                stage: 3,
-                tourName: null,
-                name: 'Expert en requêtes',
-                description: 'Impressionnant ! Atteignez 1000 requêtes pour prouver votre maîtrise.',
-                completionCondition: {model: 'request', limit: 1000, filter: {}}
-            }
-        ],
-        rewards: {
-            xpBonus: 1000,
-            achievement: 'REQUEST_MASTER',
-            notification: { title: 'Maître des Requêtes', message: 'Votre activité sur le réseau est remarquable !' }
-        }
-    }
-];