data-primals-engine 1.7.1 → 1.7.2

package/client/package.json

@@ -13,6 +13,7 @@
     "preview": "vite preview"
   },
   "resolutions": {
+    "markdown-it": ">=14.1.1",
     "immutable": ">=5.1.5",
     "body-parser": ">=2.2.1",
     "js-yaml": ">=4.1.1",
@@ -31,7 +32,6 @@
     "react-cookie": "^8.0.1",
     "react-ga": "^3.3.1",
     "react-helmet": "^6.1.0",
-    "react-icons": "^5.5.0",
     "react-international-phone": "^4.6.0",
     "react-query": "^3.39.3",
     "react-router-dom": "^7.8.1",
@@ -63,14 +63,17 @@
     "lowlight": "^3.3.0",
     "react": "^18.3.1",
     "reactflow": "^11.0.0-next.0",
+    "react-icons": "^5.5.0",
     "react-big-calendar": "^1.15.0",
     "react-color": "^2.19.3",
     "react-dom": "^18.3.1",
     "react-leaflet": "^4.2.1",
-    "react-router": "7.12.0",
+    "react-router": ">=7.15.1",
     "react-switch": "^7.1.0",
     "uniqid": "^5.4.0",
-    "yet-another-react-lightbox": "^3.25.0"
+    "yet-another-react-lightbox": "^3.25.0",
+    "flatted": ">=3.4.2",
+    "linkify-it": ">=5.0.1"
   },
   "devDependencies": {
     "@eslint/js": "^9.33.0",
@@ -84,6 +87,6 @@
     "globals": "^15.15.0",
     "process": "^0.11.10",
     "sass-embedded": "^1.90.0",
-    "vite": "8.0.9"
+    "vite": ">=6.4.3"
   }
 }

package/client/src/AssistantChat.jsx

@@ -1,5 +1,3 @@
-// client/src/components/AssistantChat.jsx
-
 import React, { useState, useMemo, useEffect, useRef } from 'react';
 import { FaRobot, FaPaperPlane, FaTimes, FaExpand, FaCompress, FaPlus } from 'react-icons/fa';
 import './AssistantChat.scss';
@@ -13,7 +11,7 @@ import FlexViewCard from "./FlexViewCard.jsx";
 import HtmlViewCard from "./HtmlViewCard.jsx";
 import {useUI} from "./contexts/UIContext.jsx";
 import Button from "./Button.jsx";
-import {getUserHash, getUserId} from "../../src/data.js";
+import {getUserHash} from "../../src/data.js";
 import {useAuthContext} from "./contexts/AuthContext.jsx";
 import {useNavigate} from "react-router-dom";
 import {DataTable} from "./DataTable.jsx";

package/client/src/DataLayout.jsx

@@ -60,7 +60,6 @@ const NotConfiguredPlaceholder = ({ type, onConfigure }) => (
 
 const WorkflowSelectorModal = ({ onClose, onSelectWorkflow }) => {
     const { t } = useTranslation();
-    const { searchData } = useModelContext();
     const { me } = useAuthContext();
     const { data: activeWorkflows, isLoading } = useQuery(
         'activeWorkflowsList',
@@ -96,7 +95,7 @@ const WorkflowSelectorModal = ({ onClose, onSelectWorkflow }) => {
     );
 };
 
-function DataLayout({refreshUI}) {
+function DataLayout({refreshUI}, ref) {
     const [ searchParams, setSearchParams ] = useSearchParams();
     const [viewSettings, setViewSettings] = useLocalStorage('viewSettings', {});
 
@@ -147,6 +146,7 @@ function DataLayout({refreshUI}) {
 
     const mainPartRef = useRef();
     const modelCreatorRef = useRef();
+    const dataEditorRef = useRef(null);
 
     const [tutorialDialogVisible, setTutorialDialogVisible] = useState(false);
     const [importModalVisible, setImportModalVisible] = useState(false);
@@ -155,7 +155,6 @@ function DataLayout({refreshUI}) {
     const [showAPIInfo, setAPIInfoVisible] = useState(false);
     const nav = useNavigate();
     const mod = searchParams.get('model');
-    const loc = useLocation();
 
 
     // --- AJOUT : Récupérer le paramètre de l'URL pour l'édition de workflow ---
@@ -300,18 +299,24 @@ function DataLayout({refreshUI}) {
                     setFilterValues={setFilterValues}
                     model={selectedModel}
                     onAddData={(model) => {
-                        mainPartRef.current.scrollIntoView({behavior: "smooth"});
                         handleAddData(model);
+                        setTimeout(() => {
+                            dataEditorRef.current?.scrollIntoView({ behavior: 'smooth', block: 'start' });
+                        }, 100);
                     }}
                     onDuplicateData={(data) => {
-                        mainPartRef.current.scrollIntoView({behavior: "smooth"});
                         handleAddData(selectedModel, data);
+                        setTimeout(() => {
+                            dataEditorRef.current?.scrollIntoView({ behavior: 'smooth', block: 'start' });
+                        }, 100);
                     }}
                     onEdit={(item) => {
-                        mainPartRef.current.scrollIntoView({behavior: "smooth"});
                         setRecordToEdit(item);
                         setFormData(item);
                         setDataEditorVisible(true);
+                        setTimeout(() => {
+                            dataEditorRef.current?.scrollIntoView({ behavior: 'smooth', block: 'start' });
+                        }, 100);
                     }}
                     deleteApiCall={deleteApiCall}
                     queryClient={queryClient}
@@ -586,13 +591,6 @@ function DataLayout({refreshUI}) {
         setImportModalVisible(false);
     }
 
-    useEffect(() => {
-        if( showDataEditor && mainPartRef.current ){
-
-        }
-    }, [showDataEditor,mainPartRef.current]);
-
-
     const [currentProfile, setCurrentProfile] = useLocalStorage('profile', null);
     const {isTourOpen, setIsTourOpen, currentTourSteps, allTourSteps, setTourStepIndex, setCurrentTourSteps, currentTour,setCurrentTour, addLaunchedTour, assistantConfig, setAssistantConfig} = useUI();
 
@@ -707,7 +705,7 @@ function DataLayout({refreshUI}) {
                             onSelectWorkflow={(id) => {
                                 nav(`?edit-workflow=${id}`);
                                 setEditionMode(false)
-                                mainPartRef.current.scrollIntoView();
+                                mainPartRef.current?.scrollIntoView();
                                 setCurrentView('workflow'); // Ajout pour forcer le changement de vue
                                 setWorkflowListModalOpen(false);
                             }}
@@ -740,7 +738,7 @@ function DataLayout({refreshUI}) {
                     setAPIInfoVisible(false);
                     setDataEditorVisible(false);
                     setEditionMode(true);
-                    mainPartRef.current.scrollIntoView({behavior: 'smooth'});
+                    mainPartRef.current?.scrollIntoView({behavior: 'smooth'});
                     gtag("event", "select_content", {
                         content_type: "create_model",
                     });
@@ -750,7 +748,7 @@ function DataLayout({refreshUI}) {
                     setAPIInfoVisible(false);
                     setEditionMode(true);
 
-                    mainPartRef.current.scrollIntoView({behavior: 'smooth'});
+                    mainPartRef.current?.scrollIntoView({behavior: 'smooth'});
                     gtag("event", "select_content", {
                         content_type: "edit_model",
                         content_id: model.name
@@ -760,7 +758,7 @@ function DataLayout({refreshUI}) {
                     setDataEditorVisible(false);
                     setEditionMode(false);
                     setAPIInfoVisible(false);
-                    mainPartRef.current.scrollIntoView({behavior: 'smooth'});
+                    //mainPartRef.current?.scrollIntoView({behavior: 'smooth'});
                     gtag("event", "select_content", {
                         content_type: "select_model",
                         content_id: model.name
@@ -768,12 +766,12 @@ function DataLayout({refreshUI}) {
                            }} onImportPack={() => {
                                setShowPackGallery(true);
                 }} onNewData={(model) => {
-                    mainPartRef.current.scrollIntoView({behavior: 'smooth'});
+                    mainPartRef.current?.scrollIntoView({behavior: 'smooth'});
                     handleAddData(model);
                 }}/>
                 {(editionMode) && (
                     <ModelCreator ref={modelCreatorRef} onModelGenerated={() =>{
-                        modelCreatorRef.current.scrollIntoView({behavior: 'smooth'});
+                        modelCreatorRef?.current?.scrollIntoView({behavior: 'smooth'});
                     }} initialModel={selectedModel} onModelSaved={(model) => {
                         setRefreshTime(new Date().getTime());
                         handleModelSelect(model);
@@ -785,7 +783,8 @@ function DataLayout({refreshUI}) {
                 )}
             <div className="hidden-anchor" ref={mainPartRef}></div>
 
-                {showDataEditor && (<DataEditor ref={mainPartRef}
+                {showDataEditor && (<DataEditor
+                    ref={dataEditorRef}
                     key={selectedModel?.name}
                     isLoading={isLoading}
                     model={selectedModel}

package/client/src/DataTable.jsx

@@ -738,10 +738,10 @@ export function DataTable({
                                         </button>)}
                                         {/* AJOUT : Bouton pour ouvrir l'éditeur de workflow */}
                                         {model.name === 'workflow' && (
-                                            <NavLink to={`?edit-workflow=${item._id}`} className="datatable-action-btn workflow-edit"
+                                            <button onClick={() => nav(`?edit-workflow=${item._id}`)} className="btn-nav datatable-action-btn workflow-edit"
                                                      data-tooltip-id="tooltipActions" data-tooltip-content={t('workflow.editor.title', "Éditeur de Workflow")}>
                                                 <FaGear />
-                                            </NavLink>
+                                            </button>
                                         )}
 
                                         <button data-tooltip-id="tooltipActions"

package/client/src/DocumentationPageLayout.scss

@@ -235,7 +235,7 @@
   }
 }
 
-@media only screen and (min-width: 1024Fpx){
+@media only screen and (min-width: 1024px){
   .documentation-sidebar{
     max-width: 360px; // Largeur fixe pour le menu latéral
   }

package/client/src/ViewSwitcher.jsx

@@ -17,7 +17,7 @@ const ViewSwitcher = ({ currentView, onViewChange, configuredViews, onConfigureV
     const { t } = useTranslation();
 
     return (
-        <div className="view-switcher flex items-center gap-1 p-1 bg-gray-200 rounded-md">
+        <div className="view-switcher flex items-center gap-1 p-1 rounded-md">
             {viewOptions.map(view => {
                 const isConfigured = view.id === 'table' || configuredViews[view.id];
                 const isActive = currentView === view.id;

package/client/vite.config.js

@@ -1,30 +1,31 @@
-import { defineConfig } from 'vite'
-import react from '@vitejs/plugin-react'
-
-// https://vite.dev/config/
-export default defineConfig({
-    plugins: [react()],
-    base: "/",
-    build: {
-        outDir: "dist"
-    },
-    server : {
-        proxy: {
-            '/api': {
-                target: 'http://localhost:7633',
-                secure: false,
-                changeOrigin: true,
-                // Optionnel mais utile pour le débogage :
-                // Affiche les requêtes proxy dans la console de Vite.
-                configure: (proxy, options) => {
-                    proxy.on('proxyReq', (proxyReq, req, res) => {
-                        console.log(`[Vite Proxy] Forwarding request: ${req.method} ${req.url} -> ${options.target}${proxyReq.path}`);
-                    });
-                }
-            }
-        }
-    },
-    fs: {
-        allow: ["./src", "../src"]
-    }
-})
+import { defineConfig } from 'vite'
+import react from '@vitejs/plugin-react'
+import { fileURLToPath, URL } from "node:url";
+
+// https://vite.dev/config/
+export default defineConfig({
+    plugins: [react()],
+    base: "/",
+    build: {
+        outDir: "dist"
+    },
+    server : {
+        proxy: {
+            '/api': {
+                target: 'http://localhost:7633',
+                secure: false,
+                changeOrigin: true,
+                // Optionnel mais utile pour le débogage :
+                // Affiche les requêtes proxy dans la console de Vite.
+                configure: (proxy, options) => {
+                    proxy.on('proxyReq', (proxyReq, req, res) => {
+                        console.log(`[Vite Proxy] Forwarding request: ${req.method} ${req.url} -> ${options.target}${proxyReq.path}`);
+                    });
+                }
+            }
+        }
+    },
+    fs: {
+        allow: ["./src", "../src"]
+    }
+})

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "data-primals-engine",
-  "version": "1.7.1",
+  "version": "1.7.2",
   "description": "data-primals-engine is a package responsible from handling large amount of data using MongoDB in a practical and performant way. It can also get workflow models working (for automation), and fully supports internationalisation. It also has integrated AI assistant.",
   "main": "src/engine.js",
   "type": "module",
@@ -28,10 +28,14 @@
     "@rollup/rollup-linux-x64-gnu": "4.6.1"
   },
   "resolutions": {
+    "shell-quote": ">=1.8.4",
+    "lodash": ">=4.18.0",
     "flatted": ">=3.4.2",
     "rollup": ">=4.59.0",
     "on-headers": ">=1.1.0",
-    "brace-expansion": ">=2.0.2",
+    "brace-expansion": ">=2.0.3",
+    "minimatch": ">=3.1.4",
+    "path-to-regexp": ">=8.4.0",
     "prismjs": ">=1.30.0",
     "xml2js": ">=0.5.0",
     "tar-fs": ">=3.1.1",
@@ -39,13 +43,17 @@
     "node-forge": ">=1.4.0",
     "js-yaml": ">=4.1.1",
     "mdast-util-to-hast": ">=13.2.1",
+    "uuid": ">=11.1.1",
     "jws": ">=3.2.3",
-    "undici": ">=6.23.0",
+    "undici": ">=7.28.0",
     "@xmldom/xmldom": ">=0.8.12",
     "picomatch": ">=4.0.4",
-    "langsmith": ">=0.5.19",
+    "langsmith": ">=0.6.0",
     "qs": ">=6.14.2",
-    "fast-xml-parser": ">=4.5.5"
+    "fast-xml-parser": ">=4.5.5",
+    "fast-xml-builder": ">=1.1.7",
+    "ip-address": ">=10.1.1",
+    "postcss": ">=8.5.10"
   },
   "overrides": {
     "react-syntax-highlighter": {
@@ -78,7 +86,7 @@
   },
   "dependencies": {
     "@langchain/core": "^0.3.80",
-    "archiver": "^7.0.1",
+    "archiver": "^8.0.0",
     "aws-sdk": "^2.1692.0",
     "bcrypt": "^6.0.0",
     "body-parser": ">=2.2.1",
@@ -89,6 +97,7 @@
     "cronstrue": "^3.2.0",
     "csv-parse": "^6.1.0",
     "date-fns": "^4.1.0",
+    "dotenv": "^17.4.2",
     "express-csrf-double-submit-cookie": "^2.0.0",
     "express-formidable": "^1.2.0",
     "express-mongo-sanitize": "^2.2.0",
@@ -98,11 +107,12 @@
     "i18next-browser-languagedetector": "^8.2.0",
     "isolated-vm": "^5.0.4",
     "juice": "^11.0.3",
+    "leaflet": "^1.9.4",
     "mathjs": "15.2.0",
     "mongodb": "^6.18.0",
     "node-cache": "^5.1.2",
     "node-schedule": "^2.1.1",
-    "nodemailer": "8.0.5",
+    "nodemailer": ">=9.0.1",
     "openai": "^6.9.1",
     "passport": "^0.7.0",
     "passport-saml-encrypted": "^0.1.13",
@@ -113,33 +123,33 @@
     "read-excel-file": "^6.0.1",
     "request-ip": "^3.3.0",
     "safe-regex": "^2.1.1",
-    "sanitize-html": "^2.17.0",
+    "sanitize-html": "^2.17.4",
     "sirv": "^3.0.2",
     "stripe": "^20.0.0",
     "swagger-ui-express": "^5.0.1",
-    "tar": "7.5.11",
+    "tar": ">=7.5.16",
     "tinycolor2": "^1.6.0",
     "uniqid": "^5.4.0",
-    "vitest": "3.2.4",
+    "vitest": "3.2.6",
     "yaml": "2.8.3"
   },
   "peerDependencies": {
+    "@langchain/anthropic": "^0.3.33",
+    "@langchain/deepseek": "^0.1.0",
+    "@langchain/google-genai": "^0.2.18",
+    "@langchain/openai": "^0.6.16",
     "express": "^5.2.1",
     "passport-azure-ad": "^4.3.5",
     "passport-google-oauth20": "^2.0.0",
     "react": "18.3.1",
     "react-i18next": "^16.3.4",
-    "react-query": "^3.39.3",
-    "@langchain/anthropic": "^0.3.33",
-    "@langchain/deepseek": "^0.1.0",
-    "@langchain/google-genai": "^0.2.18",
-    "@langchain/openai": "^0.6.16"
+    "react-query": "^3.39.3"
   },
   "devDependencies": {
-    "@eslint/js": "^9.32.0",
+    "@eslint/js": "^9.39.4",
     "concurrently": "^9.2.0",
     "cross-env": "^10.0.0",
-    "eslint": "^9.32.0",
+    "eslint": "^9.39.4",
     "globals": "^16.3.0"
   },
   "subPackages": [

package/src/ai.jobs.js

@@ -0,0 +1,135 @@
+import {parseSafeJSON} from "./core.js";
+
+export const generateModelViaAI = async (llm, lang, txt, history, existingModels = []) => {
+    const conditionBuilderExample = JSON.stringify({ "$and": [ { "fieldNameOfTypeRelation": { "$find": { "$eq": [ "$$this.code", "fr" ] } }}, {"$eq":["$fieldOtherTypes","valueToSearch"]}, { "$ne": { "$user": null } } ] }, null, 2);
+
+    try {
+        const messages = [
+                {
+                    role: "system",
+                    content:
+                        `
+                      Tu dois me retourner un objet JSON valide contenant les suggestions de modèles, basés sur la demande de l'utilisateur.
+                      La spécification JSON d'UN modèle de données est la suivante :
+                        Par exemple, pour "un modèle pour gérer une bibliothèque et ses livres", la réponse pourrait être:
+                        {
+                            "models": [{
+                              "name": "book",
+                              "icon": "FaBook",
+                              "description": "*description détaillée en plusieurs phrases de l'utilité du modèle, et ses cas d'usage, ici : Modèle de référencement de livres multi-support. Peut être utilisé pour des bibliothèques personnelles, virtuelles ou municipales.*",
+                              "fields": [
+                                {"name": "title", "type": "string", "required": true, "asMain": true, "hint": "Titre du livre", color: '#FF89CC'},
+                                {"name": "isbn", "type": "string", "unique": true, "hint": "Numéro ISBN"},
+                                {"name": "author", "type": "relation", "relation": "author", "hint": "Auteur du livre", color: '#CCCCCC'},
+                                {"name": "publicationDate", "type": "date", "default": "now", "hint": "Date de publication du livre"}
+                                {"name": "bankCardNumber", "type": "text", "anonymized": true, "hint": "Numéro de carte bancaire anonymisé"}
+                              ]
+                            }
+                            {
+                                name: "library",
+                                "description": "",
+                                "icon": "FaBookOpenReader",
+                                fields: [
+                                    {
+                                        "name": "name",
+                                        "type": "string",
+                                        asMain: true,
+                                    },
+                                    {
+                                        "name": "address",
+                                        "type": "string",
+                                        asMain: true,
+                                    },
+                                    {
+                                        "name": "city",
+                                        "type": "string",
+                                        asMain: true,
+                                        color: '#E63345'
+                                    },
+                                    {
+                                        "name": "postalCode",
+                                        "type": "string",
+                                        asMain: true,
+                                    },
+                                    {
+                                        "name": "country",
+                                        "type": "string",
+                                        color: "#4F80BF",
+                                    }
+                                ]
+                            }]
+                        }
+                        
+                        les types de champ autorisés sont : 
+                        string, string_t (translation key)
+                            avec les propriétés { maxlength: number, multiline: boolean } 
+                        
+                        , password, url, phone, email,, richtext (html),
+                            avec les propriétés { maxlength: number } 
+                        boolean
+                        code
+                            avec les propriétés { language: 'json', conditionBuilder: boolean }, avec conditionBuilder la prop pour construire des conditions sur les données
+                        number
+                            avec les propriétés { step: 0.1, unit: string, min: number, max: number }
+                        
+                        date, datetime,
+                            avec les propriétés { min: dateIso, max: dateIso }
+                        enum, 
+                            avec les propriétés { items: ["label 1", "..."] }
+                      
+                        array
+                          avec les propriétés { itemsType: "string_t", ...et les autres propriétés du type itemsType }
+                        relation
+                            avec les propriétés { relationFilter: <condition>, multiple: boolean, relation: 'autreModeleNom'}, multiple permettant une relation 1-n pour chaque donnée du modèle.
+                            Préfères l'utilisation du multiple et d'un modèle séparé plutôt qu'un type array avec itemsType=string.
+                            Pour le type \`relation\`, utilise l'un des noms de modèles existants suivants : ${existingModels.join(', ')} ou le nom du modèle relationnel généré.\`
+                        color 
+                            avec une valeur en héxadecimal, ex: '#FF0000'
+                        file
+                            pour gérer les documents 
+                        calculated
+                            pour gérer les champs calculés (utile pour l'utilisateur)
+                        model (nom du modele choisi), 
+                        
+                        cronSchedule 
+                            avec les propriétés { default: '* * * * * *', cronMask: [false, true, true, true, true, true])
+                        
+                        <condition> ou la propriété 'condition' d'affichage sur les champs du modèle se définissent de cette manière : 
+                        ${conditionBuilderExample} avec les opérateurs mongodb $eq,$ne,$gt,$gte,$lt,$lte,$in,$nin,$dateAdd disponibles
+                        
+                        Les modèles doivent être absolument nommés autrement que ceux déjà existants (donc pas ceux là : {${existingModels.join(', ')})
+                        Si ils sont nommés pareil, renomme les tiens avec un suffixe '_2', ou '_3'...
+                        Et assures-toi de générer les modèles que tu as introduits dans tes relations.
+                        
+                        'default' est la valeur par défaut que prendra le champ (string, number, boolean, or array of type supported)
+                        Traduits le texte des hint et les données qui ne sont pas des variables ou des clés d'objet dans la langue iso2 ${lang}.
+                        
+                        Mets obligatoirement des couleurs harmonieuses sur les champs asMain, ou ceux que tu considères comme importants, car ils doivent être mis en avant (selon le thème).
+                        
+                        Ne renvoie bien QUE le tableau de modèles JSON, sans texte explicatif ni formatage markdown.`
+                },
+                {
+                    role: "user",
+                    content: typeof(txt) === 'string' ? txt.substring(0, 4096) : ''
+                },
+                ...history
+            ];
+
+        const completion = await llm.invoke(messages);
+
+        const aiResponse = completion.content;
+
+        try {
+            // parseSafeJSON fonctionnera que le contenu soit un objet ou un tableau
+            return parseSafeJSON(aiResponse); // On retourne directement le résultat parsé
+        } catch (e) {
+            console.error("Erreur de parsing du JSON de l'IA:", e);
+            throw new Error("Réponse invalide de l'IA.");
+        }
+
+    } catch (error) {
+        console.error("Error calling OpenAI or parsing response:", error);
+        // Renvoyer l'erreur pour que l'endpoint API puisse la gérer
+        throw error;
+    }
+};