bertrend 0.3.16__tar.gz → 0.3.17__tar.gz

{bertrend-0.3.16 → bertrend-0.3.17}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: bertrend
-Version: 0.3.16
+Version: 0.3.17
 Summary: BERTrend analyses topic evolution over time using state-of-the-art transformer models: topic modelling and LLM
 License: LICENSE.md
 License-File: AUTHORS.txt

bertrend-0.3.17/bertrend/llm_utils/prompts.py

@@ -0,0 +1,138 @@
+#  Copyright (c) 2024, RTE (https://www.rte-france.com)
+#  See AUTHORS.txt
+#  SPDX-License-Identifier: MPL-2.0
+#  This file is part of BERTrend.
+
+FR_USER_SUMMARY_MULTIPLE_DOCS = """
+Vous êtes une IA spécialisée dans la compréhension et la synthèse d’articles de presse.
+Votre tâche : produire une synthèse concise et fidèle au contenu fourni.
+
+Entrées :
+- Mots-clés du thème : {keywords}
+- Articles (Titre + Contenu) :
+```{article_list}```
+
+Exigences de la synthèse :
+1) Contenu :
+   - Être directement liée au thème évoqué par les mots-clés.
+   - Intégrer les informations essentielles communes ou complémentaires entre les articles.
+   - Éviter les répétitions, les détails anecdotiques et le bruit.
+   - Mentionner les acteurs, faits, dates, chiffres et positions clés quand disponibles.
+   - Être neutre, factuelle, sans spéculation ni jugement.
+2) Forme :
+   - Ne pas dépasser {nb_sentences} phrases (phrases complètes, séparées par des points).
+   - Ne pas commencer par « Les articles… », « Ces articles… » ni toute méta-introduction.
+   - Commencer directement par l’information la plus saillante.
+   - Pas de listes, ni de puces ; texte continu.
+   - Pas de citations longues ; reformuler brièvement si nécessaire.
+3) Qualité & Cohérence :
+   - Résoudre les divergences entre articles en signalant la divergence de façon concise si pertinente.
+   - Éviter les doublons d’information.
+   - Ne pas inventer d’informations absentes de l’entrée.
+   - Respecter la langue des consignes (français).
+
+Sortie attendue :
+- Un seul paragraphe, {nb_sentences} phrases maximum.
+- Aucune introduction, aucune conclusion générique, aucun texte en dehors de la synthèse.
+"""
+
+EN_USER_SUMMARY_MULTIPLE_DOCS = """
+You are an AI specialized in understanding and synthesizing news articles.
+Your task: produce a concise and faithful summary of the provided content.
+
+Inputs:
+- Topic keywords: {keywords}
+- Articles (Title + Content):
+```{article_list}```
+
+Summary requirements:
+1) Content:
+   - Be directly related to the topic evoked by the keywords.
+   - Capture the essential, shared, or complementary information across articles.
+   - Avoid repetition, minor details, and noise.
+   - Include key actors, facts, dates, figures, and stated positions when available.
+   - Maintain a neutral, factual tone with no speculation or judgment.
+2) Form:
+   - Do not exceed {nb_sentences} sentences (complete sentences, period-separated).
+   - Do not begin with “The articles…”, “These articles…”, or any meta-introduction.
+   - Start immediately with the most salient information.
+   - No lists or bullets; continuous prose only.
+   - No long quotations; paraphrase briefly if needed.
+3) Quality & Consistency:
+   - If articles diverge, briefly note the discrepancy only if relevant.
+   - Avoid duplicating the same information.
+   - Do not invent information not present in the input.
+   - Output in English.
+
+Expected output:
+- A single paragraph, at most {nb_sentences} sentences.
+- No introduction, no generic conclusion, and no text outside the summary.
+"""
+
+# keywords: list of keywords describing the topic
+# article_list: list of articles (each with title and content)
+USER_SUMMARY_MULTIPLE_DOCS = {
+    "fr": FR_USER_SUMMARY_MULTIPLE_DOCS,
+    "en": EN_USER_SUMMARY_MULTIPLE_DOCS,
+}
+
+###################### TOPIC PROMPTS
+
+FR_USER_GENERATE_TOPIC_LABEL_SUMMARIES = """
+Contexte : génération d’une newsletter sur le thème « {newsletter_title} ».
+Tâche : proposer un libellé très court décrivant le sous-thème spécifique du texte fourni.
+
+Contraintes :
+- Longueur : au plus 5 mots.
+- Clarté : formulation naturelle, lisible, sans jargon inutile.
+- Spécificité : refléter ce qui rend le texte distinctif dans le cadre du thème « {newsletter_title} ».
+- Éviter :
+  - Libellés trop généraux (ex. : « Actualités », « Mise à jour », « Tendances »).
+  - Libellés trop proches ou quasi identiques au thème principal (ex. répéter « {newsletter_title} » ou son équivalent).
+  - Formulations métadiscursives (« Ce texte… », « Sous-thème… »).
+  - Ponctuation superflue (pas de point final si possible).
+- Langue : français.
+- Un seul libellé attendu.
+
+Texte :
+"{title_list}"
+
+Sortie (uniquement le libellé, sans guillemets, sans texte additionnel) :
+"""
+
+EN_USER_GENERATE_TOPIC_LABEL_SUMMARIES = """
+Context: generating a newsletter on the topic "{newsletter_title}".
+Task: propose a very short label that captures the specific sub-topic of the provided text.
+
+Constraints:
+- Length: maximum 5 words.
+- Clarity: natural, readable phrasing; avoid unnecessary jargon.
+- Specificity: reflect what makes the text distinctive within the scope of "{newsletter_title}".
+- Avoid:
+  - Overly general labels (e.g., "News", "Update", "Trends").
+  - Labels too close to or nearly identical to the main topic (e.g., repeating "{newsletter_title}" or its near-synonym).
+  - Meta-introductions ("This text…", "Subtopic…").
+  - Superfluous punctuation (no trailing period if possible).
+- Language: English.
+- Exactly one label expected.
+
+Text:
+"{title_list}"
+
+Output (only the label, no quotes, no extra text):
+"""
+
+# title_list: list or block of document excerpts belonging to the topic
+USER_GENERATE_TOPIC_LABEL_SUMMARIES = {
+    "fr": FR_USER_GENERATE_TOPIC_LABEL_SUMMARIES,
+    "en": EN_USER_GENERATE_TOPIC_LABEL_SUMMARIES,
+}
+
+BERTOPIC_FRENCH_TOPIC_REPRESENTATION_PROMPT = (
+    "J'ai un topic qui contient les documents suivants :\n"
+    "[DOCUMENTS]\n"
+    "Le topic est décrit par les mots-clés suivants : [KEYWORDS]\n"
+    "Sur la base des informations ci-dessus, extraire une courte étiquette de topic dans le format suivant :\n"
+    "Topic : <étiquette du sujet>"
+)
+# Passed directly to BERTopic's OpenAI wrapper, formatted similarly to BERTopic's original prompt which can be found in its source code

bertrend-0.3.17/bertrend/topic_analysis/prompts.py

@@ -0,0 +1,76 @@
+#  Copyright (c) 2024, RTE (https://www.rte-france.com)
+#  See AUTHORS.txt
+#  SPDX-License-Identifier: MPL-2.0
+#  This file is part of BERTrend.
+
+TOPIC_DESCRIPTION_PROMPT_EN = """
+You are a topic analysis expert. Your task is to generate a clear, human-readable title and a detailed description for the given topic.
+
+Input:
+- Topic representation: {topic_representation}
+- Context documents (may include excerpts, keywords, or summaries):
+{docs_text}
+
+Requirements:
+1) Title:
+   - Be concise (max 8 words)
+   - Be informative and specific
+   - Use Title Case
+   - Avoid jargon and buzzwords unless present in the context
+
+2) Description:
+   - ~100 words (90–120 words)
+   - Summarize the central idea and scope
+   - Highlight key themes, entities, or recurring concepts from the context
+   - Avoid copying long verbatim text from the context; paraphrase instead
+   - Be neutral, factual, and free of speculation
+   - Do not begin with generic phrases such as "This theme...", "This topic...", or "The theme...", or "The topic..."
+
+3) Style & Quality:
+   - No placeholders, no extraneous commentary
+   - No first-person voice
+   - No references to the prompt or instructions
+   - Start directly with substantive content (e.g., a key concept, scope, or claim), not with meta-introductions
+
+Output format (strict JSON; no prose outside JSON):
+"title": "Your title here",  
+"description": "Your ~100-word description here."
+"""
+
+TOPIC_DESCRIPTION_PROMPT_FR = """
+Vous êtes un expert en analyse de sujets. Votre tâche est de générer un titre clair et lisible ainsi qu’une description détaillée pour le sujet fourni.
+
+Entrée :
+- Représentation du sujet : {topic_representation}
+- Contexte (extraits, mots-clés ou résumés) :
+{docs_text}
+
+Exigences :
+1) Titre :
+   - Concis (max. 8 mots)
+   - Informatif et spécifique
+   - Éviter le jargon sauf s’il apparaît dans le contexte
+
+2) Description :
+   - Environ 100 mots (90–120)
+   - Résumer l’idée centrale et le périmètre
+   - Mettre en avant les thèmes, entités ou concepts récurrents du contexte
+   - Ne pas copier de longs passages ; reformuler
+   - Ton neutre, factuel, sans spéculation
+   - Ne pas commencer par des formules génériques telles que « Ce thème… », « Ce sujet… » ou « Le thème… » ou « Le sujet… »
+
+3) Style & Qualité :
+   - Pas d’espaces réservés, pas de commentaires superflus
+   - Pas de première personne
+   - Aucune référence aux instructions
+   - Commencer directement par le contenu substantiel (concept clé, périmètre, ou idée centrale), sans méta-introduction
+
+Format de sortie (JSON strict ; aucun texte hors du JSON) :
+"title": "Votre titre ici",  
+"description": "Votre description (~100 mots) ici."
+"""
+
+TOPIC_DESCRIPTION_PROMPT = {
+    "en": TOPIC_DESCRIPTION_PROMPT_EN,
+    "fr": TOPIC_DESCRIPTION_PROMPT_FR,
+}

bertrend-0.3.17/bertrend/trend_analysis/prompts.py

@@ -0,0 +1,308 @@
+#  Copyright (c) 2024, RTE (https://www.rte-france.com)
+#  See AUTHORS.txt
+#  SPDX-License-Identifier: MPL-2.0
+#  This file is part of BERTrend.
+import os
+from datetime import datetime
+from pathlib import Path
+
+from jinja2 import Template, Environment, FileSystemLoader
+from loguru import logger
+
+from bertrend import OUTPUT_PATH
+from bertrend.trend_analysis.data_structure import TopicSummaryList, SignalAnalysis
+
+# Global variables for prompts
+SIGNAL_INTRO = {
+    "en": """As an elite strategic foresight analyst with extensive expertise across multiple domains and industries, your task is to conduct a comprehensive evaluation of a potential signal derived from the following topic summary:
+
+{summary_from_first_prompt}
+
+Leverage your knowledge and analytical skills to provide an in-depth analysis of this signal's potential impact and evolution:
+""",
+    "fr": """En tant qu'analyste de prospective stratégique d'élite avec une expertise étendue dans de multiples domaines et industries, votre tâche est de mener une évaluation complète d'un signal potentiel dérivé du résumé de sujet suivant :
+
+{summary_from_first_prompt}
+
+Utilisez vos connaissances et compétences analytiques pour fournir une analyse approfondie de l'impact potentiel et de l'évolution de ce signal :
+""",
+}
+
+SIGNAL_INSTRUCTIONS = {
+    "en": """
+Analyze this signal only if the input data is sufficiently complete and substantive. If the subject summary lacks completeness, substance, specificity, or novelty, respond with an empty JSON dictionary: {}
+
+=== DECISION RULES (STRICT SUFFICIENCY) ===
+- Overall Sufficiency: Proceed with analysis only if the topic summary contains enough concrete, non-trivial information to support evidence-based reasoning across at least one analysis dimension (Impact, Evolution, Interconnections, Drivers/Inhibitors).
+- Section Sufficiency: For each analysis section (Impact, Evolution Scenarios, Interconnections and Synergies, Drivers and Inhibitors), include the section ONLY if the input contains enough detail to meet the Minimum Quality Requirements. If not, omit the section entirely (do not include placeholders).
+- Evidence-First: Prefer omission over speculation. Do not infer facts not supported by the provided summary.
+
+For substantial signals, provide the following sections (include only those that meet the standards; omit any that do not):
+
+1. Potential Impact Analysis:
+   - Examine potential effects on sectors, industries, and societal aspects.
+   - Cover immediate (1–2 years), medium (3–5 years), and long-term (5–10 years) horizons.
+   - Include ripple effects and second-order consequences when supportable.
+
+2. Evolution Scenarios:
+   - Describe plausible future developments and manifestation paths.
+   - Identify factors shaping the trajectory.
+   - Provide both optimistic and pessimistic scenarios only if both are sufficiently supported; otherwise include the supported one(s) and omit the rest.
+
+3. Interconnections and Synergies:
+   - Identify interactions with current trends or emerging phenomena.
+   - Discuss synergies or conflicts with existing systems or paradigms.
+
+4. Drivers and Inhibitors:
+   - Analyze accelerants and amplifiers of the signal.
+   - Examine barriers, constraints, or resistances.
+
+Your analysis should be thorough and nuanced, going beyond surface-level observations, and grounded in the provided content. Make well-reasoned predictions only when they are logically supported by the input. If analysis cannot be substantiated with clear reasoning, omit that section.
+
+=== OUTPUT QUALITY STANDARDS ===
+Avoid:
+- Vague generalizations
+- Obvious conclusions without new insight
+- Insufficient evidence
+- Generic observations
+- Circular reasoning
+- Superficial treatment
+- Unsubstantiated speculation
+- Outdated perspectives
+
+=== MINIMUM QUALITY REQUIREMENTS (APPLY PER SECTION) ===
+Each included section must demonstrate at least 2 of:
+- Specific Context: Clear temporal, geographic, or sectoral boundaries with examples
+- Concrete Evidence: Quantifiable insights, verifiable examples, or substantiated claims from the input
+- Novel Perspectives: Non-obvious connections or emerging patterns grounded in the input
+- Actionable Intelligence: Guidance that enables decision-making or planning
+- Cross-Domain Impact: Implications across multiple sectors or domains
+- Measurable Dimensions: Metrics, indicators, or tracking mechanisms
+- Causal Analysis: Clear cause-and-effect or contributing factors
+- Strategic Relevance: Direct link to business, policy, or societal decisions
+
+=== OUTPUT REQUIREMENTS ===
+- Section-Level Omission: Omit any section that cannot meet the Minimum Quality Requirements with the provided information.
+- Evidence-Based: Use specific, quantifiable language with concrete examples derived from the input.
+- Confidence Levels: Clearly distinguish high-confidence assessments from speculative insights.
+- Decision-Focused: Prioritize actionable intelligence for strategic decision-makers.
+- Balanced Objectivity: Maintain rigor while acknowledging uncertainties and limitations.
+- Temporal Structure: Organize insights across immediate (1–2 years), medium (3–5 years), and long-term (5–10 years) where applicable.
+- Final Validation: Before finalizing, remove any statement that cannot be traced to or logically derived from the provided summary.
+
+If no section can meet these standards, return an empty JSON dictionary: {}
+""",
+    "fr": """
+Analysez ce signal uniquement si les données d’entrée sont suffisamment complètes et substantielles. Si le résumé du sujet manque de complétude, de substance, de spécificité ou de nouveauté, répondez avec un dictionnaire JSON vide : {}
+
+=== RÈGLES DE DÉCISION (SUFFISANCE STRICTE) ===
+- Suffisance Globale : Poursuivez l’analyse uniquement si le résumé contient des informations concrètes et non triviales permettant un raisonnement fondé sur des preuves pour au moins une dimension d’analyse (Impact, Évolution, Interconnexions, Moteurs/Inhibiteurs).
+- Suffisance par Section : Pour chaque section (Impact, Scénarios d’Évolution, Interconnexions et Synergies, Moteurs et Inhibiteurs), incluez la section UNIQUEMENT si les informations permettent d’atteindre les Exigences Minimales de Qualité. Sinon, omettez entièrement la section (pas d’espace réservé).
+- Primauté des Preuves : Préférez l’omission à la spéculation. N’inférez pas de faits non étayés par le résumé fourni.
+
+Pour les signaux substantiels, fournissez les sections suivantes (n’incluez que celles qui respectent les standards ; omettez celles qui ne les atteignent pas) :
+
+1. Analyse de l’Impact Potentiel :
+   - Effets potentiels sur secteurs, industries et aspects sociétaux.
+   - Couvrez les horizons immédiat (1–2 ans), moyen (3–5 ans) et long terme (5–10 ans).
+   - Incluez les effets d’entraînement et de second ordre lorsque c’est étayé.
+
+2. Scénarios d’Évolution :
+   - Décrivez des développements plausibles et voies de manifestation futures.
+   - Identifiez les facteurs influençant la trajectoire.
+   - Fournissez des scénarios optimistes et pessimistes uniquement si tous deux sont suffisamment étayés ; sinon, incluez seulement ceux qui le sont et omettez le reste.
+
+3. Interconnexions et Synergies :
+   - Interactions avec les tendances actuelles ou phénomènes émergents.
+   - Synergies ou conflits avec les systèmes ou paradigmes existants.
+
+4. Moteurs et Inhibiteurs :
+   - Facteurs accélérateurs/amplificateurs du signal.
+   - Obstacles, contraintes ou résistances.
+
+Votre analyse doit être approfondie, nuancée et ancrée dans le contenu fourni. Proposez des prédictions bien raisonnées uniquement lorsqu’elles sont logiquement étayées par l’entrée. Si une section ne peut être étayée par un raisonnement clair, omettez-la.
+
+=== STANDARDS DE QUALITÉ DE SORTIE ===
+À éviter :
+- Généralisations vagues
+- Conclusions évidentes sans nouveaux éclairages
+- Preuves insuffisantes
+- Observations génériques
+- Raisonnement circulaire
+- Traitement superficiel
+- Spéculation non étayée
+- Perspectives obsolètes
+
+=== EXIGENCES MINIMALES DE QUALITÉ (PAR SECTION) ===
+Chaque section incluse doit démontrer au moins 2 des éléments suivants :
+- Contexte Spécifique : Limites temporelles, géographiques ou sectorielles claires avec exemples
+- Preuves Concrètes : Insights quantifiables, exemples vérifiables, ou affirmations étayées par l’entrée
+- Perspectives Nouvelles : Connexions non évidentes ou schémas émergents ancrés dans l’entrée
+- Intelligence Actionnable : Conseils permettant la décision ou la planification
+- Impact Trans-Domaine : Implications multi-sectorielles
+- Dimensions Mesurables : Métriques, indicateurs ou mécanismes de suivi
+- Analyse Causale : Relations de cause à effet ou facteurs contributifs clairs
+- Pertinence Stratégique : Lien direct avec décisions business, politiques ou sociétales
+
+=== EXIGENCES DE SORTIE ===
+- Omission par Section : Omettez toute section qui ne peut atteindre les exigences minimales avec les informations disponibles.
+- Basé sur les Preuves : Utilisez un langage spécifique et quantifiable avec des exemples concrets tirés de l’entrée.
+- Niveaux de Confiance : Distinguez clairement les évaluations à haute confiance des insights spéculatifs.
+- Orienté Décision : Priorisez l’intelligence actionnable pour les décideurs stratégiques.
+- Objectivité Équilibrée : Rigueur analytique en reconnaissant les incertitudes et limitations.
+- Structure Temporelle : Organisez les insights sur les horizons immédiat (1–2 ans), moyen (3–5 ans) et long terme (5–10 ans) lorsque pertinent.
+- Validation Finale : Avant de finaliser, retirez toute affirmation qui ne peut être retracée ou logiquement dérivée du résumé fourni.
+
+Si aucune section ne peut respecter ces standards, renvoyez un dictionnaire JSON vide : {}
+""",
+}
+
+TOPIC_SUMMARY_PROMPT = {
+    "en": """
+As an expert analyst specializing in trend analysis and strategic foresight, your task is to provide a comprehensive evolution summary of Topic {topic_number}. Use only the information provided below:
+
+{content_summary}
+
+Structure your analysis as follows:
+
+For the first timestamp:
+
+## [Concise yet impactful title capturing the essence of the topic at this point]
+### Date: [Relevant date or time frame - format %Y-%m-%d]
+### Key Developments
+- [Bullet point summarizing a major development or trend]
+- [Additional bullet points as needed]
+
+### Analysis
+[2-3 sentences maximum providing deeper insights into the developments, their potential implications, and their significance in the broader context of the topic's evolution]
+
+For all subsequent timestamps:
+
+## [Concise yet impactful title capturing the essence of the topic at this point]
+### Date: [Relevant date or time frame - format %Y-%m-%d]
+### Key Developments
+- [Bullet point summarizing a major development or trend]
+- [Additional bullet points as needed]
+
+### Analysis
+[2-3 sentences maximum providing deeper insights into the developments, their potential implications, and their significance in the broader context of the topic's evolution]
+
+### What's New
+[1-2 sentences maximum highlighting how this period differs from the previous one, focusing on new elements or significant changes]
+
+Provide your analysis using only this format, based solely on the information given. Do not include any additional summary or overview sections beyond what is specified in this structure.
+""",
+    "fr": """
+En tant qu'analyste expert spécialisé dans l'analyse des tendances et la prospective stratégique, votre tâche est de fournir un résumé complet de l'évolution du Sujet {topic_number}. Utilisez uniquement les informations fournies ci-dessous :
+
+{content_summary}
+
+Structurez votre analyse comme suit :
+
+Pour le premier timestamp :
+
+## [Titre concis mais percutant capturant l'essence du sujet à ce moment]
+### Date : [Date ou période pertinente - format %Y-%m-%d]
+### Développements Clés
+- [Point résumant un développement majeur ou une tendance]
+- [Points supplémentaires si nécessaire]
+
+### Analyse
+[2-3 phrases maximum fournissant des insights plus profonds sur les développements, leurs implications potentielles et leur importance dans le contexte plus large de l'évolution du sujet]
+
+Pour tous les timestamps suivants :
+
+## [Titre concis mais percutant capturant l'essence du sujet à ce moment]
+### Date : [Date ou période pertinente - format %Y-%m-%d]
+### Développements Clés
+- [Point résumant un développement majeur ou une tendance]
+- [Points supplémentaires si nécessaire]
+
+### Analyse
+[2-3 phrases maximum fournissant des insights plus profonds sur les développements, leurs implications potentielles et leur importance dans le contexte plus large de l'évolution du sujet]
+
+### Nouveautés
+[1-2 phrases maximum soulignant en quoi cette période diffère de la précédente, en se concentrant sur les nouveaux éléments ou les changements significatifs]
+
+Fournissez votre analyse en utilisant uniquement ce format, basé uniquement sur les informations données. N'incluez pas de sections de résumé ou d'aperçu supplémentaires au-delà de ce qui est spécifié dans cette structure.
+""",
+}
+
+
+def get_prompt(
+    language: str,
+    prompt_type: str,
+    topic_number: int = None,
+    content_summary: str = None,
+    summary_from_first_prompt: str = None,
+):
+    lang = "en" if language == "English" else "fr"
+
+    if prompt_type == "weak_signal":
+        prompt = (
+            SIGNAL_INTRO[lang].format(
+                summary_from_first_prompt=summary_from_first_prompt
+            )
+            + SIGNAL_INSTRUCTIONS[lang]
+        )
+
+    elif prompt_type == "topic_summary":
+        prompt = TOPIC_SUMMARY_PROMPT[lang].format(
+            topic_number=topic_number, content_summary=content_summary
+        )
+    else:
+        raise ValueError(f"Unsupported prompt type: {prompt_type}")
+
+    return prompt
+
+
+def save_html_output(html_output, output_file="signal_llm.html"):
+    """Function to save the model's output as HTML"""
+    output_path = OUTPUT_PATH / output_file
+
+    # Save the cleaned HTML
+    with open(output_path, "w", encoding="utf-8") as file:
+        file.write(html_output)
+    logger.debug(f"Cleaned HTML output saved to {output_path}")
+
+
+def fill_html_template(
+    topic_summary_list: TopicSummaryList,
+    signal_analysis: SignalAnalysis,
+    language: str = "fr",
+) -> str:
+    """Fill the HTML template with appropriate data"""
+    # Setup Jinja2 environment
+    template_dir = os.path.dirname(os.path.abspath(__file__))
+    env = Environment(
+        loader=FileSystemLoader(template_dir),
+    )
+    template = env.get_template(
+        "signal_llm_template_en.html"
+        if language == "en"
+        else "signal_llm_template_fr.html"
+    )
+
+    # Sort the list by date from most recent to least recent
+    try:
+        sorted_topic_summary_by_time_period = sorted(
+            topic_summary_list.topic_summary_by_time_period,
+            key=lambda x: datetime.strptime(x.date, "%Y-%m-%d"),
+            reverse=True,
+        )
+        topic_summary_list.topic_summary_by_time_period = (
+            sorted_topic_summary_by_time_period
+        )
+    except Exception as e:
+        logger.warning("Cannot sort summaries by date, probably wrong date format")
+
+    # Render the template with the provided data
+    rendered_html = template.render(
+        topic_summary_list=topic_summary_list, signal_analysis=signal_analysis
+    )
+
+    # FIXME: many \n are added...
+    rendered_html = rendered_html.replace("\n", "")
+    rendered_html = rendered_html.replace("\\'", "'")
+
+    return rendered_html

{bertrend-0.3.16 → bertrend-0.3.17}/bertrend_apps/prospective_demo/i18n_translations.py

@@ -360,6 +360,10 @@ TRANSLATIONS = {
         "en": "Error sending email",
     },
     # Success Messages
+    "email_being_sent": {
+        "fr": "Email en cours d'envoi...",
+        "en": "Email being sent...",
+    },
     "email_sent_successfully": {
         "fr": "Email envoyé avec succès!",
         "en": "Email sent successfully!",

{bertrend-0.3.16 → bertrend-0.3.17}/bertrend_apps/prospective_demo/llm_utils.py

@@ -17,7 +17,7 @@ def generate_bertrend_topic_description(
     """Generates a LLM-based human-readable description of a topic composed of a title and a description (as a dict)"""
     if not texts:
         logger.warning(f"No text found for topic number {topic_number}")
-        return None
+        return None, None
 
     topic_representation = ", ".join(topic_words.split("_"))  # Get top 10 words
 

{bertrend-0.3.16 → bertrend-0.3.17}/bertrend_apps/prospective_demo/report_generation.py

@@ -312,6 +312,7 @@ def email(temp_path: Path, mail_title: str, recipients: list[str]) -> None:
                     with open(temp_path, "r") as file:
                         # Read the entire contents of the file into a string
                         # content = file.read()
+                        st.info(translate("email_being_sent"))
                         send_email(
                             credentials=credentials,
                             subject=mail_title,

{bertrend-0.3.16 → bertrend-0.3.17}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "bertrend"
-version = "0.3.16"
+version = "0.3.17"
 description = "BERTrend analyses topic evolution over time using state-of-the-art transformer models: topic modelling and LLM"
 license = "LICENSE.md"
 readme = "README.md"

bertrend-0.3.16/bertrend/llm_utils/prompts.py

@@ -1,94 +0,0 @@
-#  Copyright (c) 2024, RTE (https://www.rte-france.com)
-#  See AUTHORS.txt
-#  SPDX-License-Identifier: MPL-2.0
-#  This file is part of BERTrend.
-from bertrend.config.parameters import BERTOPIC_SERIALIZATION
-
-FR_USER_SUMMARY_MULTIPLE_DOCS = (
-    "Vous êtes une IA hautement qualifiée, formée à la compréhension et à la synthèse du langage. "
-    "Voici ci-dessous plusieurs articles de presse (Titre et Contenu). "
-    "Tous les articles appartiennent au même thème représenté par les mots-clés suivants : {keywords}. "
-    "Générez une synthèse en {nb_sentences} phrases maximum de ces articles qui doit être en lien avec le thème évoqué par les mots-clés. "
-    "La synthèse doit permettre de donner une vision d'ensemble du thème sans lire les articles. "
-    "Ne pas commencer par 'Les articles...' mais commencer directement la synthèse.\n"
-    "Liste des articles :\n"
-    "```{article_list}```\n"
-    "Synthèse :"
-)
-
-EN_USER_SUMMARY_MULTIPLE_DOCS = (
-    "You are a highly qualified AI, trained in language understanding and synthesis. "
-    "Below are several press articles (Title and Content). "
-    "All the articles belong to the same topic represented by the following keywords: {keywords}. "
-    "Generate a summary of these articles, which must be related to the theme evoked by the keywords. "
-    "The summary must not exceed {nb_sentences} sentences and should include the essential information from the articles.\n"
-    "List of articles :\n"
-    "```{article_list}```\n"
-    "Summary :"
-)
-# keywords: list of keywords describing the topic
-# list of articles and their title
-USER_SUMMARY_MULTIPLE_DOCS = {
-    "fr": FR_USER_SUMMARY_MULTIPLE_DOCS,
-    "en": EN_USER_SUMMARY_MULTIPLE_DOCS,
-}
-
-###################### TOPIC PROMPTS
-
-FR_USER_GENERATE_TOPIC_LABEL_SUMMARIES = (
-    "Décrit en une courte expression le thème associé à l'ensemble des extraits "
-    "suivants. Le thème doit être court et spécifique en 4 mots maximum. "
-    '\n"{title_list}"'
-)
-
-EN_USER_GENERATE_TOPIC_LABEL_SUMMARIES = (
-    "Describe in a short sentence the topic associated with the following extracts. "
-    "The topic description should be short and specific, no more than 4 words. "
-    '\n"{title_list}"'
-)
-
-FR_USER_GENERATE_TOPIC_LABEL_SUMMARIES_V2 = (
-    'Dans le cadre de la génération d\'une newsletter sur le thème "{newsletter_title}", '
-    "décrit en une courte expression le sous-thème associé au texte suivant. "
-    "L'expression doit être courte en 4 mots maximum. "
-    "Elle doit montrer en quoi le texte est spécifique pour le thème. "
-    "Elle ne doit pas être générale ni décrire un sous-thème trop proche du thème de la newsletter.\n\n"
-    'Texte : "{title_list}"'
-)
-
-# title_list: list of documents extracts belonging to the topic
-
-EN_USER_GENERATE_TOPIC_LABEL_SUMMARIES_V2 = (
-    'Within the framework of the generation of a newsletter on the topic "{newsletter_title}", '
-    "describe in a short sentence the sub-topic associated with the following text. "
-    "The sentence should be short, no more than 4 words. "
-    "It should show in what way the text is specific to the topic. "
-    "It should not be general nor describe a sub-topic too close to the topic of the newsletter.\n\n"
-    '\n"{title_list}"'
-)
-# title_list: list of documents extracts belonging to the topic
-
-USER_GENERATE_TOPIC_LABEL_SUMMARIES = {
-    "fr": FR_USER_GENERATE_TOPIC_LABEL_SUMMARIES_V2,
-    "en": EN_USER_GENERATE_TOPIC_LABEL_SUMMARIES_V2,
-}
-
-
-FR_USER_GENERATE_TOPIC_LABEL_TITLE = (
-    "Vous êtes une IA hautement qualifiée, formée à la compréhension et à la synthèse du langage. "
-    'Après utilisation d\'un algorithme de topic modelling, un topic est représenté par les mots-clé suivants : """{keywords}.""" '
-    'Le topic contient plusieurs documents dont les titres sont les suivants :\n"""\n{title_list}\n"""\n'
-    "À partir de ces informations sur le topic, écrivez un titre court de ce topic en 3 mots maximum. "
-)
-# keywords: list of keywords describing the topic
-# title_list: list of documents title belonging to the topic
-
-
-BERTOPIC_FRENCH_TOPIC_REPRESENTATION_PROMPT = (
-    "J'ai un topic qui contient les documents suivants :\n"
-    "[DOCUMENTS]\n"
-    "Le topic est décrit par les mots-clés suivants : [KEYWORDS]\n"
-    "Sur la base des informations ci-dessus, extraire une courte étiquette de topic dans le format suivant :\n"
-    "Topic : <étiquette du sujet>"
-)
-# Passed directly to BERTopic's OpenAI wrapper, formatted similarly to BERTopic's original prompt which can be found in its source code