erudit 4.0.0-dev.1 → 4.0.0-dev.3

package/server/erudit/contributors/build.ts

@@ -1,50 +1,111 @@
-import { readdirSync, writeFileSync } from 'node:fs';
-import { like } from 'drizzle-orm';
+import { existsSync, readdirSync, writeFileSync } from 'node:fs';
+import { eq, like } from 'drizzle-orm';
 import { globSync } from 'glob';
 import { isRawElement, type AnySchema, type ProseElement } from '@jsprose/core';
 import {
+    contributorIdToPropertyName,
     globalContributorsObject,
     globalContributorsTypes,
     type ContributorDefinition,
 } from '@erudit-js/core/contributor';
 
-// Trigger globalThis update
 $CONTRIBUTOR;
 
+let initialBuild = true;
+
+const contributorsRoot = () => `${ERUDIT.config.paths.project}/contributors`;
+
+const contributorsTypesPath = () =>
+    `${ERUDIT.config.paths.build}/types/contributors.d.ts`;
+
 export async function buildContributors() {
-    if (!ERUDIT.config.public.project.contributors?.enabled) {
-        return;
-    }
+    if (!ERUDIT.config.public.project.contributors?.enabled) return;
 
     ERUDIT.log.debug.start('Building contributors...');
 
-    await ERUDIT.db.delete(ERUDIT.db.schema.contributors);
-    await ERUDIT.db
-        .delete(ERUDIT.db.schema.files)
-        .where(like(ERUDIT.db.schema.files.role, 'contributor:%'));
+    const isInitial = initialBuild;
+    initialBuild = false;
 
-    const contributorIds = globSync(
-        `${ERUDIT.config.paths.project}/contributors/*/`,
-        { posix: true },
-    ).map((dirPath) => dirPath.split('/').pop() as string);
+    const contributorIds = collectContributorIds(isInitial);
 
-    for (const key in $CONTRIBUTOR) {
-        delete $CONTRIBUTOR[key];
+    if (!contributorIds.size) {
+        ERUDIT.log.info(
+            isInitial
+                ? 'Skipping contributors — no contributors found.'
+                : 'Skipping contributors — nothing changed.',
+        );
+        return;
     }
 
-    Object.assign($CONTRIBUTOR, globalContributorsObject(contributorIds));
+    for (const id of contributorIds) {
+        await cleanupContributor(id);
+    }
 
-    writeFileSync(
-        `${ERUDIT.config.paths.build}/types/contributors.d.ts`,
-        globalContributorsTypes($CONTRIBUTOR),
+    const existingIds = [...contributorIds].filter((id) =>
+        existsSync(`${contributorsRoot()}/${id}`),
     );
 
-    for (const contributorId of contributorIds) {
-        await buildContributor(contributorId);
+    syncContributorGlobals(existingIds);
+
+    if (!existingIds.length) {
+        return;
+    }
+
+    for (const id of existingIds) {
+        await buildContributor(id);
     }
 
     ERUDIT.log.success(
-        `Contributors build complete! (${ERUDIT.log.stress(contributorIds.length)})`,
+        isInitial
+            ? `Contributors build complete! (${ERUDIT.log.stress(contributorIds.size)})`
+            : `Contributors updated: ${ERUDIT.log.stress(existingIds.join(', '))}`,
+    );
+}
+
+//
+//
+//
+
+function collectContributorIds(initial: boolean): Set<string> {
+    if (initial) {
+        return new Set(
+            globSync(`${contributorsRoot()}/*/`, { posix: true }).map(
+                (p) => p.split('/').at(-1)!,
+            ),
+        );
+    }
+
+    const ids = new Set<string>();
+
+    for (const file of ERUDIT.changedFiles.values()) {
+        if (!file.startsWith(`${contributorsRoot()}/`)) continue;
+        const id = file.replace(`${contributorsRoot()}/`, '').split('/')[0];
+        if (id) ids.add(id);
+    }
+
+    return ids;
+}
+
+async function cleanupContributor(contributorId: string) {
+    await ERUDIT.db
+        .delete(ERUDIT.db.schema.contributors)
+        .where(eq(ERUDIT.db.schema.contributors.contributorId, contributorId));
+
+    await ERUDIT.db
+        .delete(ERUDIT.db.schema.files)
+        .where(
+            like(ERUDIT.db.schema.files.role, `contributor:${contributorId}%`),
+        );
+
+    delete $CONTRIBUTOR[contributorIdToPropertyName(contributorId)];
+}
+
+function syncContributorGlobals(contributorIds: string[]) {
+    Object.assign($CONTRIBUTOR, globalContributorsObject(contributorIds));
+
+    writeFileSync(
+        contributorsTypesPath(),
+        globalContributorsTypes($CONTRIBUTOR),
     );
 }
 
@@ -53,59 +114,53 @@ async function buildContributor(contributorId: string) {
         `Building contributor ${ERUDIT.log.stress(contributorId)}...`,
     );
 
-    const directory = `${ERUDIT.config.paths.project}/contributors/${contributorId}`;
-    const files = readdirSync(directory);
+    const dir = `${contributorsRoot()}/${contributorId}`;
+    const files = readdirSync(dir);
 
-    const avatarExtension = files
-        .find((file) => file.startsWith('avatar.'))
-        ?.split('.')
-        .pop();
-
-    if (avatarExtension) {
+    const avatar = files.find((f) => f.startsWith('avatar.'));
+    if (avatar) {
         await ERUDIT.repository.db.pushFile(
-            `${directory}/avatar.${avatarExtension}`,
+            `${dir}/${avatar}`,
             `contributor:${contributorId}`,
         );
     }
 
-    let moduleDefault: ContributorDefinition | undefined;
+    let def: ContributorDefinition | undefined;
 
     try {
-        moduleDefault = await ERUDIT.import(`${directory}/contributor`);
-    } catch (error) {
-        if (!String(error).includes('Cannot find module')) {
-            ERUDIT.log.error(
-                `Failed to load contributor ${ERUDIT.log.stress(contributorId)} module:\n`,
-            );
-            console.log(error);
+        def = await ERUDIT.import(`${dir}/contributor`);
+    } catch (err) {
+        if (!String(err).includes('Cannot find module')) {
+            ERUDIT.log.error(`Failed to load contributor ${contributorId}:`);
+            console.error(err);
         }
     }
 
     let description: ProseElement<AnySchema> | undefined;
 
-    if (isRawElement(moduleDefault?.description)) {
-        const resolveResult = await ERUDIT.repository.prose.resolve(
-            moduleDefault.description,
+    if (isRawElement(def?.description)) {
+        const resolved = await ERUDIT.repository.prose.resolve(
+            def.description,
             false,
         );
 
-        for (const file of resolveResult.files) {
+        for (const file of resolved.files) {
             await ERUDIT.repository.db.pushFile(
                 file,
                 `contributor:${contributorId}`,
             );
         }
 
-        description = resolveResult.proseElement;
+        description = resolved.proseElement;
     }
 
     await ERUDIT.db.insert(ERUDIT.db.schema.contributors).values({
         contributorId,
-        avatarExtension,
-        displayName: moduleDefault?.displayName,
-        short: moduleDefault?.short,
-        links: moduleDefault?.links,
-        editor: moduleDefault?.editor,
-        description: description,
+        avatarExtension: avatar?.split('.').pop(),
+        displayName: def?.displayName,
+        short: def?.short,
+        links: def?.links,
+        editor: def?.editor,
+        description,
     });
 }

package/server/erudit/db/repository/pushFile.ts

@@ -16,8 +16,11 @@ export async function pushFile(filepath: string, role: string): Promise<void> {
         '',
     );
 
-    await ERUDIT.db.insert(ERUDIT.db.schema.files).values({
-        path: relativePath,
-        role,
-    });
+    await ERUDIT.db
+        .insert(ERUDIT.db.schema.files)
+        .values({
+            path: relativePath,
+            role,
+        })
+        .onConflictDoNothing();
 }

package/server/erudit/db/schema/content.ts

@@ -1,7 +1,7 @@
 import { integer, sqliteTable, text } from 'drizzle-orm/sqlite-core';
 import type { ContentFlags } from '@erudit-js/core/content/flags';
 import type { ContentType } from '@erudit-js/core/content/type';
-import type { ContentExternal } from '@erudit-js/core/content/externals';
+import type { ContentExternalItem } from '@erudit-js/core/content/externals';
 import type { ContentSeo } from '@erudit-js/core/content/seo';
 
 export const content = sqliteTable('content', {
@@ -13,6 +13,6 @@ export const content = sqliteTable('content', {
     hidden: integer({ mode: 'boolean' }).notNull(),
     flags: text({ mode: 'json' }).$type<ContentFlags>(),
     decorationExtension: text(),
-    externals: text({ mode: 'json' }).$type<ContentExternal[]>(),
+    externals: text({ mode: 'json' }).$type<ContentExternalItem[]>(),
     seo: text({ mode: 'json' }).$type<ContentSeo>(),
 });

package/server/erudit/db/schema/contentSnippets.ts

@@ -1,16 +1,15 @@
 import { integer, sqliteTable, text } from 'drizzle-orm/sqlite-core';
 import type { ContentProseType } from '@erudit-js/core/content/prose';
+import type { SnippetData } from '@erudit-js/prose';
 
 export const contentSnippets = sqliteTable('contentSnippets', {
     snippetId: integer().primaryKey({ autoIncrement: true }),
     contentFullId: text().notNull(),
     contentProseType: text().notNull().$type<ContentProseType>(),
-    title: text().notNull(),
-    description: text(),
-    elementId: text().notNull(),
     schemaName: text().notNull(),
+    elementId: text().notNull(),
+    snippetData: text({ mode: 'json' }).$type<SnippetData>().notNull(),
     search: integer({ mode: 'boolean' }).notNull(),
-    searchSynonyms: text({ mode: 'json' }).$type<string[]>(),
     quick: integer({ mode: 'boolean' }).notNull(),
     seo: integer({ mode: 'boolean' }).notNull(),
 });

package/server/erudit/language/list/en.ts

@@ -1,4 +1,4 @@
-const en: LanguagePhrases = {
+export const phrases: LanguagePhrases = {
     language_code: 'en',
     language_name: 'English',
     erudit: 'Erudit',
@@ -97,107 +97,14 @@ const en: LanguagePhrases = {
         `Summary of the topic "${contentTitle}": key definitions, theorems, properties and examples of their use. All the most important things in a concise form!`,
     practice_seo_description: (contentTitle: string) =>
         `Various problems with hints and answers on the topic "${contentTitle}". Interesting conditions, hints and detailed solutions. Turn knowledge into a skill!`,
+    externals_own: 'Own',
+    externals_from: 'From',
 
     default_index_title: 'Erudit',
     default_index_short: 'Modern digital textbooks!',
     default_site_info_short: 'Modern textbook',
-
-    // _language_title: 'English',
-    // _language_code: 'en',
-    // site_info_title: 'Erudit',
-    // site_info_slogan: 'Modern textbook',
-    // seo_index_title: 'Erudit - CMS for eductional sites',
-    // seo_index_description:
-    //     'Erudit is a CMS for creating and managing perfect educational sites, maintained by the community.',
-    // seo_article_description: (contentTitle) =>
-    //     `Clear and interesting explanation of the topic "${contentTitle}". Illustrative examples, important properties, interesting facts, life applications, clear proofs. Here you will definitely understand the topic!`,
-    // seo_summary_description: (contentTitle) =>
-    //     `Summary of the topic "${contentTitle}": key definitions, theorems, properties and examples of their use. All the most important things in a concise form!`,
-    // seo_practice_description: (contentTitle) =>
-    //     `Various problems with hints and answers on the topic "${contentTitle}". Interesting conditions, hints and detailed solutions. Turn knowledge into a skill!`,
-    // index: 'Index',
-    // pages: 'Pages',
-    // search: 'Search',
-    // language: 'Language',
-    // other: 'Other',
-    // ads_replacer:
-    //     'Help us develop the project.<br><strong>Disable your ads blocker!</strong>',
-    // theme: 'Theme',
-    // theme_system: 'System',
-    // theme_light: 'Light',
-    // theme_dark: 'Dark',
-    // content: 'Content',
-    // main_page: 'Main page',
-    // contributors: 'Contributors',
-    // contributors_page_description:
-    //     'List of people who contributed to the project materials: suggested valuable ideas, made corrections to existing material or wrote their own!',
-    // contributors_page_invite:
-    //     'You can also help the project, make a contribution and get on this page!',
-    // become_contributor: 'Become a contributor',
-    // contributor: 'Contributor',
-    // contribution: 'Contribution',
-    // contributions_explain: (count) =>
-    //     `Contributed to ${m(count, 'material', 'materials')}`,
-    // contributor_description: (name) =>
-    //     `Page with information about the contributor "${name}" and his contribution to the project.`,
-    // editor: 'Editor',
-    // add_translation: 'Add translation',
-    // empty_nav: 'Empty navigation',
-
-    // popover_dependencies: 'Dependencies',
-    // popover_dependencies_description:
-    //     'There is no royal way into this topic! You can only figure it out if you know the following topics:',
-    // to_index: 'To index',
-    // about_book: 'About book',
-    // close: 'Close',
-    // back: 'Back',
-    // goto: 'Go to',
-    // error: 'Error!',
-    // external_link: 'External link',
-    // external_link_warn: 'You are going to visit external resource!',
-    // internal_link: 'Internal link',
-    // internal_link_warn: 'You are going to visit internal site page!',
-    // book: 'Textbook',
-    // group: 'Group',
-    // topic: 'Topic',
-    // topics: 'Topics',
-    // article: 'Article',
-    // summary: 'Summary',
-    // practice: 'Practice',
-    // element_id: 'Element ID',
-    // preview_missing_title: 'Element not found!',
-    // preview_missing_explain: `Can't find the element with specified ID in this page!<br>Perhaps the element ID is specified incorrectly or the element has been changed/deleted.`,
-    // preview_missing_explain_mismatch: `Can't find the element with specified ID in this page!<br>The version of the linked page is different from the current version of the page!<br>This is most likely the cause of the error.`,
-    // preview_hash_mismatch_title: 'Page version mismatch!',
-    // preview_hash_mismatch_explain:
-    //     'The version of the page you see now is different from the version of the page the original link led to!<br>The content may be different from what you expected to see.',
-    // current_page_hash: 'Current hash',
-    // expected_page_hash: 'Expected hash',
-    // empty_toc: 'Empty table of contents...',
-    // no_contributors: 'No contributors...',
-    // make_contribution: 'Make a contribution',
-    // material_improvement: 'Material improvement',
-    // how_to_improve: 'How to improve?',
-    // edit_page: 'Edit page',
-    // report_problem: 'Report a problem',
-    // references: 'References',
-    // reference_source_featured: 'Featured source',
-    // references_description:
-    //     'A list of external sources that were used to write this material. If there is an asterisk next to the title, it is a featured source and is worth reading if you want to delve deeper into the material.',
-    // sponsors: 'Sponsors',
-    // sponsors_description:
-    //     'People and organizations that support the project financially. Thanks to them, we can continue to develop the project and improve the quality of materials. If you want to support the project, you can become a sponsor too!',
-    // become_sponsor: 'Become a sponsor',
-    // toc: 'Table of contents',
-    // mentions: (count) => m(count, 'mention', 'mentions'),
-    // start_learning: 'Start learning!',
-    // x_contributors: (count) => m(count, 'Contributor', 'Contributors'),
-    // x_sponsors: (count) => m(count, 'Sponsor', 'Sponsors'),
-    // show_all: 'Show all',
 };
 
-export default en;
-
 export function m(
     number: number,
     one: string,

package/server/erudit/language/list/ru.ts

@@ -1,4 +1,4 @@
-const ru: LanguagePhrases = {
+export const phrases: LanguagePhrases = {
     language_code: 'ru',
     language_name: 'Русский',
     erudit: 'Erudit',
@@ -98,108 +98,14 @@ const ru: LanguagePhrases = {
         `Конспект темы «${contentTitle}»: ключевые определения, теоремы, свойства и примеры их использвания. Все самое важное и в кратком виде!`,
     practice_seo_description: (contentTitle: string) =>
         `Разнообразные задачи с подсказками и ответами по теме «${contentTitle}». Интересные условия, подсказки и подробные решения. Превратите знания в навык!`,
+    externals_own: 'Собственные',
+    externals_from: 'Из',
 
     default_index_title: 'Erudit',
     default_index_short: 'Современные цифровые учебники!',
     default_site_info_short: 'Современный учебник',
-
-    // _language_title: 'Русский',
-    // _language_code: 'ru',
-    // site_info_title: 'Erudit',
-    // site_info_slogan: 'Современный учебник',
-    // seo_index_title: 'Erudit - CMS для образовательных сайтов',
-    // seo_index_description:
-    //     'Erudit — CMS для создания и управления идеальными образовательными сайтами, которые поддерживаются сообществом.',
-    // seo_article_description: (contentTitle) =>
-    //     `Понятное и интересное объяснение темы «${contentTitle}». Показательные примеры, важные свойства, интересные факты, применение в жизни, понятные доказательства. Здесь вы точно разберетесь!`,
-    // seo_summary_description: (contentTitle) =>
-    //     `Конспект темы «${contentTitle}»: ключевые определения, теоремы, свойства и примеры их использвания. Все самое важное и в кратком виде!`,
-    // seo_practice_description: (contentTitle) =>
-    //     `Разнообразные задачи с подсказками и ответами по теме «${contentTitle}». Интересные условия, подсказки и подробные решения. Превратите знания в навык!`,
-    // index: 'Оглавление',
-    // pages: 'Страницы',
-    // search: 'Поиск',
-    // language: 'Язык',
-    // other: 'Другое',
-    // ads_replacer:
-    //     'Помогите улучшать проект.<br><strong>Включите показ рекламы!</strong>',
-    // theme: 'Тема',
-    // theme_system: 'Системная',
-    // theme_light: 'Светлая',
-    // theme_dark: 'Темная',
-    // content: 'Контент',
-    // main_page: 'Главная страница',
-    // contributors: 'Авторы',
-    // contributors_page_description:
-    //     'Список людей, которые внесли вклад в материалы проекта: предложили ценные идеи, вносили корректировки в существующий материал или же написали собственный!',
-    // contributors_page_invite:
-    //     'Вы тоже можете помочь проекту, внести свой вклад и попасть на эту страницу!',
-    // become_contributor: 'Стать автором',
-    // contributor: 'Автор',
-    // contribution: 'Вклад',
-    // contributions_explain: (count) =>
-    //     `Вклад в ${m(count, 'материал', 'материала', 'материалов')}`,
-    // contributor_description: (name) =>
-    //     `Страница с информацией о авторе "${name}" и его вкладе в проект.`,
-    // editor: 'Редактор',
-    // add_translation: 'Добавить перевод',
-    // empty_nav: 'Пустая навигация',
-    // popover_dependencies: 'Зависимости',
-    // popover_dependencies_description:
-    //     'Царского пути в эту тему нет! Вы сможете разобраться только если знаете следующие темы:',
-    // to_index: 'К оглавлению',
-    // about_book: 'Об учебнике',
-    // close: 'Закрыть',
-    // back: 'Назад',
-    // goto: 'Перейти',
-    // error: 'Ошибка!',
-    // external_link: 'Внешняя ссылка',
-    // external_link_warn: 'Вы собираетесь перейти на внешний ресурс!',
-    // internal_link: 'Внутренняя ссылка',
-    // internal_link_warn: 'Вы собираетесь перейти на внутреннюю страницу сайта!',
-    // book: 'Учебник',
-    // group: 'Группа',
-    // topic: 'Тема',
-    // topics: 'Темы',
-    // article: 'Статья',
-    // summary: 'Конспект',
-    // practice: 'Задачи',
-    // element_id: 'ID элемента',
-    // preview_missing_title: 'Элемент не найден!',
-    // preview_missing_explain:
-    //     'Не удалось найти на этой странице элемент с указанным ID!<br>Возможно, ID элемента указан неправильно или элемент был изменен/удален.',
-    // preview_missing_explain_mismatch: `Не удалось найти на этой странице элемент с указанным ID!<br>Версия страницы, на которую вела ссылка, отличается от текущей версии страницы!<br>Скорее всего, именно это и является причиной ошибки.`,
-    // preview_hash_mismatch_title: 'Несовпадение версий страницы!',
-    // preview_hash_mismatch_explain:
-    //     'Версия страницы, которую вы видите сейчас отличается от версии страницы, на которую вела исходная ссылка!<br>Содержимое может отличаться от того, что вы ожидали увидеть.',
-    // current_page_hash: 'Текущий хеш',
-    // expected_page_hash: 'Ожидаемый хеш',
-    // empty_toc: 'Пустая таблица содержимого...',
-    // no_contributors: 'Авторов нет...',
-    // make_contribution: 'Внести свой вклад',
-    // material_improvement: 'Улучшение материала',
-    // how_to_improve: 'Как улучшить?',
-    // edit_page: 'Редактировать страницу',
-    // report_problem: 'Сообщить о проблеме',
-    // references: 'Источники',
-    // reference_source_featured: 'Избранный источник',
-    // references_description:
-    //     'Список внешних источников, которые использовались при написании этого материала. Если рядом с названием стоит звездочка, то это избранный источник и с ним стоит ознакомиться, если вы хотите глубже погрузиться в материал.',
-    // sponsors: 'Спонсоры',
-    // sponsors_description:
-    //     'Список людей и организаций, которые поддерживают проект финансово. Благодаря им проект может существовать и развиваться. Если вы хотите помочь проекту, то тоже можете стать спонсором и попасть на эту страницу!',
-    // become_sponsor: 'Стать спонсором',
-    // toc: 'Содержание',
-    // mentions: (count: number) =>
-    //     m(count, 'упоминание', 'упоминания', 'упоминаний'),
-    // start_learning: 'Начать изучение!',
-    // x_contributors: (count: number) => m(count, 'Автор', 'Автора', 'Авторов'),
-    // x_sponsors: (count: number) => m(count, 'Спонсор', 'Спонсора', 'Спонсоров'),
-    // show_all: 'Показать все',
 };
 
-export default ru;
-
 export function m(
     number: number,
     one: string,

package/server/erudit/language/setup.ts

@@ -2,7 +2,7 @@ import { serverLanguages } from './list';
 
 export async function setupServerLanguage() {
     ERUDIT.language = {
-        phrases: {},
+        phrases: {} as any,
         functions: {},
     };
 
@@ -19,7 +19,7 @@ export async function setupServerLanguage() {
 
         const languageModule = await serverLanguages[targetLanguage]();
 
-        ERUDIT.language.phrases = languageModule.default;
+        ERUDIT.language.phrases = languageModule.phrases;
 
         for (const [funcKey, funcValue] of Object.entries(languageModule)) {
             if (typeof funcValue === 'function') {

package/server/erudit/language/types.ts

@@ -6,8 +6,8 @@ export interface EruditServerLanguage {
 }
 
 export interface ServerLanguageModule {
-    default: LanguagePhrases;
-    [key: string]: any;
+    phrases: LanguagePhrases;
+    [key: string]: Function | LanguagePhrases;
 }
 
 export type ServerLanguageModules = Record<