rsshub 1.0.0-master.fdb1381 → 1.0.0-master.fdb4325

package/lib/routes/theinitium/app.ts

@@ -7,6 +7,10 @@ import path from 'node:path';
 import { config } from '@/config';
 import { getCurrentPath } from '@/utils/helpers';
 
+const __dirname = getCurrentPath(import.meta.url);
+const appUrl = 'https://app.theinitium.com/';
+const userAgent = 'PugpigBolt v4.1.8 (iPhone, iOS 18.2.1) on phone (model iPhone15,2)';
+
 export const route: Route = {
     path: '/app/:category?',
     categories: ['new-media', 'popular'],
@@ -52,16 +56,16 @@ Category 栏目：
 | 播客   | article_audio_sc | article_audio_tc |`,
 };
 
-const resolveRelativeLink = ($: CheerioAPI, elem: Element, attr: string, baseUrl?: string) => {
+const resolveRelativeLink = ($: CheerioAPI, elem: Element, attr: string, appUrl?: string) => {
     // code from @/middleware/paratmeter.ts
     const $elem = $(elem);
 
-    if (baseUrl) {
+    if (appUrl) {
         try {
             const oldAttr = $elem.attr(attr);
             if (oldAttr) {
                 // e.g. <video><source src="https://example.com"></video> should leave <video> unchanged
-                $elem.attr(attr, new URL(oldAttr, baseUrl).href);
+                $elem.attr(attr, new URL(oldAttr, appUrl).href);
             }
         } catch {
             // no-empty
@@ -69,35 +73,79 @@ const resolveRelativeLink = ($: CheerioAPI, elem: Element, attr: string, baseUrl
     }
 };
 
-async function handler(ctx) {
-    const category = ctx.req.param('category') ?? 'latest_sc';
-    const __dirname = getCurrentPath(import.meta.url);
-    const baseUrl = 'https://app.theinitium.com/';
-
-    const feeds = await cache.tryGet(
-        new URL('timelines.json', baseUrl).href,
-        async () =>
-            await got({
-                method: 'get',
-                url: new URL('timelines.json', baseUrl).href,
-            }),
-        config.cache.routeExpire,
-        false
-    );
+async function getUA(url: string) {
+    return await got({
+        method: 'get',
+        url,
+        headers: {
+            'User-Agent': userAgent,
+        },
+    });
+}
 
-    const metadata = feeds.data.timelines.find((timeline) => timeline.id === category);
+async function fetchAppPage(url: URL) {
+    const response = await getUA(url.href);
+    const $ = load(response.data);
+    // resolve relative links with app.theinitium.com
+    // code from @/middleware/paratmeter.ts
+    $('a, area').each((_, elem) => {
+        resolveRelativeLink($, elem, 'href', appUrl);
+        // $(elem).attr('rel', 'noreferrer');  // currently no such a need
+    });
+    // https://www.w3schools.com/tags/att_src.asp
+    $('img, video, audio, source, iframe, embed, track').each((_, elem) => {
+        resolveRelativeLink($, elem, 'src', appUrl);
+        $(elem).removeAttr('srcset');
+    });
+    $('video[poster]').each((_, elem) => {
+        resolveRelativeLink($, elem, 'poster', appUrl);
+    });
+    const article = $('.pp-article__body');
+    article.find('.block-related-articles').remove();
+    article.find('figure.wp-block-pullquote').children().unwrap();
+    article.find('div.block-explanation-note').wrapInner('<blockquote></blockquote>');
+    article.find('div.wp-block-tcc-author-note').wrapInner('<em></em>').after('<hr>');
+    article.find('p.has-small-font-size').wrapInner('<small></small>');
+    return art(path.join(__dirname, 'templates/description.art'), {
+        standfirst: $('.pp-header-group__standfirst').html(),
+        coverImage: $('.pp-media__image').attr('src'),
+        coverCaption: $('.pp-media__caption').html(),
+        article: article.html(),
+        copyright: $('.copyright').html(),
+    });
+}
 
-    const response = await got({
-        method: 'get',
-        url: new URL(metadata.feed, baseUrl).href,
+async function fetchWebPage(url: URL) {
+    const response = await got(url.href);
+    const $ = load(response.data);
+    const article = $('.entry-content');
+    article.find('.block-related-articles').remove();
+    article.find('figure.wp-block-pullquote').children().unwrap();
+    article.find('div.block-explanation-note').wrapInner('<blockquote></blockquote>');
+    article.find('div.wp-block-tcc-author-note').wrapInner('<em></em>').after('<hr>');
+    article.find('p.has-small-font-size').wrapInner('<small></small>');
+    return art(path.join(__dirname, 'templates/description.art'), {
+        standfirst: $('span.caption1').html(),
+        coverImage: $('.wp-post-image').attr('src'),
+        coverCaption: $('.image-caption').html(),
+        article: article.html(),
+        copyright: $('.entry-copyright').html(),
     });
+}
 
+async function handler(ctx) {
+    const category = ctx.req.param('category') ?? 'latest_sc';
+
+    const feeds = await cache.tryGet(new URL('timelines.json', appUrl).href, async () => await getUA(new URL('timelines.json', appUrl).href), config.cache.routeExpire, false);
+    const metadata = feeds.data.timelines.find((timeline) => timeline.id === category);
+    const response = await getUA(new URL(metadata.feed, appUrl).href);
     const feed = response.data.stories.filter((item) => item.type === 'article');
 
     const items = await Promise.all(
         feed.map((item) =>
-            cache.tryGet(new URL(item.url, baseUrl).href, async () => {
-                item.link = item.shareurl ?? new URL(item.url, baseUrl).href;
+            cache.tryGet(item.shareurl, async () => {
+                const url = new URL(item.shareurl);
+                item.link = url.href;
                 item.description = item.summary;
                 item.pubDate = item.published;
                 item.category = [];
@@ -113,35 +161,16 @@ async function handler(ctx) {
                     }
                 }
                 item.category = [...new Set(item.category)];
-                const response = await got(new URL(item.url, baseUrl).href);
-                const $ = load(response.data);
-                // resolve relative links with app.theinitium.com
-                // code from @/middleware/paratmeter.ts
-                $('a, area').each((_, elem) => {
-                    resolveRelativeLink($, elem, 'href', baseUrl);
-                    // $(elem).attr('rel', 'noreferrer');  // currently no such a need
-                });
-                // https://www.w3schools.com/tags/att_src.asp
-                $('img, video, audio, source, iframe, embed, track').each((_, elem) => {
-                    resolveRelativeLink($, elem, 'src', baseUrl);
-                    $(elem).removeAttr('srcset');
-                });
-                $('video[poster]').each((_, elem) => {
-                    resolveRelativeLink($, elem, 'poster', baseUrl);
-                });
-                const article = $('.pp-article__body');
-                article.find('.block-related-articles').remove();
-                article.find('figure.wp-block-pullquote').children().unwrap();
-                article.find('div.block-explanation-note').wrapInner('<blockquote></blockquote>');
-                article.find('div.wp-block-tcc-author-note').wrapInner('<em></em>').after('<hr>');
-                article.find('p.has-small-font-size').wrapInner('<small></small>');
-                item.description = art(path.join(__dirname, 'templates/description.art'), {
-                    standfirst: $('.pp-header-group__standfirst').html(),
-                    coverImage: $('.pp-media__image').attr('src'),
-                    coverCaption: $('.pp-media__caption').html(),
-                    article: article.html(),
-                    copyright: $('.copyright').html(),
-                });
+                switch (url.hostname) {
+                    case 'app.theinitium.com':
+                        item.description = await fetchAppPage(url);
+                        break;
+                    case 'theinitium.com':
+                        item.description = await fetchWebPage(url);
+                        break;
+                    default:
+                        break;
+                }
                 return item;
             })
         )

package/lib/routes/theinitium/channel.ts

@@ -22,7 +22,7 @@ export const route: Route = {
     categories: ['new-media', 'popular'],
     description: `Type 栏目：
 
-  | 最新   | 深度    | What’s New | 广场              | 科技       | 风物    | 特约     | ... |
-  | ------ | ------- | ---------- | ----------------- | ---------- | ------- | -------- | --- |
-  | latest | feature | news-brief | notes-and-letters | technology | culture | pick_up | ... |`,
+| 最新   | 深度    | What’s New | 广场              | 科技       | 风物    | 特约     | ... |
+| ------ | ------- | ---------- | ----------------- | ---------- | ------- | -------- | --- |
+| latest | feature | news-brief | notes-and-letters | technology | culture | pick_up | ... |`,
 };

package/lib/routes/themoviedb/sheet.ts

@@ -47,15 +47,15 @@ export const route: Route = {
     handler,
     description: `When \`mediaType\` is \`tv\`, \`sheet\` should be:
 
-  | Airing Today | On TV      | Top Rated |
-  | ------------ | ---------- | --------- |
-  | airing-today | on-the-air | top-rated |
+| Airing Today | On TV      | Top Rated |
+| ------------ | ---------- | --------- |
+| airing-today | on-the-air | top-rated |
 
   When \`mediaType\` is \`movie\`, \`sheet\` should be:
 
-  | Now Playing | Upcoming | Top Rated |
-  | ----------- | -------- | --------- |
-  | now-playing | upcoming | top-rated |`,
+| Now Playing | Upcoming | Top Rated |
+| ----------- | -------- | --------- |
+| now-playing | upcoming | top-rated |`,
 };
 
 async function handler(ctx) {

package/lib/routes/thepaper/channel.ts

@@ -20,20 +20,20 @@ export const route: Route = {
     maintainers: ['xyqfer', 'nczitzk', 'bigfei'],
     handler,
     description: `| 频道 ID | 频道名 |
-  | ------- | ------ |
-  | 26916   | 视频   |
-  | 108856  | 战疫   |
-  | 25950   | 时事   |
-  | 25951   | 财经   |
-  | 36079   | 澎湃号 |
-  | 119908  | 科技   |
-  | 25952   | 思想   |
-  | 119489  | 智库   |
-  | 25953   | 生活   |
-  | 26161   | 问吧   |
-  | 122908  | 国际   |
-  | -21     | 体育   |
-  | -24     | 评论   |`,
+| ------- | ------ |
+| 26916   | 视频   |
+| 108856  | 战疫   |
+| 25950   | 时事   |
+| 25951   | 财经   |
+| 36079   | 澎湃号 |
+| 119908  | 科技   |
+| 25952   | 思想   |
+| 119489  | 智库   |
+| 25953   | 生活   |
+| 26161   | 问吧   |
+| 122908  | 国际   |
+| -21     | 体育   |
+| -24     | 评论   |`,
 };
 
 async function handler(ctx) {

package/lib/routes/thepaper/list.ts

@@ -20,104 +20,104 @@ export const route: Route = {
     maintainers: ['nczitzk', 'bigfei'],
     handler,
     description: `| 栏目 ID | 栏目名       |
-  | ------- | ------------ |
-  | 26912   | 上直播       |
-  | 26913   | 七环视频     |
-  | 26965   | 温度计       |
-  | 26908   | 一级视场     |
-  | 27260   | World 湃     |
-  | 26907   | 湃客科技     |
-  | 33168   | 纪录湃       |
-  | 26911   | 围观         |
-  | 26918   | @所有人      |
-  | 26906   | 大都会       |
-  | 26909   | 追光灯       |
-  | 26910   | 运动装       |
-  | 26914   | 健寻记       |
-  | 82188   | AI 播报      |
-  | 89035   | 眼界         |
-  | 92278   | 关键帧       |
-  | 90069   | 战疫         |
-  | 25462   | 中国政库     |
-  | 25488   | 中南海       |
-  | 97924   | 初心之路     |
-  | 25489   | 舆论场       |
-  | 25490   | 打虎记       |
-  | 25423   | 人事风向     |
-  | 25426   | 法治中国     |
-  | 25424   | 一号专案     |
-  | 25463   | 港台来信     |
-  | 25491   | 长三角政商   |
-  | 25428   | 直击现场     |
-  | 68750   | 公益湃       |
-  | 27604   | 暖闻         |
-  | 25464   | 澎湃质量报告 |
-  | 25425   | 绿政公署     |
-  | 25429   | 澎湃国际     |
-  | 25481   | 外交学人     |
-  | 25430   | 澎湃防务     |
-  | 25678   | 唐人街       |
-  | 25427   | 澎湃人物     |
-  | 25422   | 浦江头条     |
-  | 25487   | 教育家       |
-  | 25634   | 全景现场     |
-  | 25635   | 美数课       |
-  | 25600   | 快看         |
-  | 25434   | 10% 公司     |
-  | 25436   | 能见度       |
-  | 25433   | 地产界       |
-  | 25438   | 财经上下游   |
-  | 25435   | 金改实验室   |
-  | 25437   | 牛市点线面   |
-  | 119963  | IPO 最前线   |
-  | 25485   | 澎湃商学院   |
-  | 25432   | 自贸区连线   |
-  | 37978   | 进博会在线   |
-  | 36079   | 湃客         |
-  | 27392   | 政务         |
-  | 77286   | 媒体         |
-  | 27234   | 科学湃       |
-  | 119445  | 生命科学     |
-  | 119447  | 未来 2%      |
-  | 119446  | 元宇宙观察   |
-  | 119448  | 科创 101     |
-  | 119449  | 科学城邦     |
-  | 25444   | 社论         |
-  | 27224   | 澎湃评论     |
-  | 26525   | 思想湃       |
-  | 26878   | 上海书评     |
-  | 25483   | 思想市场     |
-  | 25457   | 私家历史     |
-  | 25574   | 翻书党       |
-  | 25455   | 艺术评论     |
-  | 26937   | 古代艺术     |
-  | 25450   | 文化课       |
-  | 25482   | 逝者         |
-  | 25536   | 专栏         |
-  | 26506   | 异次元       |
-  | 97313   | 海平面       |
-  | 103076  | 一问三知     |
-  | 25445   | 澎湃研究所   |
-  | 25446   | 全球智库     |
-  | 26915   | 城市漫步     |
-  | 25456   | 市政厅       |
-  | 104191  | 世界会客厅   |
-  | 25448   | 有戏         |
-  | 26609   | 文艺范       |
-  | 25942   | 身体         |
-  | 26015   | 私・奔       |
-  | 25599   | 运动家       |
-  | 25842   | 私家地理     |
-  | 80623   | 非常品       |
-  | 26862   | 楼市         |
-  | 25769   | 生活方式     |
-  | 25990   | 澎湃联播     |
-  | 26173   | 视界         |
-  | 26202   | 亲子学堂     |
-  | 26404   | 赢家         |
-  | 26490   | 汽车圈       |
-  | 115327  | IP SH        |
-  | 117340  | 酒业         |`,
+| ------- | ------------ |
+| 26912   | 上直播       |
+| 26913   | 七环视频     |
+| 26965   | 温度计       |
+| 26908   | 一级视场     |
+| 27260   | World 湃     |
+| 26907   | 湃客科技     |
+| 33168   | 纪录湃       |
+| 26911   | 围观         |
+| 26918   | @所有人      |
+| 26906   | 大都会       |
+| 26909   | 追光灯       |
+| 26910   | 运动装       |
+| 26914   | 健寻记       |
+| 82188   | AI 播报      |
+| 89035   | 眼界         |
+| 92278   | 关键帧       |
+| 90069   | 战疫         |
+| 25462   | 中国政库     |
+| 25488   | 中南海       |
+| 97924   | 初心之路     |
+| 25489   | 舆论场       |
+| 25490   | 打虎记       |
+| 25423   | 人事风向     |
+| 25426   | 法治中国     |
+| 25424   | 一号专案     |
+| 25463   | 港台来信     |
+| 25491   | 长三角政商   |
+| 25428   | 直击现场     |
+| 68750   | 公益湃       |
+| 27604   | 暖闻         |
+| 25464   | 澎湃质量报告 |
+| 25425   | 绿政公署     |
+| 25429   | 澎湃国际     |
+| 25481   | 外交学人     |
+| 25430   | 澎湃防务     |
+| 25678   | 唐人街       |
+| 25427   | 澎湃人物     |
+| 25422   | 浦江头条     |
+| 25487   | 教育家       |
+| 25634   | 全景现场     |
+| 25635   | 美数课       |
+| 25600   | 快看         |
+| 25434   | 10% 公司     |
+| 25436   | 能见度       |
+| 25433   | 地产界       |
+| 25438   | 财经上下游   |
+| 25435   | 金改实验室   |
+| 25437   | 牛市点线面   |
+| 119963  | IPO 最前线   |
+| 25485   | 澎湃商学院   |
+| 25432   | 自贸区连线   |
+| 37978   | 进博会在线   |
+| 36079   | 湃客         |
+| 27392   | 政务         |
+| 77286   | 媒体         |
+| 27234   | 科学湃       |
+| 119445  | 生命科学     |
+| 119447  | 未来 2%      |
+| 119446  | 元宇宙观察   |
+| 119448  | 科创 101     |
+| 119449  | 科学城邦     |
+| 25444   | 社论         |
+| 27224   | 澎湃评论     |
+| 26525   | 思想湃       |
+| 26878   | 上海书评     |
+| 25483   | 思想市场     |
+| 25457   | 私家历史     |
+| 25574   | 翻书党       |
+| 25455   | 艺术评论     |
+| 26937   | 古代艺术     |
+| 25450   | 文化课       |
+| 25482   | 逝者         |
+| 25536   | 专栏         |
+| 26506   | 异次元       |
+| 97313   | 海平面       |
+| 103076  | 一问三知     |
+| 25445   | 澎湃研究所   |
+| 25446   | 全球智库     |
+| 26915   | 城市漫步     |
+| 25456   | 市政厅       |
+| 104191  | 世界会客厅   |
+| 25448   | 有戏         |
+| 26609   | 文艺范       |
+| 25942   | 身体         |
+| 26015   | 私・奔       |
+| 25599   | 运动家       |
+| 25842   | 私家地理     |
+| 80623   | 非常品       |
+| 26862   | 楼市         |
+| 25769   | 生活方式     |
+| 25990   | 澎湃联播     |
+| 26173   | 视界         |
+| 26202   | 亲子学堂     |
+| 26404   | 赢家         |
+| 26490   | 汽车圈       |
+| 115327  | IP SH        |
+| 117340  | 酒业         |`,
 };
 
 async function handler(ctx) {

package/lib/routes/thepetcity/index.ts

@@ -21,12 +21,12 @@ export const route: Route = {
     handler,
     url: 'thepetcity.co/',
     description: `| Column Name       | TermID |
-  | -------------------- | ------ |
-  | Knowledge飼養大全     | 3      |
-  | Funny News毛孩趣聞    | 2      |
-  | Raise Pets 養寵物新手  | 5      |
-  | Hot Spot 毛孩打卡點    | 4      |
-  | Pet Staff 毛孩好物    | 1      |`,
+| -------------------- | ------ |
+| Knowledge飼養大全     | 3      |
+| Funny News毛孩趣聞    | 2      |
+| Raise Pets 養寵物新手  | 5      |
+| Hot Spot 毛孩打卡點    | 4      |
+| Pet Staff 毛孩好物    | 1      |`,
 };
 
 async function handler(ctx) {