rsshub 1.0.0-master.fed0404 → 1.0.0-master.ff1cc11

package/lib/routes/universities/ahau/cs_news/utils.js

@@ -21,10 +21,10 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (list, caches) => {
+const ProcessFeed = (list, caches) => {
     const host = 'http://computer.ahau.edu.cn/';
 
-    return await Promise.all(
+    return Promise.all(
         list.map(async (item) => {
             const $ = cheerio.load(item);
 
@@ -38,7 +38,7 @@ const ProcessFeed = async (list, caches) => {
                 guid: itemUrl,
             };
 
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             return Promise.resolve(Object.assign({}, single, other));
         })

package/lib/routes/universities/ahau/jwc/utils.js

@@ -20,10 +20,10 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (list, caches) => {
+const ProcessFeed = (list, caches) => {
     const host = 'http://jwc.ahau.edu.cn/';
 
-    return await Promise.all(
+    return Promise.all(
         list.map(async (item) => {
             const $ = cheerio.load(item);
 
@@ -38,7 +38,7 @@ const ProcessFeed = async (list, caches) => {
                 guid: itemUrl,
             };
 
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             return Promise.resolve(Object.assign({}, single, other));
         })

package/lib/routes/universities/ahau/main/utils.js

@@ -20,10 +20,10 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (list, caches) => {
+const ProcessFeed = (list, caches) => {
     const host = 'http://news.ahau.edu.cn/';
 
-    return await Promise.all(
+    return Promise.all(
         list.map(async (item) => {
             const $ = cheerio.load(item);
 
@@ -38,7 +38,7 @@ const ProcessFeed = async (list, caches) => {
                 guid: itemUrl,
             };
 
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             return Promise.resolve(Object.assign({}, single, other));
         })

package/lib/routes/universities/ahmu/news.js

@@ -15,7 +15,7 @@ module.exports = async (ctx) => {
             const dateraw = /(\d{4})\/(\d{2})(\d{2})/.exec(link);
 
             return {
-                title: title,
+                title,
                 description: '',
                 link: url + link,
                 author: '安徽医科大学研究生学院',
@@ -39,7 +39,7 @@ module.exports = async (ctx) => {
             item.description = itemElement('.content').html();
 
             ctx.cache.set(link, JSON.stringify(item));
-            return Promise.resolve(item);
+            return item;
         })
     );
 

package/lib/routes/universities/ahut/cstzgg.js

@@ -1,58 +1,39 @@
 const got = require('@/utils/got');
 const cheerio = require('cheerio');
+const url = require('url');
 
 module.exports = async (ctx) => {
-    const url = `http://jsjxy.ahut.edu.cn/list.jsp?urltype=tree.TreeTempUrl&wbtreeid=1887`;
-    const response = await got({
-        method: 'get',
-        url: url,
-    });
+    const response = await got.get('http://jsjxy.ahut.edu.cn/index/tzgg.htm');
     const $ = cheerio.load(response.data);
-    $('.clickstyle1022').remove();
-    $('td[width = "1%"]').remove();
-    $('tr[height = "1"]').remove();
-    $('td[colspan="3"]').remove();
-    $('.leaderfont47822').remove();
-    // ## 获取列表
-    const list = $('.winstyle47822 > tbody > tr').get();
-    // ## 定义输出的item
+
+    // 获取列表
+    const list = $('a.c259382')
+        .map((index, ele) => ({
+            title: $(ele).attr('title'),
+            link: url.resolve('http://jsjxy.ahut.edu.cn/', $(ele).attr('href')),
+        }))
+        .get();
+
+    // 定义输出的item
     const out = await Promise.all(
-        // ### 遍历列表，筛选出自己想要的内容
+        // 遍历列表，筛选出自己想要的内容
         list.map(async (item) => {
-            const itemSingle = cheerio.load(item);
-            const title = itemSingle.text().replace(/^[\s]+|[\s]+$/g, '');
-            const re = /<a[^>]*href=['"]([^"]*)['"][^>]*>/g;
-            let singleUrl = '';
-            if (re.exec(itemSingle.html()) !== null) {
-                singleUrl = RegExp.$1;
-            }
-            if (singleUrl.search('http') === -1) {
-                singleUrl = 'http://jsjxy.ahut.edu.cn' + singleUrl;
-            }
-            const cache = await ctx.cache.get(singleUrl); // ### 得到全局中的缓存信息
-            // ### 判断缓存是否存在，如果存在即跳过此次获取的信息
+            const cache = await ctx.cache.get(item.link); // 得到全局中的缓存信息
+            // 判断缓存是否存在，如果存在即跳过此次获取的信息
             if (cache) {
                 return Promise.resolve(JSON.parse(cache));
             }
             // 获取详情页面的介绍
-            const detail_response = await got({
-                method: 'get',
-                url: singleUrl,
-            });
+            const detail_response = await got.get(item.link);
             const $ = cheerio.load(detail_response.data);
-            const detail_content = $('.contentstyle47853 > div').html();
-            // ### 设置 RSS feed item
-            const single = {
-                title: title.replace(/(^\s*)|(\s*$)/g, ''),
-                link: singleUrl,
-                // author: author,
-                description: detail_content,
-                // pubDate: updateDate,
-            };
-            // // ### 设置缓存
-            ctx.cache.set(singleUrl, JSON.stringify(single));
-            return Promise.resolve(single);
-            // }
+
+            // 设置 RSS feed item
+            item.description = $('.contentstyle47853 > div').html();
+            item.pubDate = new Date($('.timestyle47853').text().trim());
+
+            // 设置缓存
+            ctx.cache.set(item.link, JSON.stringify(item));
+            return item;
         })
     );
     ctx.state.data = {

package/lib/routes/universities/ahut/jwc.js

@@ -1,56 +1,37 @@
 const got = require('@/utils/got');
 const cheerio = require('cheerio');
+const url = require('url');
 
 module.exports = async (ctx) => {
-    const url = `http://jwc.ahut.edu.cn/list.jsp?urltype=tree.TreeTempUrl&wbtreeid=1082`;
-    const response = await got({
-        method: 'get',
-        url: url,
-    });
+    const response = await got.get('http://jwc.ahut.edu.cn/list.jsp?urltype=tree.TreeTempUrl&wbtreeid=1082');
     const $ = cheerio.load(response.data);
-    $('tr[height="1"]').remove();
-    $('td[width="1%"]').remove();
-    $('td[colspan="3"]').remove();
-    // ## 获取列表
-    const list = $('.winstyle44456 > tbody > tr >td').get();
-    // ## 定义输出的item
+
+    // 获取列表
+    const list = $('.winstyle44566 tr')
+        .map((index, ele) => ({
+            title: $('a', ele).attr('title'),
+            link: url.resolve('http://jwc.ahut.edu.cn/', $('a', ele).attr('href')),
+        }))
+        .get();
+
+    // 定义输出的item
     const out = await Promise.all(
-        // ### 遍历列表，筛选出自己想要的内容
+        // 遍历列表，筛选出自己想要的内容
         list.map(async (item) => {
-            const itemSingle = cheerio.load(item);
-            const title = itemSingle.text();
-            const re = /<a[^>]*href=['"]([^"]*)['"][^>]*>/g;
-            let singleUrl = '';
-            if (re.exec(itemSingle.html()) !== null) {
-                singleUrl = RegExp.$1;
-            }
-            if (singleUrl.search('http') === -1) {
-                singleUrl = 'http://jwc.ahut.edu.cn' + singleUrl;
-            }
-            const cache = await ctx.cache.get(singleUrl); // ### 得到全局中的缓存信息
-            // ### 判断缓存是否存在，如果存在即跳过此次获取的信息
+            const cache = await ctx.cache.get(item.link); // 得到全局中的缓存信息
+            // 判断缓存是否存在，如果存在即跳过此次获取的信息
             if (cache) {
                 return Promise.resolve(JSON.parse(cache));
             }
             // 获取详情页面的介绍
-            const detail_response = await got({
-                method: 'get',
-                url: singleUrl,
-            });
+            const detail_response = await got.get(item.link);
             const $ = cheerio.load(detail_response.data);
-            const detail_content = $('.winstyle44457 > tbody').html();
-            // ### 设置 RSS feed item
-            const single = {
-                title: title,
-                link: singleUrl,
-                // author: author,
-                description: detail_content,
-                // pubDate: updateDate,
-            };
-            // // ### 设置缓存
-            ctx.cache.set(singleUrl, JSON.stringify(single));
-            return Promise.resolve(single);
-            // }
+            // 设置 RSS feed item
+            item.description = $('.winstyle44457 > tbody').html();
+            item.pubDate = new Date($('.timestyle44457').text().trim());
+            // 设置缓存
+            ctx.cache.set(item.link, JSON.stringify(item));
+            return item;
         })
     );
     ctx.state.data = {

package/lib/routes/universities/ahut/news.js

@@ -1,58 +1,38 @@
 const got = require('@/utils/got');
 const cheerio = require('cheerio');
+const url = require('url');
 
 module.exports = async (ctx) => {
-    const url = `http://news.ahut.edu.cn/list.jsp?urltype=tree.TreeTempUrl&wbtreeid=1002`;
-    const response = await got({
-        method: 'get',
-        url: url,
-    });
+    const response = await got.get('http://news.ahut.edu.cn/list.jsp?urltype=tree.TreeTempUrl&wbtreeid=1002');
     const $ = cheerio.load(response.data);
-    $('tr[height="26"]').slice(20);
-    $('td[width="1%"]').remove();
-    $('.clickstyle1022').remove();
-    $('td[colspan="3"]').remove();
-    $('.leaderfont1022').remove();
-    // ## 获取列表
-    const list = $('.winstyle1022 > tbody > tr > td').get();
-    // ## 定义输出的item
+
+    // 获取列表
+    const list = $('.winstyle247968 a.c247968')
+        .map((index, ele) => ({
+            title: $(ele).attr('title'),
+            link: url.resolve('http://news.ahut.edu.cn/', $(ele).attr('href')),
+        }))
+        .get();
+    // 定义输出的item
     const out = await Promise.all(
-        // ### 遍历列表，筛选出自己想要的内容
+        // 遍历列表，筛选出自己想要的内容
         list.map(async (item) => {
-            const itemSingle = cheerio.load(item);
-            const title = itemSingle.text().trim();
-            const re = /<a[^>]*href=['"]([^"]*)['"][^>]*>/g;
-            let singleUrl = '';
-            if (re.exec(itemSingle.html()) !== null) {
-                singleUrl = RegExp.$1;
-            }
-            if (singleUrl.search('http') === -1) {
-                singleUrl = 'http://news.ahut.edu.cn' + singleUrl;
-            }
-            const cache = await ctx.cache.get(singleUrl); // ### 得到全局中的缓存信息
-            // ### 判断缓存是否存在，如果存在即跳过此次获取的信息
+            const cache = await ctx.cache.get(item.link); // 得到全局中的缓存信息
+            // 判断缓存是否存在，如果存在即跳过此次获取的信息
             if (cache) {
                 return Promise.resolve(JSON.parse(cache));
             }
             // 获取详情页面的介绍
-            const detail_response = await got({
-                method: 'get',
-                url: singleUrl,
-            });
+            const detail_response = await got.get(item.link);
             const $ = cheerio.load(detail_response.data);
-            const detail_content = $('.winstyle1023').html();
-            // ### 设置 RSS feed item
-            const single = {
-                title: title,
-                link: singleUrl,
-                // author: author,
-                description: detail_content,
-                // pubDate: updateDate,
-            };
-            // // ### 设置缓存
-            ctx.cache.set(singleUrl, JSON.stringify(single));
-            return Promise.resolve(single);
-            // }
+
+            // 设置 RSS feed item
+            item.description = $('.winstyle1023').html();
+            item.pubDate = new Date($('.timestyle1023').text().trim());
+
+            // 设置缓存
+            ctx.cache.set(item.link, JSON.stringify(item));
+            return item;
         })
     );
     ctx.state.data = {

package/lib/routes/universities/bit/bityjs.js

@@ -9,7 +9,7 @@ module.exports = async (ctx) => {
 
     ctx.state.data = {
         title: '北京理工大学研究生院',
-        link: link,
+        link,
         description: '北京理工大学研究生院通知公告',
         item:
             list &&

package/lib/routes/universities/bit/cs/cs.js

@@ -6,6 +6,9 @@ module.exports = async (ctx) => {
     const response = await got({
         method: 'get',
         url: 'http://cs.bit.edu.cn/tzgg',
+        https: {
+            rejectUnauthorized: false,
+        },
     });
 
     const $ = cheerio.load(response.data);

package/lib/routes/universities/bit/cs/utils.js

@@ -5,7 +5,11 @@ const url = require('url');
 // 专门定义一个function用于加载文章内容
 async function load(link) {
     // 异步请求文章
-    const response = await got.get(link);
+    const response = await got.get(link, {
+        https: {
+            rejectUnauthorized: false,
+        },
+    });
     // 加载文章内容
     const $ = cheerio.load(response.data);
 
@@ -34,11 +38,10 @@ async function load(link) {
     return { author, description, pubDate };
 }
 
-const ProcessFeed = async (list, caches) => {
+const ProcessFeed = (list, caches) => {
     const host = 'http://cs.bit.edu.cn/tzgg/';
 
-    // 使用 Promise.all() 进行 async 并发
-    return await Promise.all(
+    return Promise.all(
         // 遍历每一篇文章
         list.map(async (item) => {
             const $ = cheerio.load(item);
@@ -57,7 +60,7 @@ const ProcessFeed = async (list, caches) => {
 
             // 使用tryGet方法从缓存获取内容。
             // 当缓存中无法获取到链接内容的时候，则使用load方法加载文章内容。
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             // 合并解析后的结果集作为该篇文章最终的输出结果
             return Promise.resolve(Object.assign({}, single, other));

package/lib/routes/universities/bit/jwc/jwc.js

@@ -6,6 +6,9 @@ module.exports = async (ctx) => {
     const response = await got({
         method: 'get',
         url: 'http://jwc.bit.edu.cn/tzgg',
+        https: {
+            rejectUnauthorized: false,
+        },
     });
 
     const $ = cheerio.load(response.data);

package/lib/routes/universities/bit/jwc/utils.js

@@ -5,7 +5,11 @@ const url = require('url');
 // 专门定义一个function用于加载文章内容
 async function load(link) {
     // 异步请求文章
-    const response = await got.get(link);
+    const response = await got.get(link, {
+        https: {
+            rejectUnauthorized: false,
+        },
+    });
     // 加载文章内容
     const $ = cheerio.load(response.data);
 
@@ -26,11 +30,10 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (list, caches) => {
+const ProcessFeed = (list, caches) => {
     const host = 'http://jwc.bit.edu.cn/tzgg/';
 
-    // 使用 Promise.all() 进行 async 并发
-    return await Promise.all(
+    return Promise.all(
         // 遍历每一篇文章
         list.map(async (item) => {
             const $ = cheerio.load(item);
@@ -49,7 +52,7 @@ const ProcessFeed = async (list, caches) => {
 
             // 使用tryGet方法从缓存获取内容。
             // 当缓存中无法获取到链接内容的时候，则使用load方法加载文章内容。
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             // 合并解析后的结果集作为该篇文章最终的输出结果
             return Promise.resolve(Object.assign({}, single, other));

package/lib/routes/universities/bjfu/grs.js

@@ -26,11 +26,11 @@ module.exports = async (ctx) => {
             const pubDate = new Date(date.getTime() - 60 * 60 * 1000 * (timeZone + serverOffset)).toUTCString();
 
             return {
-                title: title,
+                title,
                 description: '',
                 link: 'http://graduate.bjfu.edu.cn/pygl/pydt/' + link,
                 author: '北京林业大学研究生院培养动态',
-                pubDate: pubDate,
+                pubDate,
             };
         })
         .get();
@@ -53,7 +53,7 @@ module.exports = async (ctx) => {
             item.description = itemElement('.articleTxt').html();
 
             ctx.cache.set(link, JSON.stringify(item));
-            return Promise.resolve(item);
+            return item;
         })
     );
 

package/lib/routes/universities/bjfu/jwc/utils.js

@@ -31,9 +31,8 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (base, list, caches) =>
-    // 使用 Promise.all() 进行 async 并发
-    await Promise.all(
+const ProcessFeed = (base, list, caches) =>
+    Promise.all(
         // 遍历每一篇文章
         list.map(async (item) => {
             const $ = cheerio.load(item);
@@ -52,7 +51,7 @@ const ProcessFeed = async (base, list, caches) =>
 
             // 使用tryGet方法从缓存获取内容。
             // 当缓存中无法获取到链接内容的时候，则使用load方法加载文章内容。
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             // 合并解析后的结果集作为该篇文章最终的输出结果
             return Promise.resolve(Object.assign({}, single, other));

package/lib/routes/universities/bjfu/kjc.js

@@ -26,11 +26,11 @@ module.exports = async (ctx) => {
             const pubDate = new Date(date.getTime() - 60 * 60 * 1000 * (timeZone + serverOffset)).toUTCString();
 
             return {
-                title: title,
+                title,
                 description: '',
                 link: 'http://kyc.bjfu.edu.cn/tztg/' + link,
                 author: '北京林业大学科技处通知公告',
-                pubDate: pubDate,
+                pubDate,
             };
         })
         .get();
@@ -53,7 +53,7 @@ module.exports = async (ctx) => {
             item.description = itemElement('#a_con_l_con').html();
 
             ctx.cache.set(link, JSON.stringify(item));
-            return Promise.resolve(item);
+            return item;
         })
     );
 

package/lib/routes/universities/bjfu/news/utils.js

@@ -31,9 +31,8 @@ async function load(link) {
     return { description, pubDate };
 }
 
-const ProcessFeed = async (base, list, caches) =>
-    // 使用 Promise.all() 进行 async 并发
-    await Promise.all(
+const ProcessFeed = (base, list, caches) =>
+    Promise.all(
         // 遍历每一篇文章
         list.map(async (item) => {
             const $ = cheerio.load(item);
@@ -52,7 +51,7 @@ const ProcessFeed = async (base, list, caches) =>
 
             // 使用tryGet方法从缓存获取内容。
             // 当缓存中无法获取到链接内容的时候，则使用load方法加载文章内容。
-            const other = await caches.tryGet(itemUrl, async () => await load(itemUrl));
+            const other = await caches.tryGet(itemUrl, () => load(itemUrl));
 
             // 合并解析后的结果集作为该篇文章最终的输出结果
             return Promise.resolve(Object.assign({}, single, other));

package/lib/routes/universities/bjtu/gs/index.js

@@ -0,0 +1,130 @@
+const got = require('@/utils/got');
+const cheerio = require('cheerio');
+
+module.exports = async (ctx) => {
+    const type = ctx.params.type;
+    const struct = {
+        zs: {
+            selector: {
+                list: '.mainleft_box li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/zszt/item/?tag=1',
+            name: '招生 - 北京交通大学研究生院',
+        },
+        noti: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=2',
+            name: '通知公告 - 北京交通大学研究生院',
+        },
+        news: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=3',
+            name: '新闻动态 - 北京交通大学研究生院',
+        },
+        zsxc: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=4',
+            name: '招生宣传 - 北京交通大学研究生院',
+        },
+        py: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=5',
+            name: '培养 - 北京交通大学研究生院',
+        },
+        xw: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=7',
+            name: '学位 - 北京交通大学研究生院',
+        },
+        ygbtzgg: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=9',
+            name: '通知公告 - 研工部 - 北京交通大学研究生院',
+        },
+        ygbnews: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=10',
+            name: '新闻动态 - 研工部 - 北京交通大学研究生院',
+        },
+        all: {
+            selector: {
+                list: '.tab-content li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/item/?tag=12',
+            name: '所有文章 - 北京交通大学研究生院',
+        },
+        bszs: {
+            selector: {
+                list: '.mainleft_box li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/zszt/item/?cat=2',
+            name: '博士招生 - 北京交通大学研究生院',
+        },
+        sszs: {
+            selector: {
+                list: '.mainleft_box li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/zszt/item/?cat=3',
+            name: '硕士招生 - 北京交通大学研究生院',
+        },
+        zsjz: {
+            selector: {
+                list: '.mainleft_box li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/zszt/item/?cat=4',
+            name: '招生简章 - 北京交通大学研究生院',
+        },
+        zcfg: {
+            selector: {
+                list: '.mainleft_box li',
+            },
+            url: 'https://gs.bjtu.edu.cn/cms/zszt/item/?cat=5',
+            name: '政策法规 - 北京交通大学研究生院',
+        },
+    };
+
+    const url = struct[type].url;
+    const response = await got({
+        method: 'get',
+        url,
+    });
+
+    const data = response.data;
+
+    const $ = cheerio.load(data);
+    const list = $(struct[type].selector.list);
+
+    ctx.state.data = {
+        title: struct[type].name,
+        link: url,
+        description: '北京交通大学研究生院',
+        item:
+            list &&
+            list
+                .map((index, item) => {
+                    item = $(item);
+                    const date = new Date(Date.parse(item.find('li span').text().slice(1, 11).replace(/-/g, '/')));
+                    const bj_date = date.getTime() / 1000 + 8 * 60 * 60;
+                    const title = item
+                        .find('li a')
+                        .text()
+                        .replace(/\[.*?\]/g, '');
+                    return { title, description: title, link: item.find('li a').attr('href'), pubDate: new Date(parseInt(bj_date) * 1000) };
+                })
+                .get(),
+    };
+};