批量下载商务国别指南

远子 â€¢  2021å¹´09月10日

今天阮一峰的周刊介绍了《商务国别指南》:

image-20210910105139079

我下载了一份丹麦指南:

image-20210910110315512

随便了解一下其他国家的风土人情也挺有意思的。

但是挨个点击下载有些麻烦,有没有什么方式可以全部下载呢?

下边是教程:

随便点开一个指南,可以看到路径是 http://www.mofcom.gov.cn/dl/gbdqzn/upload/xgalianqiu.pdf,很明显 gbdqzn/upload 这个目录下存了很多文件,只要知道文件名称就可以下载。

image-20210910105420851

打开控制台,看一下 Network 可以发现 http://fec.mofcom.gov.cn/click/queryClick 这个接口里返回了所有的文件:

image-20210910105631306

先来个 JS 脚本拼装一下完整地址:

var list = []; // 拷贝 queryClick 的 Response 到这里
var links = [];
list.forEach(item => {
  sh.push(`wget http://www.mofcom.gov.cn/dl/gbdqzn/upload/${item.pname}.pdf`);
});
console.log(links.join('\n'));

然后新建一个 download.sh 把生成的脚本粘贴进去:

image-20210910110040605

最后在终端里执行 sh download.sh,耐心等待即可。
image-20210910110150851

我把这个脚本放在了我的服务器,你可以通过以下方式远程调用:

sh -c "$(curl -fsSL https://static.poppython.com/blog/download-swgbzn.sh)"

(完)