​快速实现图片爬虫

知晓云 - 小晓云发表于:2019年05月24日 18:34:04更新于:2019年05月24日 18:47:42

本文会跟大家介绍,如何在本地使用知晓云云函数 API 与 cheerio 开发一个图片爬虫,并使用 webpack 与 mincloud 将代码打包并上传部署到知晓云。


技术栈:

  • 代码打包工具:webpack@4.20.2

  • 部署工具:mincloud@1.0.2

  • html 解析:cheerio@1.0.0-rc.2

  • 其他:知晓云 Node SDK(云函数内置)


项目文件结构:

1gbu1FWleCCkUkew.jpeg

最终我们会使用以下两个命令来部署与测试

1gbu1QnJ0JQALDMc.png


一、webpack 配置

由于使用的是 v4 的 webpack,所以只需要很少的配置就可以了。


1gbu1cqg86nDqo6I.jpeg

二、package script 配置

添加 deploy 脚本,如下:

1gbu1nymRwyLtV5v.jpeg


三、入口文件

云函数作为一个模块在沙箱环境中被调用执行,该模块需要暴露出一个 main 方法,模块代码结果如下:

1gbu1wMu0aAAD51v.png


我们的 webpack 入口文件需要暴露出一个函数(签名为:function (event, callback)),打包后就可以生成一个给个跟上面一致的模块文件(在 webpack.config.js 中已经定义了)。所以我们的入口文件主要结构如下:

1gbu2AQXWXlF3f7C.png


四、爬虫

这里分为 4 个步骤:

  • 抓取网页

  • 解析页面,抓出所有 img 标签中的 src

  • 将图片下载下来

  • 将下载下来的图片上传到知晓云


使用知晓云 Node SDK 的 request 方法将网页下载下来(不能直接使用其他第三方 request 包):

1gbu2OpUgzh6oDo0.png


使用 cheerio 解析 html ,抓出所有的图片 url:

1gbu2a9VkxJSDmta.jpeg


下载图片:

1gbu2md1CkrwCdST.png


上传图片到知晓云:

1gbu3BOgKdAaP9QA.png


完整代码如下:

1gbu3TRrnM60xhI6.jpeg


五、部署并测试

跟 npm 一样,部署前需要先登录,请参照文档配置。

使用以下命令即可将云函数部署到知晓云。

npm run deploy


执行结果如下:

1gbu3plnAvyhHAID.jpeg              

使用以下的命令来测试:

1gbu3z4pglKWIK6f.png


执行结果如下:       1gbu48IK30I8rumK.png


执行成功后即可在知晓云文件模块看到抓取到的图片

1gbu4IvtD2XJGKOZ.jpeg



知晓云-小程序开发快人一步
    您需要登录后才可以回复