如果你需要在网上获取一定量的数据,爬虫可能会是比较好的选择。但是我们普通人不一定会写代码,那是不是就没有办法了呢?

当然有!

人总是会有懒惰的一面,那么相应的就会产生懒惰应对的方法。

今天给大家分享一下Web Scraper这款爬虫工具,是chrome浏览器的插件,跨平台使用。可以方便的仅仅通过鼠标进行简单配置,就可以爬取你所想要数据。例如文章列表信息、电商网站商品信息、知乎回答列表、微博热门、微博评论等等。

先展示看看实例效果

实例1

https://www.0797rs.com/news/list-10--1.html
这个网站,爬取前两页文章的列表和链接。

打开网易新闻 查看精彩图片

第一页

打开网易新闻 查看精彩图片

第二页

永恒君已经提前配置好了

打开网易新闻 查看精彩图片

运行后的效果

打开网易新闻 查看精彩图片

实例2

https://www.zhihu.com/question/36550329

知乎的回答,爬取所有回答者的昵称、评论数和赞同数

打开网易新闻 查看精彩图片

运行后的效果

打开网易新闻 查看精彩图片

实例3

https://search.jd.com/Search?keyword=%E7%99%BE%E5%AE%9D%E7%AE%B1&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E7%99%BE%E5%AE%9D%E7%AE%B1&stock=1&page=1&s=1&click=0

某东的某个商品,爬取第一页商品的商品名称、价格、评论数

打开网易新闻 查看精彩图片

运行后的效果

打开网易新闻 查看精彩图片

为了更为直观的展示,永恒君把三个实例整合到一个视频里面,大家可以更为直观的感受一下效率和效果:

怎么样,效果不错吧?应付我们日常工作足足够了。

今天先展示下效果,后面会分享关于Web Scraper这款爬虫工具的一些实用方法。