网页抓取（也称为网络数据提取或网页爬取）是指从网上获取数据，并将获取到的非结构化数据转化为结构化的数据，最终可以将数据存储到本地计算机或数据库的一种技术。

 

网页抓取是通过抓取软件实现的。当你在使用浏览器如Chorme浏览页面的时候，我们可以抓取的不仅仅是你所浏览的页面的数据，还有你浏览器本地的缓存（饼干）。是不是开始担心你的隐私了？是的，我也有这样的担心，不过我们在这里不讨论这个问题。

 

网页抓取的软件有很多，在这篇文章中，我将做列出30种主流软件，供大家参考使用。

 

1.美丽的汤

 

 

美丽的汤是一个Python库，专门用于抓取HTML和XML文件。如果你的操作系统是Debian或者Ubuntu，你可以尝试安装这款免费软件。

 

2. Import.io

 

 

Import.io是一个免费的在线网页抓取软件，可以从网站中抓取数据并整理成数据集。它拥有很好的交互设计，使用起来非常方便。

 

3. Mozenda

 

 

Mozenda提供的数据提取工具可以很容易地抓取到来自网页的数据，即便没有键盘，只需要鼠标也能轻松操作。

 

4. ParseHub

 

 

ParseHub是一种可视化网页采集软件，可用于从网页中获取数据。它可以从不提供API的网站中轻松创建API。

 

5.八卦

 

 

Octoparse是的Windows的提供的免费网页抓取软件。它可以将非结构化或半结构化的数据从网站中转化为一个结构化的数据集，整个过程无需编码，这对于不懂编程的人来说是非常有用的。

 

6. CrawlMonster

 

 

CrawlMonster是网站搜索引擎优化的一个免费的网络软件，它能够扫描各种不同的数据点的网站。

 

7.内涵

 

 

Connotate提供自动化网络数据抓取解决方案，你只需要提供一个信息类型的模板，Connotate就可以为你自动抓取你想要的数据。

 

8.常见爬网

 

 

Common Crawl提供抓取网站的公开数据集。它包含原始的网页数据，提取的元数据和文本信息。

 

9.抓狂

 

 

痒痒提供数据自动转换服务，能够将网页中的各种类型的数据转换成JSON或CSV格式的结构化数据。

 

10.内容抓取器

 

 

Content Grabber是面向企业的网页抓取软件，它允许你创建一个独立的网页抓取代理。

 

11. Diffbot

 

 

Diffbot是一款可以将结构化的数据自动生成为API的一款软件，对于开发者来说它是不错的工具。

 

12. Dexi.io

 

 

Dexi.io是一款专业的数据抓取软件，它同时提供数据清洗。这将是处理JavaScript的的最佳选择。

 

13.数据刮痧工作室

 

 

Data Scraping Studio是一个免费的网页爬取软件，可以快速抓取HTML，XML和PDF格式的数据，目前PC端只适用于Windows操作系统。

 

14.简单的Web提取

 

Easy Web Extract是用于商业用途的可视化网页抓取软件。该软件的独特功能是HTTP表单提交。

 

15. FMiner

 

 

fminer是一款可视化网页抓取软件，它允许你建立项目的宏记录，方便日后查询调用。