网络爬虫，（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫，相关知识介绍如下！

本文目录

1、爬虫程序有哪些功能？

2、爬虫用什么代理ip？

3、爬虫为什么需要大量的ip？

爬虫程序有哪些功能？

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

4、调研

比如要调研一家电商公司，想知道他们的商品销售情况。这家公司声称每月销售额达数亿元。如果你使用爬虫来抓取公司网站上所有产品的销售情况，那么你就可以计算出公司的实际总销售额。此外，如果你抓取所有的评论并对其进行分析，你还可以发现网站是否出现了刷单的情况。数据是不会说谎的，特别是海量的数据，人工造假总是会与自然产生的不同。过去，用大量的数据来收集数据是非常困难的，但是现在在爬虫的帮助下，许多欺骗行为会赤裸裸地暴露在阳光下。

5、刷流量和秒杀

刷流量是python爬虫的自带的功能。当一个爬虫访问一个网站时，如果爬虫隐藏得很好，网站无法识别访问来自爬虫，那么它将被视为正常访问。结果，爬虫“不小心”刷了网站的流量。

除了刷流量外，还可以参与各种秒杀活动，包括但不限于在各种电商网站上抢商品，优惠券，抢机票和火车票。目前，网络上很多人专门使用爬虫来参与各种活动并从中赚钱。这种行为一般称为“薅羊毛”，这种人被称为“羊毛党”。不过使用爬虫来“薅羊毛”进行盈利的行为实际上游走在法律的灰色地带，希望大家不要尝试。

爬虫用什么代理ip？

爬虫一般采用高匿名代理ip。因为爬虫需要高隐匿性，所以只有隐匿性高并且安全稳定的代理，也就是高匿代理才适合爬虫使用。高匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，服务器端不会认为我们使用了代理。

爬虫在采集信息的过程中，会在短时间内发出大量请求，占用服务器的带宽，影响正常用户的访问，严重的还会导致网站瘫痪。而网站为了保证用户的正常访问就会开启反爬措施，此时爬虫的IP就会被封禁，无法继续爬取。

想让爬虫继续工作，有个简单的方法就是更换爬虫的IP，而更换IP最好的办法就是使用代理IP来更换。

不过，代理IP也分很多种类型，并不是所有的代理IP都适合爬虫使用。因为爬虫需要高隐匿性，所以只有隐匿性高并且安全稳定的代理，也就是高匿代理才适合爬虫使用。

高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。

爬虫为什么需要大量的ip？

为什么做爬虫需要大量IP地址，因为在爬虫爬取数据的过程中，时常会被网站专禁止访问，

还有就是你属爬取到的数据和页面正常显示的数据不一样，或者说你爬取的是空白数据，那 很有可能是由于网站创建页的程序有问题；假如爬取频率高过了网站的设置阀值，就会被禁止访问，因此爬虫的开发人员一般要采用两种方式来处理这个问题：

一类是调慢爬取速度，减少对目标网站产生的压力。可是如此一来会减少单位时间内的爬取量。

第二类方法是利用设置代理IP等方式，突破反爬虫机制继续高频率爬取，可是如此一来要很多个稳定的代理IP。芝麻HTTP代理IP，爬虫工作者能够放心使用。

总结：互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这就是爬虫的作用！