很多爬虫工作者都遇到过抓取速度非常慢，现在的大多数网站都具备了反爬虫技术，对IP的访问频率限制很严格。如果想提升爬虫的速度，不妨尝试以下方法。
1.对爬虫的抓取频率进行提升，可以对一些网站的验证信息进行破解，网站采取的验证一般是验证码或者需要登录用户。
2.让爬虫使用多线程，电脑要有充足的内存。还要使用ip代理，ip代理要找稳定在线的那种，这种方法提升效率是不错的选择。
其实网络爬虫是否被封IP还是要看工作量。例如每天只采集很少的数据，自然不用ip代理。如果每天的工作量很大，要爬取几十万个网页，用着用着就被封IP了，没有ip代理是完成不了的。
网络爬虫用不用ip代理还是要根据自己的实际情况来看。工作率没有很高的要求，目标服务器可以承受，那样就不会封IP，所以用不到ip代理。如果任务量大，慢慢爬是完不成工作任务的，加快爬虫速度，目标服务器的压力会很大，自然就会封IP，所以需要ip代理来解决。
网络爬虫不用ip代理不一定会被封，要看使用的情况而定。如果需要大量采集，还是要用到ip代理的。
爬虫数据的时候，可以根据自己的使用需求来选择不同的提高效率方法。但ip代理可以说是必备的软件了，
ip代理海量IP在线，覆盖城市广泛，切换IP简单，稳定在线，是爬虫工作的好帮手。