关于ip代理原理的知识

日期: 2020-04-26 15:18

  对于代理IP的使用并不是购买过来就可以随便用了,还需要了解代理IP的作用,数据爬取与IP提取知识,这样可以有针对性的使用,效果加倍。
 
 
  另外,我们要知道其存活时间,存活时间较长的IP一般为固定的IP,通过代理数据库可以发现里面有很多代理IP存活天数较长,比较长的有一年左右的,这种存活天数较长的IP一般都为固定的IP,因此需要过滤出这些IP和端口信息。
 
  说下代理IP的各种作用:
 
  1.周期性探测,对短时间内出现大量的IP进行资产IP分析,提取共性,可以用于预警通报。
 
  2.情报:IP威胁情报及IP信誉分析,通过真实可用的IP提取分析代理IP的IP信息,可作为代理IP分析的IP特征。并且在具体工作中可以落地进行代理IP的查找与分析。
 
  3.爬虫、隐藏真实IP、代理上外网、薅羊毛
 
  4.判断改IP的所有者(政府企事业单位、个人用户、IDC等)与存活时间,若为政府企事业单位用户基本上说明该IP被黑客控制时间越长被控制的越久。获取与整理这些IP,可以进行通报预警与应急响应。
 
  说下数据爬取与IP提取:
 
  下面以国内HTTPS代理为例来爬取网站上的代理IP信息
 
  获取到的代理IP格式经处理后如下所示:
 
  可以看出爬取出来的代理IP的格式为:IP、端口、代表类型、存活天数、发现日期及时间。下面将这些信息存入到数据库中,以方便检索与查找。
 
  说下验证可用的代理:
 
  验证代理是否可用的方法比较多,在批量验证时可以使用python来实现,这里面验证代理是否可用的方法为直接使用代理访问ipip.net,若返回状态为200,则说明代理可用。反之,则说明不可用。
 
  以上简单的介绍了代理IP的作用,数据爬取与IP提取知识,仅供参考的。

相关新闻