在反爬器中,最常见的方法就是,判断你的请求频率。若在短时间内发送了大量请求,无论你是否为个人,请先封账户或IP一段时间。于是,这就变成了一个矛盾之处:爬得太快会被封住,太慢会浪费时间。

此时就需要用代理IP来代替自己的IP来重复访问操作,这样可以提高抓取效率,降低封包风险。

就拿CastleHTTP来说,如何生成API链接之后使用。

[API链接]

http://getip?num=200&type=1&pro=0&city=0&port=1&time=3。

成果注释

Num:获取IP的数量。

普罗:表示省份。

City:城市。

YYS:经营者。

软件协议(1表示HTTP/HTTPS2表示SOCK5)

时间:稳定的时间长度。

类型:数据格式(1表示TXT格式2表示JSON格式)

[返回结果示例]

{"code":0,"success":true,"msg":"0","data":[{"ip":"49.68.68.68.197","city":"徐州市"},{"expire_time":"2017-06-06-2020:40:24","city":"徐州市","isp":"电信"},{"ip":"121.236.238.89","expire_time":"2017-06-2020:42:15","city":"苏州市","isp":"电信"}}

成果注释

代码:0表示成功,1表示失败。

成功是真的,失败是假的,失败是假的。

mark:iP

端口:端口。

City:城市(省一级名称)

isp:运营商(电信和联通)

Expire_time:到期时间(需要开发人员根据时间戳进行转换)

[用法]

产生API连结,调用一个HTTPGET请求以返回期望的IP结果。

*所需的API链接可以直接按照以下格式装配:http://http.zhimadaili.com/getip/num/10/type/2/pro/0/city/0/port/1/time/1/yys/0

文章部分内容源于网络,联系侵删*