在反爬器中,最常见的方法就是,判断你的请求频率。若在短时间内发送了大量请求,无论你是否为个人,请先封账户或IP一段时间。于是,这就变成了一个矛盾之处:爬得太快会被封住,太慢会浪费时间。
此时就需要用代理IP来代替自己的IP来重复访问操作,这样可以提高抓取效率,降低封包风险。
就拿CastleHTTP来说,如何生成API链接之后使用。
[API链接]
http://getip?num=200&type=1&pro=0&city=0&port=1&time=3。
成果注释
Num:获取IP的数量。
普罗:表示省份。
City:城市。
YYS:经营者。
软件协议(1表示HTTP/HTTPS2表示SOCK5)
时间:稳定的时间长度。
类型:数据格式(1表示TXT格式2表示JSON格式)
[返回结果示例]
{"code":0,"success":true,"msg":"0","data":[{"ip":"49.68.68.68.197","city":"徐州市"},{"expire_time":"2017-06-06-2020:40:24","city":"徐州市","isp":"电信"},{"ip":"121.236.238.89","expire_time":"2017-06-2020:42:15","city":"苏州市","isp":"电信"}}
成果注释
代码:0表示成功,1表示失败。
成功是真的,失败是假的,失败是假的。
mark:iP
端口:端口。
City:城市(省一级名称)
isp:运营商(电信和联通)
Expire_time:到期时间(需要开发人员根据时间戳进行转换)
[用法]
产生API连结,调用一个HTTPGET请求以返回期望的IP结果。
*所需的API链接可以直接按照以下格式装配:http://http.zhimadaili.com/getip/num/10/type/2/pro/0/city/0/port/1/time/1/yys/0
文章部分内容源于网络,联系侵删*
热门跟贴