检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建JS脚本反爬虫规则 功能介绍 创建JS脚本反爬虫规则,在调用此接口创建防护规则前,需要调用更新JS脚本反爬虫规则防护模式(UpdateAnticrawlerRuleType)接口指定防护模式 调用方法 请参见如何调用API。 URI POST /v1/{project_id}
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
查询JS脚本反爬虫防护规则 功能介绍 根据Id查询JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
如图1所示。 图1 JS脚本反爬虫正常检测流程 如果客户端是爬虫访问,就无法触发这段JavaScript代码再发送一次请求到WAF,即WAF无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 开启JS脚本反爬虫,要求客户端
删除JS脚本反爬虫防护规则 功能介绍 删除JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
否 String JS脚本反爬虫规则防护模式 anticrawler_except_url: 防护所有路径模式,在该模式下,查询的JS脚本反爬虫规则为排除的防护路径规则 anticrawler_specific_url: 防护指定路径模式,在该模式下,查询的JS脚本反爬虫规则为指定要防护的路径规则
更新JS脚本反爬虫防护规则 功能介绍 更新JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
如何不拦截带有.js的文件? 您可以通过WAF的精准访问防护规则配置放行路径后缀为.js的文件,具体配置如下: 登录华为云WAF控制台,参考图1进入华为云WAF防护规则配置页面。 图1 防护规则配置页面入口 选择“精准访问防护”配置框,单击“添加规则”,配置如图2所示的规则。 图2
更新JS脚本反爬虫规则防护模式 功能介绍 更新JS脚本反爬虫规则防护模式,在创建JS脚本反爬虫规则前,需要调用该接口指定JS脚本反爬虫规则防护模式。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler
配置攻击惩罚的流量标识 WAF根据配置的流量标识识别客户端IP、Session或User标记,以分别实现IP、Cookie或Params恶意请求的攻击惩罚功能。 如果您已开通企业项目,您需要在“企业项目”下拉列表中选择您所在的企业项目并确保已开通操作权限,才能为该企业项目下的域名配置攻击惩罚的流量标识。
F无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为1
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
智能生成规则参数说明 规则 参数 参数说明 生成CC防护规则 动作 支持“仅记录”、“拦截”和“JS挑战”。 仅记录:发现攻击行为后只记录不阻断攻击。 拦截:发现攻击行为后立即阻断并记录。 JS挑战:表示WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端
对于有些网站,源IP无法精准获取。例如:存在未在header中插入“X-Forwarded-For”字段的Proxy或其他原因,建议使用配置Cookie字段实现用户标识并开启“全局计数”。 实践案例 竞争对手控制数台主机,与大多普通访客一样,共用同一IP,或通过代理频繁更换源IP,持续向网站“www
选择“网站反爬虫”配置框,用户可根据自己的需要开启或关闭网站反爬虫策略。 :开启状态。 :关闭状态。 选择“JS脚本反爬虫”页签,关闭JS脚本反爬虫,即JS脚本反爬虫的“状态”为,如图3所示。 图3 关闭JS脚本反爬虫 父主题: 流量转发异常排查
Comoros 马达加斯加 Madagascar 福建 FJ 刚果 Congo 马拉维 Malawi 广东 GD 刚果民主共和国 Congo, Democratic Republic 马来西亚 Malaysia 甘肃 GS 库克群岛 Cook Islands 马尔代夫 Maldives 广西 GX
行为。 特征反爬虫 自定义扫描器与爬虫规则,用于阻断网页爬取行为,添加定制的恶意爬虫、扫描器特征,使爬虫防护更精准。 JS脚本反爬虫 通过自定义规则识别并阻断JS脚本爬虫行为。 防敏感信息泄露规则 该规则可添加两种类型的防敏感信息泄露规则: 敏感信息过滤。配置后可对返回页面中包含
Apache Shiro Faces NDS iMonitor StatCounteX Apache Struts FAQEngine Neocrome Seditio Subdreamer-CMS Apache Tomcat FASTJSON or JACKSON NetIQ Access
ferer、User Agent、Params等)进行条件组合,用来筛选访问请求,并对命中条件的请求设置仅记录、放行或阻断操作。同时支持“JS挑战”验证,即WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端正常执行了JavaScript代码,则WA
ooglebot、Baiduspider)的访问请求,或者拦截大多数脚本和自动化程序的爬虫攻击。 JS脚本反爬虫:开启JS脚本反爬虫后,帮助您完成JS脚本的的检测,您也可以自定义JS脚本反爬虫的防护策略。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“网