检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如图1所示。 图1 JS脚本反爬虫正常检测流程 如果客户端是爬虫访问,就无法触发这段JavaScript代码再发送一次请求到WAF,即WAF无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 开启JS脚本反爬虫,要求客户端
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
如何不拦截带有.js的文件? 您可以通过WAF的精准访问防护规则配置放行路径后缀为.js的文件,具体配置如下: 登录华为云WAF控制台,参考图1进入华为云WAF防护规则配置页面。 图1 防护规则配置页面入口 选择“精准访问防护”配置框,单击“添加规则”,配置如图2所示的规则。 图2
创建JS脚本反爬虫规则 功能介绍 创建JS脚本反爬虫规则,在调用此接口创建防护规则前,需要调用更新JS脚本反爬虫规则防护模式(UpdateAnticrawlerRuleType)接口指定防护模式 调用方法 请参见如何调用API。 URI POST /v1/{project_id}
删除JS脚本反爬虫防护规则 功能介绍 删除JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
更新JS脚本反爬虫防护规则 功能介绍 更新JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
查询JS脚本反爬虫防护规则 功能介绍 根据Id查询JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
更新JS脚本反爬虫规则防护模式 功能介绍 更新JS脚本反爬虫规则防护模式,在创建JS脚本反爬虫规则前,需要调用该接口指定JS脚本反爬虫规则防护模式。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler
否 String JS脚本反爬虫规则防护模式 anticrawler_except_url: 防护所有路径模式,在该模式下,查询的JS脚本反爬虫规则为排除的防护路径规则 anticrawler_specific_url: 防护指定路径模式,在该模式下,查询的JS脚本反爬虫规则为指定要防护的路径规则
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
选择“网站反爬虫”配置框,用户可根据自己的需要开启或关闭网站反爬虫策略。 :开启状态。 :关闭状态。 选择“JS脚本反爬虫”页签,关闭JS脚本反爬虫,即JS脚本反爬虫的“状态”为,如图3所示。 图3 关闭JS脚本反爬虫 父主题: 流量转发异常排查
ert等); 特殊字符(<、>、’、”); 外部链接(href=“http://xxx/”,src="http://xxx/attack.js")。 如果业务需要上传富文本,可以用multipart方式上传,不用body方式上传,放在表单里,即使base64编码也会解码。分析业务场景,建议限制引号、尖括号输入。
F无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为1
智能生成规则参数说明 规则 参数 参数说明 生成CC防护规则 动作 支持“仅记录”、“拦截”和“JS挑战”。 仅记录:发现攻击行为后只记录不阻断攻击。 拦截:发现攻击行为后立即阻断并记录。 JS挑战:表示WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端
ferer、User Agent、Params等)进行条件组合,用来筛选访问请求,并对命中条件的请求设置仅记录、放行或阻断操作。同时支持“JS挑战”验证,即WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端正常执行了JavaScript代码,则WA
参见处理误报事件。 自定义防护规则 CC攻击防护规则 精准访问防护规则 黑白名单规则 地理位置访问控制规则 网页防篡改规则 网站反爬虫的“JS脚本反爬虫”规则 防敏感信息泄露规则 隐私屏蔽规则 在拦截该攻击事件的防护规则页面,删除对应的防护规则。 其他 “非法请求”访问请求 说明:
更新黑白名单防护规则 查询全局白名单(原误报屏蔽)规则列表 删除黑白名单防护规则 查询JS脚本反爬虫规则列表 更新JS脚本反爬虫规则防护模式 创建JS脚本反爬虫规则 查询JS脚本反爬虫防护规则 更新JS脚本反爬虫防护规则 删除JS脚本反爬虫防护规则 查询隐私屏蔽防护规则列表 创建隐私屏蔽防护规则 查询隐私屏蔽防护规则
ooglebot、Baiduspider)的访问请求,或者拦截大多数脚本和自动化程序的爬虫攻击。 JS脚本反爬虫:开启JS脚本反爬虫后,帮助您完成JS脚本的的检测,您也可以自定义JS脚本反爬虫的防护策略。 操作导航:在“防护策略”页面,单击策略名称,进入“防护配置”页面,选择“网
护的限速策略,能够保证业务服务不会因大量的并发访问而崩溃,同时尽可能地给正常用户提供业务服务。 0Day漏洞爆发防范 当第三方Web框架、插件爆出高危漏洞,业务无法快速升级修复,Web应用防火墙确认后会第一时间升级预置防护规则,保障业务安全稳定。WAF相当于第三方网络架构加了一层
过,如何处理? 如何不拦截带有.js的文件? Web应用防火墙可以批量配置黑白名单吗? Web应用防火墙可以导入/导出黑白名单吗? 开启JS脚本反爬虫后,为什么客户端请求获取页面失败? 开启网站反爬虫中的“其他爬虫”会影响网页的浏览速度吗? JS脚本反爬虫的检测机制是怎么样的?