检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如图1所示。 图1 JS脚本反爬虫正常检测流程 如果客户端是爬虫访问,就无法触发这段JavaScript代码再发送一次请求到WAF,即WAF无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 开启JS脚本反爬虫,要求客户端
创建JS脚本反爬虫规则 功能介绍 创建JS脚本反爬虫规则,在调用此接口创建防护规则前,需要调用更新JS脚本反爬虫规则防护模式(UpdateAnticrawlerRuleType)接口指定防护模式 调用方法 请参见如何调用API。 URI POST /v1/{project_id}
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
查询JS脚本反爬虫防护规则 功能介绍 根据Id查询JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
Web应用防火墙-成长地图 | 华为云 Web应用防火墙 Web应用防火墙(Web Application Firewall, WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击
否 String JS脚本反爬虫规则防护模式 anticrawler_except_url: 防护所有路径模式,在该模式下,查询的JS脚本反爬虫规则为排除的防护路径规则 anticrawler_specific_url: 防护指定路径模式,在该模式下,查询的JS脚本反爬虫规则为指定要防护的路径规则
更新JS脚本反爬虫防护规则 功能介绍 更新JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
删除JS脚本反爬虫防护规则 功能介绍 删除JS脚本反爬虫防护规则 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/waf/policy/{policy_id}/anticrawler/{rule_id} 表1 路径参数 参数 是否必选 参数类型
更新JS脚本反爬虫规则防护模式 功能介绍 更新JS脚本反爬虫规则防护模式,在创建JS脚本反爬虫规则前,需要调用该接口指定JS脚本反爬虫规则防护模式。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/waf/policy/{policy_id}/anticrawler
如何不拦截带有.js的文件? 您可以通过WAF的精准访问防护规则配置放行路径后缀为.js的文件,具体配置如下: 登录华为云WAF控制台,参考图1进入华为云WAF防护规则配置页面。 图1 防护规则配置页面入口 选择“精准访问防护”配置框,单击“添加规则”,配置如图2所示的规则。 图2
通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为16次,“js验证”(WAF完成JS验证)为2次,“其他”(即爬虫伪造WAF认证请求)为0次。 图2 JS脚本反爬虫防护数据 网站反爬虫“js挑战”的防
F无法完成js验证。 如果客户端爬虫伪造了WAF的认证请求,发送到WAF时,WAF将拦截该请求,js验证失败。 通过统计“js挑战”和“js验证”,就可以汇总出JS脚本反爬虫防御的请求次数。例如,图2中JS脚本反爬虫共记录了18次事件,其中,“js挑战”(WAF返回JS代码)为1
ferer、User Agent、Params等)进行条件组合,用来筛选访问请求,并对命中条件的请求设置仅记录、放行或阻断操作。同时支持“JS挑战”验证,即WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端正常执行了JavaScript代码,则WA
更新黑白名单防护规则 查询全局白名单(原误报屏蔽)规则列表 删除黑白名单防护规则 查询JS脚本反爬虫规则列表 更新JS脚本反爬虫规则防护模式 创建JS脚本反爬虫规则 查询JS脚本反爬虫防护规则 更新JS脚本反爬虫防护规则 删除JS脚本反爬虫防护规则 查询隐私屏蔽防护规则列表 创建隐私屏蔽防护规则 查询隐私屏蔽防护规则
智能生成规则参数说明 规则 参数 参数说明 生成CC防护规则 动作 支持“仅记录”、“拦截”和“JS挑战”。 仅记录:发现攻击行为后只记录不阻断攻击。 拦截:发现攻击行为后立即阻断并记录。 JS挑战:表示WAF向客户端返回一段正常浏览器可以自动执行的JavaScript代码。如果客户端
径与您配置的防篡改路径一致,如“/index.html” ,则该请求命中的资源(结尾为png、jpg、 jpeg、gif、bmp、css、js的所有资源)也会同时被缓存下来。 同时,WAF支持缓存自定义的Header字段。在网页防篡改页面上方,单击“修改字段”可配置需要通过WAF缓存的Header字段。
行为。 特征反爬虫 自定义扫描器与爬虫规则,用于阻断网页爬取行为,添加定制的恶意爬虫、扫描器特征,使爬虫防护更精准。 JS脚本反爬虫 通过自定义规则识别并阻断JS脚本爬虫行为。 防敏感信息泄露规则 该规则可添加两种类型的防敏感信息泄露规则: 敏感信息过滤。配置后可对返回页面中包含
选择“网站反爬虫”配置框,用户可根据自己的需要开启或关闭网站反爬虫策略。 :开启状态。 :关闭状态。 选择“JS脚本反爬虫”页签,关闭JS脚本反爬虫,即JS脚本反爬虫的“状态”为,如图3所示。 图3 关闭JS脚本反爬虫 父主题: 流量转发异常排查
修复已知问题。 202405 支持健康检查接口 “health-check”。 支持检测非法的Cookie字符串。 CC攻击防护规则中“防护动作”支持“JS挑战”。 精准访问防护规则中支持“已知特征爬虫”条件。 精准访问防护规则中支持配置“生效模式”。 用户可配置仅记录异常响应码(4xx 和 5xx)的请求日志,开关为
过,如何处理? 如何不拦截带有.js的文件? Web应用防火墙可以批量配置黑白名单吗? Web应用防火墙可以导入/导出黑白名单吗? 开启JS脚本反爬虫后,为什么客户端请求获取页面失败? 开启网站反爬虫中的“其他爬虫”会影响网页的浏览速度吗? JS脚本反爬虫的检测机制是怎么样的?