云服务器内容精选

华为云首页用户手册

配置防护策略

边缘安全 EdgeSec-配置网站反爬虫防护规则防御爬虫攻击:配置示例-仅记录脚本工具爬虫

配置示例-仅记录脚本工具爬虫假如防护域名 “www.example.com”已接入EdgeSec，您可以参照以下操作步骤验证反爬虫防护效果。执行JS脚本工具，爬取网页内容。在“特征反爬虫”页签，开启“脚本工具”，“防护动作”设置为“仅记录”（EdgeSec检测为攻击行为后，只记录不阻断）。图8 开启“脚本工具” 开启网站反爬虫。图9 网站反爬虫配置框在左侧导航树中，单击“防护事件”，进入“防护事件”页面，您可以查看该防护事件。图10 查看防护事件-脚本爬虫

边缘安全 EdgeSec 配置防护策略
边缘安全 EdgeSec-配置网站反爬虫防护规则防御爬虫攻击:JS脚本反爬虫检测机制

JS脚本反爬虫检测机制 JS脚本检测流程如图1所示，其中，①和②称为“js挑战”，③称为“js验证”。图1 JS脚本检测流程说明开启JS脚本反爬虫后，当客户端发送请求时，会返回一段JavaScript代码到客户端。如果客户端是正常浏览器访问，就可以触发这段JavaScript代码再发送一次请求，即边缘安全完成js验证，并将该请求转发给源站。如果客户端是爬虫访问，就无法触发这段JavaScript代码再发送一次请求，即边缘安全无法完成js验证。如果客户端爬虫伪造了认证请求，发送到边缘安全时，会拦截该请求，js验证失败。通过统计“js挑战”和“js验证”，就可以汇总出JS脚本反爬虫防御的请求次数。例如，图2中JS脚本反爬虫共记录了18次事件，其中，“js挑战”（EdgeSec返回JS代码）为16次，“js验证”（EdgeSec完成JS验证）为2次，“其他”（即爬虫伪造EdgeSec认证请求）为0次。图2 JS脚本反爬虫防护数据 “js挑战”和“js验证”的防护动作为仅记录，EdgeSec不支持配置“js挑战”和“js验证”的防护动作。

边缘安全 EdgeSec 配置防护策略