济南网站定制

应用场景

网络爬虫为网络信息收集与查询提供了极大的便利，但同时也对网络安全产生以下负面影响：

• 网络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息，占用服务器带宽，增加服务器的负载
• 恶意用户利用网络爬虫对Web服务发动DoS攻击，可能使Web服务资源耗尽而不能提供正常服务
• 恶意用户利用网络爬虫抓取各种敏感信息，造成网站的核心数据被窃取，损害企业经济利益

Web应用防火墙 可以通过Robot检测（识别User-Agent）、网站反爬虫（检查浏览器合法性）和CC攻击防护（限制访问频率）三个反爬虫策略，全方位帮您解决业务网站遭受的爬虫问题。

方案概述

JS脚本检测流程如图1所示，其中，①和②称为“js挑战”，③称为“js验证”。

图1 JS脚本检测流程说明

约束与限制

• 云模式入门版和标准版本不支持网站反爬虫功能。
• JS脚本反爬虫依赖浏览器的Cookie机制、JavaScript解析能力，如果客户端浏览器不支持Cookie，此功能无法使用，开启后会造成永远无法访问源站。
• 如果您的业务接入了 CDN 服务，请谨慎使用JS脚本反爬虫。

  由于CDN缓存机制的影响，JS脚本反爬虫特性将无法达到预期效果，并且有可能造成页面访问异常。

资源与成本规划

步骤一：购买WAF

您可以购买WAF云模式或者独享模式。

购买云模式标准版

以购买WAF云模式标准版为例进行介绍。

1. 登录华为云管理控制台。
2. 在控制台页面中选择“ 安全与合规 > Web应用防火墙 WAF”，进入Web应用防火墙控制台。
3. 在页面右上角，单击“购买WAF实例”，进入购买页面，“WAF模式”选择“云模式”。
   • “区域”：根据防护业务的所在区域就近选择购买的WAF区域。
   • “版本规格”：选择“专业版”。
   • “扩展包”及“购买时长”：根据具体情况进行选择。

4. 确认参数配置无误后，在页面右下角单击“立即购买”。
5. 确认订单详情无误后，阅读并勾选《Web应用防火墙免责声明》，单击“去支付”，完成购买操作。
6. 进入“付款”页面，选择付款方式进行付款。

购买独享模式

建议至少购买2个WAF实例。

1. 登录华为云管理控制台。
2. 在控制台页面中选择“安全与合规 > Web应用防火墙 WAF”，进入Web应用防火墙控制台。
3. 在页面右上角，单击“购买WAF实例”，进入购买页面，“WAF模式”选择“独享模式”。

   表2 WAF独享引擎实例参数说明

   参数名称		说明	取值样例
   基础配置	计费模式	仅支持“按需计费”模式。	按需计费
   	区域	支持购买WAF独享模式的区域说明，请参见Web应用防火墙支持防护哪些区域？。 原则上，在任何一个区域购买的WAF支持防护所有区域的Web业务。但是为了提高WAF的转发效率，减少网络时延，提高网络速度，建议您在购买WAF时，根据防护业务的所在区域就近选择购买的WAF区域。	-
   	通用可用区	选择区域中的可用区。 说明： 可用区选定后不支持更换。	-
   版本规格	版本选择	选择实例的规格，支持“WI-500”和“WI-100” 。 WAF实例规格选择WI-500，参考性能： HTTP业务：建议QPS 5,000；极限QPS 10,000 HTTPS业务：建议QPS 4,000；极限QPS 8,000 Websocket业务：支持最大并发连接5,000 最大回源长连接：60,000 WAF实例规格选择WI-100，参考性能： HTTP业务：建议QPS 1,000；极限QPS 2,000 HTTPS业务：建议QPS 800；极限QPS 1,600 Websocket业务：支持最大并发连接1,000 最大回源长连接：60,000	WI-500
   	WAF实例创建类别	选择实例的资源类型，仅支持“资源租户类”。 WAF实例通过弹性网卡接入用户网络。仅支持与独享型 ELB 配套使用，接入方式请参见网站接入流程（独享模式）。 说明： 如果需要选择“普通租户类”（WAF实例将直接创建在租户 ECS 中，租户可以在E CS 服务页面看到WAF实例所在的弹性 云服务器 ），需要提交工单申请，且仅部分Region支持，具体信息请以申请回复情况为准。	资源租户类
   网络配置	虚拟私有云	选择源站所在的 VPC 。	-
   	子网	选择VPC中已配置的子网。	-
   	安全组	选择区域中已有的安全组，或者单击“管理安全组”，跳转到VPC管理控制台创建新的安全组。选择安全组后，该实例将受到该安全组访问规则的保护。 须知： 安全组建议配置以下访问规则： 入方向规则 根据业务需求添加指定端口入方向规则，放通指定端口入方向网络流量。例如，需要放通“80”端口时，您可以添加“策略”为“允许”的“TCP”、“80”协议端口规则。 出方向规则 默认。放通全部出方向网络流量。 有关添加安全组规则的详细操作，请参见添加安全组规则。 如果WAF独享引擎实例与源站不在同一个VPC中，需要在安全组中设置实例与源站的子网互通。	-
   用量配置	购买数量	设置购买的WAF实例个数。 建议至少购买2个WAF实例，并将业务分别部署到WAF实例上。当业务部署多个WAF实例时，如果某个WAF实例发生故障时，WAF会自动将流量切换到其它正在运行的WAF实例上，确保业务正常运行。	2
   高级配置（可选）	WAF实例名称前缀	设置WAF实例名称前缀，购买多个实例时，实例前缀名称相同。	WAF
   	企业项目	企业项目针对企业用户使用，只有开通了企业项目的客户，或者权限为企业主账号的客户才可见。如需使用该功能，请开通企业管理功能。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 说明： “default”为默认企业项目，账号下原有资源和未选择企业项目的资源均在默认企业项目内。 只有注册的华为账号购买WAF时，“企业项目”下拉列表中才可以选择到“default”。	default
   	标签	如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下选择同一标签，建议在TMS中创建预定义标签。 如您的组织已经设定Web应用防火墙（Web Application Firewall，WAF）服务的相关标签策略，则需按照标签策略规则为独享引擎实例添加标签。标签如果不符合标签策略的规则，则可能会导致独享引擎实例创建失败，请联系组织管理员了解标签策略详情。	-
   	服务授权	首次购买WAF时，可配置此参数。勾选后，WAF将代您在 IAM 中创建委托，开通相关权限。	-
   	反亲和	开启后，最多只能创建5个独享引擎实例。 开启后，独享引擎在创建时，将尽量分散地创建在不同的物理主机上，以提高业务的可靠性。	-

4. 确认参数配置无误后，在页面右下角单击“立即购买”。
5. 确认订单详情无误后，阅读并勾选《Web应用防火墙免责声明》，单击“去支付”，完成购买操作。
6. 进入“付款”页面，选择付款方式进行付款。

步骤二：将网站信息添加到WAF

此处以云模式-CNAME接入为例进行介绍。

• 云模式-ELB接入方式请参见将网站接入WAF防护（云模式-ELB接入）。
• 独享模式接入方式请参见将网站接入WAF防护（独享模式）。

1. 在左侧导航树中，选择“网站设置”，进入网站设置列表。
2. 在网站列表的左上角，单击“添加防护网站”。
3. 选择“云模式-CNAME接入”并单击“开始配置”。
4. 根据界面提示，配置网站信息，如表3所示。
   图2 基础信息配置
   

   表3 重点参数说明

   参数	参数说明	取值样例
   防护域名	需要添加到WAF中防护的域名。 域名已完成备案 支持单域名（例如，一级域名example.com，二级域名www.example.com等）和泛域名（例如，*.example.com）。	www.example.com
   防护端口	需要防护的域名对应的业务端口。	标准端口
   服务器配置	网站服务器地址的配置。包括对外协议、源站协议、源站地址、源站端口和权重。 对外协议：客户端请求访问服务器的协议类型。包括“HTTP”、“HTTPS”两种协议类型。 源站协议：Web应用防火墙转发客户端请求的协议类型。包括“HTTP”、“HTTPS”两种协议类型。 源站地址：客户端访问的网站服务器的 公网IP 地址（一般对应该域名在DNS服务商处配置的A记录）或者域名（一般对应该域名在DNS服务商处配置的CNAME）。 源站端口：WAF转发客户端请求到服务器的业务端口。 权重： 负载均衡 算法将按权重将请求分配给源站。	对外协议：HTTP 源站协议：HTTP 源站地址：IPv4 XXX .XXX.1.1 源站端口：80
   代理情况	在WAF前使用了其他代理产品。	七层代理

5. 单击“下一步”，根据界面提示，完成WAF回源IP加白、本地验证和修改域名DNS解析设置的操作。
   图3 添加域名完成
   

步骤三：开启Robot检测（识别User-Agent）

开启Robot检测后，WAF可以检测和拦截恶意爬虫、扫描器、网马等威胁。

1. 登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目。
3. 单击页面左上方的，选择“安全与合规 > Web应用防火墙 WAF”。
4. 在左侧导航树中，选择“网站设置”，进入“网站设置”页面。
5. 在目标域名所在行的“防护策略”栏中，单击“已开启N项防护”，进入“防护策略”页面。
6. 确认“Web基础防护”的状态为。
   图4 Web基础防护配置框
   

7. 在“防护配置”页面，开启“常规检测”和“Webshell检测”开关。
8. 选择“网站反爬虫”配置框，开启网站反爬虫。
   • ：开启状态。
   • ：关闭状态。

9. 在“特征反爬虫”页面，根据您的业务场景，开启合适的防护功能。
   图5 特征反爬虫防护
   

当WAF检测到恶意爬虫、扫描器等对网站进行爬取时，将立即拦截并记录该事件，您可以在“防护事件”页面查看爬虫防护日志。

步骤四：开启网站反爬虫（检查浏览器合法性）

开启网站反爬虫，WAF可以动态分析网站业务模型，结合人机识别技术和数据风控手段，精准识别爬虫行为。

1. 登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目。
3. 单击页面左上方的，选择“安全与合规 > Web应用防火墙 WAF”。
4. 在左侧导航树中，选择“网站设置”，进入“网站设置”页面。
5. 在目标域名所在行的“防护策略”栏中，单击“已开启N项防护”，进入“防护策略”页面。
6. 选择“网站反爬虫”配置框，开启网站反爬虫。
   • ：开启状态。
   • ：关闭状态。

7. 选择“JS脚本反爬虫”页签，用户可根据业务需求更改JS脚本反爬虫的“状态”。

   默认关闭JS脚本反爬虫，单击，在弹出的“警告”提示框中，单击“确定”，开启JS脚本反爬虫。

   防护动作：拦截、仅记录、人机验证。

   

   人机验证：JavaScript挑战失败，弹出验证码提示，输入正确的验证码，请求将不受访问限制

   

   • JS脚本反爬虫依赖浏览器的Cookie机制、JavaScript解析能力，如果客户端浏览器不支持Cookie，此功能无法使用，开启后会造成永远无法访问源站。
   • 如果您的业务接入了CDN服务，请谨慎使用JS脚本反爬虫。

     由于CDN缓存机制的影响，JS脚本反爬虫特性将无法达到预期效果，并且有可能造成页面访问异常。

8. 根据业务配置JS脚本反爬虫规则，相关参数说明如表4所示。

   JS脚本反爬虫规则提供了“防护所有请求”和“防护指定请求”两种防护动作。

   • 除了指定请求规则以外，防护其他所有请求
     “防护模式”选择“防护所有请求”，单击“添加排除请求规则”，配置排除请求规则后，单击“确认”。

     图6 添加排除防护请求
     
   • 只防护指定请求时

     “防护模式”选择“防护指定请求”，单击“添加请求规则”，配置请求规则后，单击“确认”。

     图7 添加请求规则
     

   表4 JS脚本反爬虫参数说明

   参数	参数说明	示例
   规则名称	自定义规则名称。	waf
   规则描述	可选参数，设置该规则的备注信息。	-
   生效时间	立即生效。	立即生效
   条件列表	条件设置参数说明如下： 字段：在下拉列表中选择需要防护的字段，当前仅支持“路径”、“User Agent”。 子字段 逻辑：在“逻辑”下拉列表中选择需要的逻辑关系。 说明： 当“逻辑”关系选择“包含任意一个”、“不包含任意一个”、“等于任意一个”、“不等于任意一个”、“前缀为任意一个”、“前缀不为任意一个”、“后缀为任意一个”或者“后缀不为任意一个”时，需要选择引用表。 内容：输入或者选择条件匹配的内容。 区分大小写：“字段”选择“路径”时，可配置该参数。开启后，系统在检测配置的路径时，将区分大小写。	“路径”包含“/admin/”
   优先级	设置该条件规则检测的顺序值。如果您设置了多条规则，则多条规则间有先后匹配顺序，即访问请求将根据您设定的优先级依次进行匹配，优先级较小的规则优先匹配。	5

开启该防护后，非浏览器的访问将不能获取业务页面。

步骤五：配置CC攻击防护（限制访问频率）

开启CC攻击防护，限制单个IP/Cookie/Referer访问者对您的网站上特定路径（URL）的访问频率，缓解CC攻击对业务的影响。

1. 登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目。
3. 单击页面左上方的，选择“安全与合规 > Web应用防火墙 WAF”。
4. 在左侧导航树中，选择“网站设置”，进入“网站设置”页面。
5. 在目标域名所在行的“防护策略”栏中，单击“已开启N项防护”，进入“防护策略”页面，确认“CC攻击防护”的“状态”为“开启”。
   图8 CC防护规则配置框
   

6. 在“CC攻击防护”规则配置列表的左上方，单击“添加规则”。以IP限速和人机验证为例，添加IP限速规则，如图9所示。
   图9 IP限速
   

   设置成功后，当用户访问超过限制后需要输入验证码才能继续访问。