华为云用户手册

  • 请求消息 请求参数如表2 请求参数所示。 表2 请求参数 参数 参数类型 是否必选 描述 new_password String 是 新密码。 当dry_run字段为true时,该字段为非必填字段,否则为必填字段。 新密码的校验规则: 长度为8-26位。 密码至少必须包含大写字母(A-Z)、小写字母(a-z)、数字(0-9)和特殊字符(!@%-_=+[]:./?)中的三种。 密码不能包含用户名或用户名的逆序。 Windows系统密码不能包含用户名或用户名的逆序,不能包含用户名中超过两个连续字符的部分。 dry_run Boolean 否 是否只预检此次请求。取值为true或false,默认值为false。 true:发送检查请求,不会重置密码。检查项包括是否填写了必需参数、请求格式、业务限制。如果检查不通过,则返回对应错误。如果检查通过,则返回响应结果。 false:发送正常请求,通过检查后并且进行重置密码请求。 servers Array of objects 是 待批量重置密码的云主机ID信息,详情参见表3 servers字段数据结构说明。 表3 表4 servers字段数据结构说明 参数 是否必选 参数类型 描述 id 是 String 云主机ID。
  • 接口约束 使用此API,需预先安装重置密码插件。 Flexus L实例 提供的系统镜像、应用镜像默认已安装重置密码插件。 如果私有镜像的镜像源来自其他云平台的服务器或从第三放下载,此类私有镜像可能因为未安装一键式密码重置插件而无法重置密码。请根据重置Linux云服务器云主机密码(未安装重置密码插件)安装插件。 云主机的重置密码请求下发后,脚本执行失败,该API不会报错。 云主机开机或重启后,新密码生效。 该接口支持虚拟机状态为开机或者关机状态下执行。
  • 概述 欢迎使用Flexus应用服务器L实例。Flexus应用服务器L实例是新一代开箱即用、面向中小企业和开发者打造的全新轻量级云服务器产品系列。Flexus应用服务器L实例提供丰富严选的应用镜像,实现应用一键部署,适用于网站搭建、开发测试环境、企业应用、网站分析、音视频服务等中低负载场景。具有易搭建、更实惠、易维护、更安全的特点。 本文档提供了Flexus应用服务器L实例API的描述、语法、参数说明及示例等内容。支持的全部操作请参见API概览。 在调用Flexus应用服务器L实例API之前,请确保已经充分了解Flexus应用服务器L实例相关概念,详细信息请参见什么是Flexus应用服务器L实例。 在Flexus应用服务器L实例文档中,“Flexus应用服务器L实例”简称为“Flexus L实例”。
  • API概览 Flexus L实例是包含了云主机、弹性公网IP、云硬盘、云备份、主机安全、Flexus负载均衡的服务组合,云主机是Flexus L实例中的服务器。 本文提供了部分Flexus L实例云主机的API接口供您操作。在使用API前,请先了解如何调用API以便顺利使用API。 表1 接口说明 接口 说明 查询云主机详情 查询云主机的详细信息,包括云主机的运行状态、云主机名称、公网IP等。 批量启动云主机 根据指定的云主机ID列表,批量开机云主机。 批量重启云主机 根据指定的云主机ID列表,批量重启云主机。 批量关闭云主机 根据指定的云主机ID列表,批量关机云主机。 批量重置云主机密码 批量重置云主机管理账号(root用户或Administrator用户)的密码。 修改云主机信息 修改云主机信息,目前支持修改云主机名称及描述和hostname。
  • 授权流水线服务 流水线权限从上到下可以分成三个层级,分别控制不同模块不同粒度的用户行为。 表1 流水线权限 层级 模块 描述 租户级权限 扩展插件、策略(租户级)、租户级规则、流水线模板 控制租户账号下的模块资源,在 统一身份认证 服务中进行配置,生效范围为整个租户下的全部项目。 项目级权限 流水线、策略(项目级)、微服务、变更、环境 控制某一具体项目下的模块资源,在项目中进行配置,生效范围为整个项目下的全部资源。 资源级权限 流水线任务 控制某一具体流水线任务的操作权限,在流水线任务中进行配置,生效范围为当前流水线任务。
  • 流水线扩展插件使用场景 使用者可通过扩展插件对接使用各类云服务。如使用CodeArts Pipeline提供的官方插件,如Kubernetes发布。 开发者利用官方工具镜像进行插件开发,自行实现业务逻辑。当前支持开发者使用主流多语言进行业务脚本编写,如:shell/nodejs/python/java等。针对业务的特殊环境要求,支持使用自定义执行机配合基础插件(执行容器镜像)提供更加多样的执行方式。 使用者可开发扩展插件对接已有的第三方CI/CD工具。
  • Step2 在Notebook中调试模型 打开一个新的Terminal终端,进入“/home/ma-user/infer/”目录,运行启动脚本run.sh,并预测模型。基础镜像中默认提供了run.sh作为启动脚本。启动命令如下: sh run.sh 图1 运行启动脚本 上传一张预测图片(手写数字图片)到Notebook中。 图2 手写数字图片 图3 上传预测图片 重新打开一个新的Terminal终端,执行如下命令进行预测。 curl -kv -F 'images=@/home/ma-user/work/test.png' -X POST http://127.0.0.1:8080/ 图4 预测 在调试过程中,如果有修改模型文件或者推理脚本文件,需要重启run.sh脚本。执行如下命令先停止nginx服务,再运行run.sh脚本。 #查询nginx进程 ps -ef |grep nginx #关闭所有nginx相关进程 kill -9 {进程ID} #运行run.sh脚本 sh run.sh 也可以执行pkill nginx命令直接关闭所有nginx进程。 #关闭所有nginx进程 pkill nginx #运行run.sh脚本 sh run.sh 图5 重启run.sh脚本 父主题: 无需构建直接在开发环境中调试并保存镜像用于推理
  • LTS日志转储状态显示异常是什么原因? 在 云日志服务LTS 控制台的“日志转储”页面,日志转储任务的状态显示异常,有可能是如下原因引起: 可能原因:OBS桶策略异常。 解决方法:请您在 对象存储服务 中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法:请您重新创建Kafka转储配置,详细请参考日志转储至DMS。 可能原因:Kafka的topic被删除。 解决方法:请您重新创建或指定Kafka的topic,详细请参考日志转储至DMS。 父主题: 日志转储
  • 大数据组件日志采集场景 场景描述:有些用户会使用 MRS /Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA SDK或者GO SDK上报日志。常见的大数据组件不太方便指定个性化的日志文件路径去只打印自己的业务日志,因此使用SDK上报日志是比较好的选择。 日志结构化解析方式:LTS支持iOS SDK、Android SDK、百度小程序SDK、微信小程序SDK等端侧SDK,使用端侧SDK上报的日志不支持云端结构化解析,因此建议您上报已经结构化的JSON格式日志。
  • 应用监控告警场景 场景描述:适用于使用日志来实时监控应用系统是否正常,提前发现系统故障的场景。 SQL告警仅支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、中国-香港、西南-贵阳一、亚太-新加坡、华南-深圳,支持部分白名单用户使用的局点有:亚太-曼谷、华北-北京一、华东-上海二、华北-乌兰察布二零二,其他局点暂不支持该功能。 使用建议: 告警统计方式:LTS有两种告警配置方式:关键词告警和SQL告警。如果您的日志是无规则的,那么适用关键词告警,例如java程序的运行日志;如果您的日志是有规则的,例如NGINX网关日志,那么适用SQL统计告警,您可以使用SQL语句对结构化的日志做统计分析,获取您想要的指标配置告警。 告警规则配置:告警触发一般需要越快越好,您的告警规则统计周期建议使用1分钟。您可以使用LTS提供的默认消息模板来发送告警。如果您有个性化的诉求,您可以在系统提供的默认模板的基础上做一些修改保存为消息模板,然后发送告警。 配置ELB/APIG等关键云服务日志告警:ELB经常用来作为应用系统的对外的入口,您可以打开ELB日志对接到LTS,然后配置ELB 5XX状态码告警,这样就可以及时发现系统是否有故障。同时您可以借助开箱即用的ELB仪表盘模板,观察应用系统整体的成功率。
  • 云主机应用日志场景 场景描述:适用于用户将应用系统部署在云主机上,使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个组件(也称微服务)组成,每个组件部署在至少2台云主机上。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,您需要在云主机上安装ICAgent,然后使用E CS 接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建议:将一个应用系统的日志放在一个日志组中,日志组的名称可以使用应用系统的名称。 日志流规划建议: 如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将有相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离建议: 云日志 服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同 IAM 用户有不同日志流的访问权限。
  • 业务运营分析场景 场景描述:适用于在应用系统中打印业务日志,例如交易额、客户、产品等信息,然后使用LTS的SQL分析功能,输出可视化图表和仪表盘的场景。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,将日志打印到单独的日志文件中,不要与应用程序的运行日志混在一起。不建议使用SDK、API上报日志。 日志结构化解析方式:建议您打印的业务日志使用空格分割或者JSON格式,这样方便快速配置日志结构化解析规则。 日志可视化呈现: 您可以创建自定义的仪表盘,使用类SQL语法分析已经结构化处理好的业务日志。自定义的仪表盘中,你可以添加多个图表,也可以添加过滤器,使用LTS做业务分析,可以减少采购 数据仓库 ,没有额外成本,上手更简单。 日志加工:想要分析的业务日志混在运行日志中,或者业务日志中有些敏感数据需要删除,或者有些数据缺少维度数据,建议使用DSL加工功能对日志进行规整、富化、流转、脱敏、过滤等操作。详细请参考DSL加工。
  • 云服务 日志分析 场景 如何采集云服务日志到LTS:LTS支持多种云服务接入采集到LTS,您需要在对应云服务的页面打开日志开关,即可以将日志采集到指定的日志组/日志流。 如何配置到最佳使用状态:很多云服务的日志都是支持结构化的,您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则,详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘,例如ELB/APIG/DCS等开箱即用仪表盘。
  • 等保安全合规场景 场景描述:国家网络安全法要求上市公司、金融企业需要保存关键系统日志至少180天,用户可以将这些日志采集到LTS后统一存储。 使用建议: 日志采集方式:DSL加工 云主机和容器日志,建议优先使用采集器ICAgent采集,使用ECS向导或者CCE向导。 云服务日志例如ELB/VPC日志,您可以在云服务界面打开开关将日志采集到LTS。 如果您的某些设备必须要以Syslog协议上报日志,您可以参考如何搭建Syslog服务器收集日志并采集到LTS。 日志存储方式: LTS默认支持用户存储365天,您可以修改日志存储时长。如果您需要更多的存储时长,请提交工单申请开通3年存储时长。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。
  • 容器应用日志场景 场景描述:适用于用户将应用系统部署在K8S集群上,使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个工作负载组成,每个工作负载至少部署2个实例。 使用建议: 日志采集方式: 建议使用采集器ICAgent采集日志,您可以使用CCE接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 采集容器应用日志的方式有:容器标准输出、容器文件、节点文件、K8S事件,建议优先使用容器文件。对比容器标准输出,容器文件的优点是可以持久化挂载到主机上,且输出的内容用户自主控制性更强。对比节点文件,容器文件的优点是采集的日志有命名空间、工作负载、POD等元数据信息,在搜索日志的时候更加便捷。 日志组规划:将一个CCE集群的所有日志放在一个日志组中,日志组的别名(支持修改)可以使用CCE集群的名称,日志组的原始名称(不支持修改)建议使用k8s-log-{集群ID}。 日志流规划: 如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将相同格式的日志采集到同一个日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。
  • 创建rf_admin_trust委托(可选) 进入华为云官网,打开控制台管理界面,鼠标移动至个人账号处,打开“统一身份认证”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单,搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在,则不用执行接下来的创建委托的步骤。 如果委托不存在时执行接下来的步骤创建委托。 单击步骤2界面中的“创建委托”按钮,在委托名称中输入“rf_admin_trust”,委托类型选择“云服务”,选择“ RFS ”,单击“下一步”。 图4 创建委托 在搜索框中输入“Tenant Administrator”权限,并勾选搜索结果,单击“下一步”。 图5 选择策略 选择“所有资源”,并单击下一步完成配置。 图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图7 委托列表
  • 附录 名词解释 基本概念、云服务简介、专有名词解释 弹性 云服务器ECS :是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 华为云Flexus云服务器X实例:Flexus云服务器X实例是新一代面向中小企业和开发者打造的柔性算力云服务器。Flexus云服务器X实例功能接近ECS, 同时还具备独有特点,例如Flexus云服务器X实例具有更灵活的vCPU内存配比、支持热变配不中断业务变更规格、支持性能模式等。 弹性公网IP:提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 弹性文件服务SFS Turbo:为用户提供一个完全托管的共享文件存储,能够弹性伸缩至320TB规模,具备高可用性和持久性,为海量的小文件、低延迟高IOPS型应用提供有力支持。 Gearbox: Gearbox是一个华为云自研开源的资源协同系统。Gearbox系统与调度平台(Slurm)协同,协调云下、云上资源使用。支持自定义业务负载指标,提供基于指标的自动扩容能力,感知业务任务状态,闲置自动释放,提供无损的弹性伸缩能力。 Slurm:是一个开源,高度可扩展的集群管理工具和作业调度系统,用于各种规模的Linux集群。 主要提供如下集中关键的特性: 资源分配 分配独占或者非独占的资源给用户,可以控制分配的时长,供用户运行作业。 作业管理框架 提供一个框架,可以帮助用户控制并行作业在所分配资源上的启动、运行和监控。 队列 提交的作业资源需求超出了可用资源,将作业放入队列。 不同的作业调度策略 提供资源预留,公平分享,回填等高级作业调度策略供使用。 其他工具 提供作业信息统计,作业状态诊断等工具。
  • 快速部署 本章节主要帮助用户快速部署“快速构建基因测序环境”解决方案。 表1 参数说明 参数名称 类型 是否可选 参数解释 默认值 vpc_name string 必填 虚拟私有云名称,该模板新建VPC,不允许重名。取值范围:1-54个字符,支持数字、字母、_(下划线)、-(中划线)、.(点) gene-sequencing-environment-demo security_group_name string 必填 安全组名称,该模板新建安全组。取值范围:1-64个字符,支持数字、字母、_(下划线)、-(中划线)、.(点) gene-sequencing-environment-demo ecs_name string 必填 云服务器名称,命名方式为{ecs_name}-[0X],不允许重名。取值范围:1-59个字符组成,包括字母、数字、下划线 (_)、连字符 (-) 和句点 (.) gene-sequencing-environment-demo ecs_worker_count number 必填 云服务器计算节点数量,默认3台云服务器:1台调度节点、2台计算节点。取值范围:大于等于2台,上限由用户配额决定。具体请登录华为云官网我的配额查看。 2 ecs_password string 必填 云服务器初始化密码,创建完成后,请参及时登录ECS控制台修改密码。取值范围:长度为8-26个字符,密码至少包含大写字母、小写字母、数字和特殊字符($!@%-_=+[]:./^,{}?)中的三种,密码不能包含用户名或用户名的逆序。管理员账户默认为root。重置密码请参考3.3开始使用步骤1。 空 ecs_image string 必填 云服务器的公共操作系统镜像,具体请参考弹性云服务器类型与支持的操作系统版本,请使用Linux操作系统。 CentOS 7.6 64bit ecs_master_flavor string 必填 云服务器调度节点规格,支持弹性云服务器 ECS及华为云Flexus 云服务器X实例。Flexus 云服务器X实例规格ID命名规则为x1.?u.?g,例如2vCPUs4GiB规格ID为x1.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器 ECS规格请参考官网弹性云服务器规格清单。 x1.4u.8g ecs_worker_flavor string 必填 云服务器计算节点规格,支持弹性云服务器 ECS及华为云Flexus 云服务器X实例。Flexus 云服务器X实例性能版规格ID命名规则为x1e.?u.?g,例如2vCPUs4GiB规格ID为x1e.2u.4g,具体华为云Flexus 云服务器X实例规格请参考控制台。弹性云服务器 ECS规格请参考官网弹性云服务器规格清单。 x1e.32u.64g system_disk_type string 必填 云服务器系统盘规格,有关磁盘类型的详细信息,请参见磁盘类型及性能介绍。可用选项有:SAS(高I/O磁盘类型)、SSD(超高I/O磁盘类型)、GPSSD(通用SSD磁盘类型)、ESSD(极端SSD类型)。 SAS system_disk_size number 必填 云服务器系统盘大小,取值范围:40-1024GB,不支持缩盘。 100 bandwidth_size number 必填 带宽大小,取值范围:1-2,000Mbit/s。 5 sfs_turbo_name string 必填 弹性服务文名称,取值范围:4-64字符,必须以字母开头,可以包含字母、数字、中划线和下划线,不能包含其他的特殊字符,不区分大小写。 sfs_turbo_size number 必填 弹性服务共享文件系统大小,取值范围:500~32768GB。 10240 charging_mode string 必填 计费模式,默认自动扣费,取值为prePaid(包年包月)或postPaid(按需计费)。 postPaid charging_unit string 必填 计费周期单位,当计费方式设置为prePaid时,此参数为必填项;当计费方式设置为postPaid时,此参数失效。有效值为:month(包月)和year(包年)。 month charging_period number 必填 云服务器ECS订购周期,仅当charging_mode为prePaid(包年/包月)生效,此时该参数为必填参数。取值范围:charging_unit=month(周期类型为月)时,取值为1-9;charging_unit=year(周期类型为年)时,取值为1-3。默认订购1月。 1 keypair_name string 必填 已有SSH登录密钥对名称,请参考3.1准备工作创建密钥对获取。 空 as_name string 必填 弹性伸缩资源名称,该模板使用新建弹性伸缩组,为集群提供弹性伸缩功能,不支持重名。取值范围:1-50个字符组成,只能由英文字母、数字、中划线(-)组成。 gene-sequencing-environment-demo AK string 必填 访问密钥AK,请参考部署文档3.1准备工作配置访问密钥获取。 空 SK string 必填 访问密钥SK,请参考部署文档3.1准备工作配置访问密钥获取。 空 project_id string 必填 用户方案部署所在区域的项目ID,请参考统一身份认证--项目获取。 空 登录华为云解决方案实践,选择“快速构建基因测序环境”。 图1 解决方案实施库 单击“一键部署”,跳转至该解决方案创建资源栈部署界面。 图2 一键部署 单击“下一步”,参考表1完成自定义参数填写。。 图3 配置参数 在配置确认页面中,单击“创建执行计划”。 图4 配置确认 单击“创建执行计划”,根据提示输入执行计划名称等,单击“确定”。 图5 创建执行计划 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。 图6 部署执行计划 图7 执行计划确认 (可选)如果计费模式选择“包年包月”,在余额不充足的情况下(所需总费用请参考表2)请及时登录费用中心,手动完成待支付订单的费用支付。 待出现“Apply required resource success”,表示该解决方案所有资源已经部署完成,等待30分钟集群内环境部署完成即可使用。 图8 执行完成 注:集群内环境部署完成前请不要登录ECS进行其他操作,否则可能导致环境部署失败。 父主题: 实施步骤
  • 资源和成本规划 该解决方案主要部署如下资源,不同产品的花费仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 表1 资源和成本规划(按需计费) 华为云服务 配置示例 每月预估花费 华为云Flexus 云服务器X实例(调度节点) 按需计费:0.50元/小时 区域:华北-北京四 计费模式:按需计费 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.4u.8g | 4核 | 8 GB 镜像:CentOS 7.6 64bit 系统盘:高IO | 100GB 购买量:1 360.00 元 华为云Flexus 云服务器X实例(计算节点) 按需计费:5.44元/小时 区域:华北-北京四 计费模式:按需计费 规格:Flexus云服务器X实例 | 性能模式(开启)| x1.32u.64g | 32核 | 64 GB 镜像:CentOS 7.6 64bit 系统盘:高IO | 100GB 购买量:2 7833.60元 SFS Turbo标准型 按需计费:6.4元/小时 区域:华北-北京四 计费模式:按需计费 SFS Turbo 标准型 | 10TB 4608.00 元 弹性公网IP EIP 按需计费:0.34元/小时 区域:华北-北京四 计费模式:按需计费 线路:动态BGP 公网带宽:按带宽计费 带宽大小:5Mbit/s 购买量:1 244.80 元 合计 - 13046.40 元 表2 资源和成本规划(包年包月) 华为云服务 配置示例 每月预估花费 华为云Flexus 云服务器X实例(调度节点) 区域:华北-北京四 计费模式:包年包月 规格:Flexus云服务器X实例 | 性能模式(关闭)| x1.4u.8g | 4核 | 8 GB 镜像:CentOS 7.6 64bit 系统盘:高IO | 100GB 购买量:1 251.00 元 华为云Flexus 云服务器X实例(计算节点) 区域:华北-北京四 计费模式:包年包月 规格:Flexus云服务器X实例 | 性能模式(开启)| x1.32u.64g | 32核 | 64 GB 镜像:CentOS 7.6 64bit 系统盘:高IO | 100GB 购买量:2 5254.00 元 SFS Turbo标准型 按需计费:6.4元/小时 区域:华北-北京四 计费模式:按需计费 SFS Turbo 标准型 | 10TB 4608.00 元 弹性公网IP EIP 区域:华北-北京四 计费模式:包年包月 线路:动态BGP 公网带宽:按带宽计费 带宽大小:5Mbit/s 购买量:1 115.00 元 合计 - 10228.00 元
  • 方案架构 该解决方案部署架构如下图所示: 图1 方案架构图 该解决方案将会部署如下资源: 创建三台云服务器,自动部署HPC开源调度软件Slurm,提供基因测序HPC环境。 创建弹性服务共享文件,为基因测序HPC环境提供共享文件存储服务。 安全组可以保护云服务器的网络安全,通过配置安全组规则,限定云服务器的访问端口。 云服务器管理节点绑定弹性公网IP,用于用户访问基因测序HPC环境。 在调度节点安装Gearbox程序、配置java环境。 使用 云监控服务 ,Gearbox程序监测集群作业状态,计算自定义指标workload值,上报指标到 云监控 服务。
  • 方案优势 高性能 提供C6(通用计算增强型)、M6(内存优化型)等计算密集型ECS实例,搭载第二代英特尔® 至强® 可扩展处理器 ,计算性能强劲稳定,配套华为自研智能高速网卡,提供超高带宽和超低时延的网络体验。 降本增效 多种规格的计算资源和存储资源按需使用,精准匹配不同流程的IT资源需求,相同流程的成本最高可节省30%。 一键部署 一键轻松部署,即可完成资源的快速发放以及基因测序HPC环境的部署。
  • 条件(Condition) 条件(Condition)是SCP生效的特定条件,包括条件键和运算符。 条件键表示SCP语句的Condition元素中的键值。根据适用范围,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作,在鉴权过程中,云服务不需要提供用户身份信息,系统将自动获取并鉴权。详情请参见:全局条件键。 服务级条件键(前缀通常为服务缩写,如gaussdb:)仅适用于对应服务的操作,详情请参见表4。 单值/多值表示API调用时请求中与条件关联的值数。单值条件键在API调用时的请求中最多包含一个值,多值条件键在API调用时请求可以包含多个值。例如:g:SourceVpce是单值条件键,表示仅允许通过某个 VPC终端节点 发起请求访问某资源,一个请求最多包含一个VPC终端节点ID值。g:TagKeys是多值条件键,表示请求中携带的所有标签的key组成的列表,当用户在调用API请求时传入标签可以传入多个值。 运算符与条件键、条件值一起构成完整的条件判断语句,当请求信息满足该条件时,SCP才能生效。支持的运算符请参见运算符。 GaussDB 定义了以下可以在SCP的Condition元素中使用的条件键,您可以使用这些条件键进一步细化SCP语句应用的条件。 表13 GaussDB支持的服务级条件键 服务级条件键 类型 单值/多值 说明 gaussdb:BackupEnabled boolean 单值 按照请求参数中传递的是否开启备份策略标签键筛选访问权限。限定词选择“默认”。 gaussdb:Encrypted boolean 单值 按照请求参数中传递的是否开启磁盘加密标签键筛选访问权限。限定词选择“默认”。
  • 操作(Action) 操作(Action)即为SCP中支持的授权项。 “访问级别”列描述如何对操作进行分类(list、read和write等)。此分类可帮助您了解在SCP中相应操作对应的访问级别。 “资源类型”列指每个操作是否支持资源级权限。 资源类型支持通配符号*表示所有。如果此列没有值(-),则必须在SCP语句的Resource元素中指定所有资源类型(“*”)。 如果该列包含资源类型,则必须在具有该操作的语句中指定该资源的URN。 资源类型列中必需资源在表中用星号(*)标识,表示使用此操作必须指定该资源类型。 关于GaussDB定义的资源类型的详细信息请参见资源类型(Resource)。 “条件键”列包括了可以在SCP语句的Condition元素中GaussDB支持指定的键值。 如果该授权项资源类型列存在值,则表示条件键仅对列举的资源类型生效。 如果该授权项资源类型列没有值(-),则表示条件键对整个授权项生效。 如果此列没有值(-),表示此操作不支持指定条件键。 关于GaussDB定义的条件键的详细信息请参见条件(Condition)。 您可以在SCP语句的Action元素中指定以下GaussDB的相关操作。 表1 GaussDB支持的授权项 授权项 描述 访问级别 资源类型(*为必须) 条件键 gaussdb:backup:createBackup 授予创建数据库实例手动备份的权限。 write instance - gaussdb:backup:deleteBackup 授予删除备份的权限。 write instance - gaussdb:backup:listAll 授予查询备份列表的权限。 list instance - gaussdb:instance:updateBackupPolicy 授予设置备份策略的权限。 write instance gaussdb:BackupEnabled gaussdb:param:applyParam 授予应用参数模板的权限。 write instance - gaussdb:tag:create 授予添加资源标签的权限。 tagging instance - gaussdb:instance:bindEIP 授予绑定弹性公网IP的权限。 write instance - gaussdb:instance:check 授予校验实例相关信息的权限。 read instance - gaussdb:instance:createInstance 授予创建数据库实例的权限。 write instance gaussdb:BackupEnabled gaussdb:Encrypted gaussdb:instance:createDatabase 授予创建数据库的权限。 write instance - gaussdb:instance:createDatabaseSchema 授予创建数据库Schema的权限。 write instance - gaussdb:instance:createDatabaseUser 授予创建数据库用户的权限。 write instance - gaussdb:instance:deleteInstance 授予删除数据库实例的权限。 write instance - gaussdb:instance:get 授予查询实例详情的权限。 read instance - gaussdb:instance:getBackupPolicy 授予查询自动备份策略的权限。 read instance - gaussdb:instance:getBalanceStatus 授予查询实例主备平衡状态的权限。 read instance - gaussdb:instance:getDiskUsage 授予查询磁盘使用率的权限。 read instance - gaussdb:instance:getRecyclePolicy 授予查看实例回收备份策略的权限。 read instance - gaussdb:instance:downloadSslCert 授予下载实例SSL证书的权限。 read instance - gaussdb:instance:grantDatabasePrivilege 授予授权数据库账号的权限。 write instance - gaussdb:instance:listAll 授予查询数据库实例列表的权限。 list instance - gaussdb:instance:listPublicIps 授予查询实例已绑定EIP列表的权限。 list instance - gaussdb:instance:listComponents 授予查询实例组件列表的权限。 list instance - gaussdb:instance:listDatabases 授予查询数据库列表的权限。 list instance - gaussdb:instance:listDatabaseUsers 授予查询数据库用户列表的权限。 list instance - gaussdb:tag:listAll 授予查询资源标签列表的权限。 list instance - gaussdb:quota:listAll 授予查询配额列表的权限。 list instance - gaussdb:instance:listRecoverableTimes 授予查询备份可恢复时间段的权限。 list instance - gaussdb:instance:listSchemas 授予查询数据库Schema列表的权限。 list instance - gaussdb:instance:renameInstance 授予重置实例名称的权限。 write instance - gaussdb:instance:resetPassword 授予重置数据库密码的权限。 write instance - gaussdb:instance:resizeFlavor 授予变更实例规格的权限。 write instance - gaussdb:instance:restartInstance 授予重启数据库实例的权限。 write instance - gaussdb:instance:setRecyclePolicy 授予设置实例回收备份策略的权限。 write instance - gaussdb:instance:switchShard 授予分片节点主备切换的权限。 write instance - gaussdb:instance:extend 授予扩容相关操作的权限。 write instance - gaussdb:param:update 授予修改参数组的权限。 write instance - gaussdb:param:check 授予校验参数组的权限。 read instance - gaussdb:param:copy 授予复制参数模板的权限。 write instance - gaussdb:param:createParam 授予创建参数组的权限。 write instance - gaussdb:param:deleteParam 授予删除参数组的权限。 write instance - gaussdb:param:get 授予查询参数配置详情的权限。 read instance - gaussdb:param:compare 授予比较两个参数模板之间差异的权限。 read instance - gaussdb:param:listAll 授予查询参数组列表的权限。 list instance - gaussdb:param:reset 授予重置参数模板的权限。 write instance - gaussdb:quota:update 授予修改配额的权限。 write instance - gaussdb:task:listAll 授予查询任务列表的权限。 list instance - gaussdb:task:delete 授予删除任务记录的权限。 write instance - gaussdb:task:get 授予查询任务详情的权限。 read instance - GaussDB的API通常对应着一个或多个授权项。如下表展示了API与授权项的关系,以及该API需要依赖的授权项。 表2 实例管理 权限 API 对应的授权项 依赖的授权项 创建数据库实例 POST /v3/{project_id}/instances gaussdb:instance:createInstance - 扩容数据库实例的磁盘空间 POST /v3/{project_id}/instances/{instance_id}/action gaussdb:instance:extend - 删除数据库实例 DELETE /v3/{project_id}/instances/{instance_id} gaussdb:instance:delete - 查询数据库实例列表 GET /v3/{project_id}/instances gaussdb:instance:listAll - 重置数据库密码 POST /v3/{project_id}/instances/{instance_id}/password gaussdb:instance:resetPassword - 修改实例名称 PUT /v3/{project_id}/instances/{instance_id}/name gaussdb:instance:rename - 重启数据库实例 POST /v3/{project_id}/instances/{instance_id}/restart gaussdb:instance:restart - 分片节点主备切换 POST /v3/{project_id}/instances/{instance_id}/switch-shard gaussdb:instance:switchShard - 查询实例的组件列表 GET /v3/{project_id}/instances/{instance_id}/components gaussdb:instance:listComponents - 规格变更 PUT /v3/{project_id}/instance/{instance_id}/flavor gaussdb:instance:resizeFlavor - 查询实例主备平衡状态 GET /v3/{project_id}/instances/{instance_id}/balance gaussdb:instance:getBalanceStatus - 查询解决方案模板配置 GET /v3/{project_id}/deployment-form gaussdb:instance:listAll - 查询已绑定的EIP列表 GET /v3/{project_id}/instances/{instance_id}/public-ips?offset={offset}&limit={limit} gaussdb:instance:listPublicIps - 弱密码校验 POST /v3/{project_id}/weak-password-verification gaussdb:instance:check - 绑定/解绑弹性公网IP POST /v3/{project_id}/instances/{instance_id}/nodes/{node_id}/public-ip gaussdb:instance:bindPublicIp - 查询实例SSL证书下载地址 GET /v3/{project_id}/instances/{instance_id}/ssl-cert/download-link gaussdb:instance:downloadSslCert - 查询租户的实例配额 GET /v3/{project_id}/project-quotas?type={type} gaussdb:quota:listAll - 表3 参数配置 权限 API 对应的授权项 依赖的授权项 获取参数模板列表 GET /v3/{project_id}/configurations?offset={offset}&limit={limit} gaussdb:param:listAll - 获取指定实例的参数 GET /v3/{project_id}/instances/{instance_id}/configurations gaussdb:instance:get - 修改指定实例的参数 PUT /v3/{project_id}/instances/{instance_id}/configurations gaussdb:param:update - 创建参数模板 POST /v3/{project_id}/configurations gaussdb:param:createParam - 删除参数模板 DELETE /v3/{project_id}/configurations/{config_id} gaussdb:param:delete - 查询参数模板详情 GET /v3/{project_id}/configurations/{config_id} gaussdb:param:get - 复制参数模板 POST /v3/{project_id}/configurations/{config_id}/copy gaussdb:param:copy - 重置参数组 POST /v3/{project_id}/configurations/{config_id}/reset gaussdb:param:reset - 比较两个参数组模板之间的差异 POST /v3/{project_id}/configurations/comparison gaussdb:param:compare - 查询可应用实例列表 GET /v3/{project_id}/configurations/{config_id}/applicable-instances gaussdb:instance:listAll - 校验参数组名称是否存在 GET /v3/{project_id}/configurations/name-validation?name={name} gaussdb:param:check - 应用参数模板 PUT /v3/{project_id}/configurations/{config_id}/apply gaussdb:param:apply - 查询参数模板的应用记录 GET /v3/{project_id}/configurations/{config_id}/applied-histories gaussdb:param:listAll - 查询参数模板的修改历史 GET /v3/{project_id}/configurations/{config_id}/histories gaussdb:param:listAll - 表4 备份管理 权限 API 对应的授权项 依赖的授权项 设置自动备份策略 PUT /v3/{project_id}/instances/{instance_id}/backups/policy gaussdb:instance:updateBackupPolicy - 查询自动备份策略 GET /v3/{project_id}/instances/{instance_id}/backups/policy gaussdb:instance:getBackupPolicy - 查询备份列表 GET /v3/{project_id}/backups?instance_id={instance_id}&backup_id={backup_id}&backup_type={backup_type}&offset={offset}&limit={limit}&begin_time={begin_time}&end_time={end_time} gaussdb:backup:listAll - 创建手动备份 POST /v3/{project_id}/backups gaussdb:backup:create - 删除手动备份 DELETE /v3/{project_id}/backups/{backup_id} gaussdb:backup:delete - 查询可恢复时间段 GET /v3/{project_id}/instances/{instance_id}/restore-time?date={date} gaussdb:instance:listRecoverableTimes - 恢复到新实例 POST /v3/{project_id}/instances gaussdb:instance:createInstance - 查询可用于备份恢复的实例列表 GET /v3/{project_id}/restorable-instances gaussdb:instance:listAll - 根据时间点或者备份文件查询原实例信息 GET /v3/{project_id}/instance-snapshot?instance_id={instance_id}&backup_id={backup_id}&restore_time={restore_time} gaussdb:instance:get - 表5 引擎版本和规格 权限 API 对应的授权项 依赖的授权项 查询数据库引擎的版本 GET /v3/{project_id}/datastore/versions gaussdb:instance:listAll - 查询数据库规格 GET /v3/{project_id}/flavors?limit={limit}&offset={offset}&ha_mode={ha_mode}&version={version}&spec_code={spec_code} gaussdb:instance:listAll - 查询引擎列表 GET /v3/{project_id}/datastores gaussdb:instance:listAll - 查询实例可变更规格 GET /v3/{project_id}/instances/{instance_id}/available-flavors gaussdb:instance:listAll - 表6 管理数据库和用户 权限 API 对应的授权项 依赖的授权项 创建数据库 POST /v3/{project_id}/instances/{instance_id}/database gaussdb:instance:createDatabase - 创建数据库用户 POST /v3/{project_id}/instances/{instance_id}/db-user gaussdb:instance:createDatabaseUser - 创建数据库SCHEMA POST /v3/{project_id}/instances/{instance_id}/schema gaussdb:instance:createDatabaseSchema - 授权数据库账号 POST /v3/{project_id}/instances/{instance_id}/db-privilege gaussdb:instance:grantDatabasePrivilege - 重置数据库账号密码 PUT /v3/{project_id}/instances/{instance_id}/db-user/password gaussdb:instance:resetPassword - 查询数据库列表 GET /v3/{project_id}/instances/{instance_id}/databases gaussdb:instance:listDatabases - 查询数据库用户列表 GET /v3/{project_id}/instances/{instance_id}/db-users gaussdb:instance:listDatabaseUsers - 查询数据库SCHEMA列表 GET /v3/{project_id}/instances/{instance_id}/schemas gaussdb:instance:listSchemas - 表7 标签管理 权限 API 对应的授权项 依赖的授权项 查询实例标签 GET /v3/{project_id}/instances/{instance_id}/tags gaussdb:tag:listAll - 查询项目标签 GET /v3/{project_id}/tags gaussdb:tag:listAll - 查询预定义标签 GET /v3/{project_id}/predefined-tags gaussdb:tag:listAll - 添加实例标签 POST /v3/{project_id}/instances/{instance_id}/tags gaussdb:tag:create - 表8 磁盘管理 权限 API 对应的授权项 依赖的授权项 查询实例存储空间使用信息 GET /v3/{project_id}/instances/{instance_id}/volume-usage gaussdb:instance:getDiskUsage - 查询数据库磁盘类型 GET /v3/{project_id}/storage-type?version={version}&ha_mode={ha_mode} gaussdb:instance:listAll - 表9 配额管理 权限 API 对应的授权项 依赖的授权项 修改企业项目配额 PUT /v3/{project_id}/enterprise-projects/quotas gaussdb:quota:update - 查询企业项目配额组 GET /v3/{project_id}/enterprise-projects/quotas gaussdb:quota:listAll - 表10 任务管理 权限 API 对应的授权项 依赖的授权项 获取任务信息 GET /v3/{project_id}/jobs?id={id} gaussdb:task:get - 查询任务列表 GET /v3/{project_id}/tasks gaussdb:task:listAll - 删除任务记录 DELETE /v3/{project_id}/jobs/{job_id} gaussdb:task:delete - 表11 回收站 权限 API 对应的授权项 依赖的授权项 设置回收站策略 PUT /v3/{project_id}/recycle-policy gaussdb:instance:setRecyclePolicy - 查看回收站策略 GET /v3/{project_id}/recycle-policy gaussdb:instance:getRecyclePolicy - 查询回收站所有引擎实例列表 GET /v3/{project_id}/recycle-instances gaussdb:instance:listAll -
  • 条件(Condition) 条件(Condition)是SCP生效的特定条件,包括条件键和运算符。 条件键表示SCP语句的Condition元素中的键值。根据适用范围,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作,在鉴权过程中,云服务不需要提供用户身份信息,系统将自动获取并鉴权。详情请参见:全局条件键。 服务级条件键(前缀通常为服务缩写,如dns:)仅适用于对应服务的操作,详情请参见表4。 单值/多值表示API调用时请求中与条件关联的值数。单值条件键在API调用时的请求中最多包含一个值,多值条件键在API调用时请求可以包含多个值。例如:g:SourceVpce是单值条件键,表示仅允许通过某个VPC终端节点发起请求访问某资源,一个请求最多包含一个VPC终端节点ID值。g:TagKeys是多值条件键,表示请求中携带的所有标签的key组成的列表,当用户在调用API请求时传入标签可以传入多个值。 运算符与条件键、条件值一起构成完整的条件判断语句,当请求信息满足该条件时,SCP才能生效。支持的运算符请参见:运算符。 DNS定义了以下可以在SCP的Condition元素中使用的条件键,您可以使用这些条件键进一步细化SCP语句应用的条件。 表4 DNS支持的服务级条件键 服务级条件键 类型 单值/多值 说明 dns:RecordSetNames string 多值 根据指定的记录集名称过滤访问。记录集名称所有字母必须为小写形式,不得带有结尾圆点。 dns:RecordSetTypes string 多值 根据指定的记录集类型过滤访问。取值范围:A、AAAA、MX、CNAME、TXT、NS、SRV、CAA。
  • 条件(Condition) 条件(Condition)是SCP生效的特定条件,包括和运算符。 条件键表示SCP语句的Condition元素中的键值。根据适用范围,分为全局级条件键和服务级条件键。 全局级条件键(前缀为g:)适用于所有操作,在鉴权过程中,云服务不需要提供用户身份信息,系统将自动获取并鉴权。详情请参见:。 服务级条件键(前缀通常为服务缩写,如geminidb:)仅适用于对应服务的操作,详情请参见表4。 单值/多值表示API调用时请求中与条件关联的值数。单值条件键在API调用时的请求中最多包含一个值,多值条件键在API调用时请求可以包含多个值。例如:g:SourceVpce是单值条件键,表示仅允许通过某个VPC终端节点发起请求访问某资源,一个请求最多包含一个VPC终端节点ID值。g:TagKeys是多值条件键,表示请求中携带的所有标签的key组成的列表,当用户在调用API请求时传入标签可以传入多个值。 运算符与条件键、条件值一起构成完整的条件判断语句,当请求信息满足该条件时,SCP才能生效。支持的运算符请参见。 GeminiDB定义了以下可以在SCP的Condition元素中使用的条件键,您可以使用这些条件键进一步细化SCP语句应用的条件。 表4 GeminiDB支持的服务级条件键 服务级条件键 类型 单值/多值 说明 geminidb:BackupEnabled boolean 单值 按照请求参数中传递的是否开启备份策略标签键筛选访问权限。限定词选择“默认”。 geminidb:Encrypted boolean 单值 按照请求参数中传递的是否开启磁盘加密标签键筛选访问权限。限定词选择“默认”。
  • 自定义购买集群高级配置(可选) 表6 MRS集群高级配置 参数 参数说明 标签 具体请参考添加集群/节点标签。 弹性伸缩 请在“硬件配置”页签指定Task节点的规格,然后参考配置弹性伸缩规则配置。 引导操作 具体请参考添加引导操作。 委托 通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置存算分离集群(委托方式)。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有 CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。 指标共享 用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供华为云支持人员定位问题。 OBS权限控制 开启细粒度权限控制的用户可以通过该功能实现不同的MRS用户对OBS文件系统下的不同目录有不同的权限。具体请参见配置MRS多用户访问OBS细粒度权限。 数据盘加密 是否对集群挂载的数据盘中的数据进行加密,默认关闭。如需使用该功能,当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。 加密数据盘使用的密钥由 数据加密 服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。 通过单击“数据盘加密”开启或关闭数据盘加密功能,详情请参考云硬盘加密。 密钥ID 当“数据盘加密”功能开启时,显示该参数。用于显示已选择的密钥名称对应的密钥ID。 密钥名称 当“数据盘加密”功能开启时,需要配置该参数。选择用来加密数据盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。 使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。 单击“查看密钥列表”,进入密钥管理页面可以创建及管理密钥。 告警 开启告警功能可在集群运行异常或系统故障时,及时通知集群维护人员定位问题。 规则名称 用户自定义发送告警消息的规则名称,只能包含数字、英文字符、中划线和下划线。 主题名称 选择已创建的主题,也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 主题是发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。
  • 为什么误报处理不能使用了? 误报处理不能使用时,请先确认登录管理控制台账号是否授予了使用WAF的权限,有关WAF权限的详细介绍,请参见WAF权限管理。 如果您已开通企业项目,处理误报事件时请在“企业项目”下拉列表中选择您所在的企业项目。 基于自定义规则(CC攻击防护规则、精准访问防护规则、黑白名单规则、地理位置访问控制规则等)拦截或记录的攻击事件,无法执行“误报处理”操作,如果您确认该攻击事件为误报,可在自定义规则页面,将该攻击事件对应的防护规则删除或关闭。 防护网站接入WAF后,当WAF检测到访问请求的以下参数超过512个时,WAF将判定该访问请求为非法请求并拦截该访问请求,且误报处理按钮置灰不能使用: POST/PUT使用“form-data”时,表单的参数个数多于8192个。 URL的参数个数多于2048个。 Header个数超过512个。 图1 非法请求被WAF拦截 有关非法请求的处理建议,请参见WAF误拦截了“非法请求”访问请求,如何处理?。 父主题: 误拦截正常请求排查
  • WAF误拦截了正常访问请求,如何处理? 当WAF根据您配置的防护规则检测到符合规则的恶意攻击时,会按照规则中的防护动作(仅记录、拦截等),在“防护事件”页面中记录检测到的攻击事件。 如果您已开通企业项目,请务必在“企业项目”下拉列表中选择您所在的企业项目并确保已开通操作权限,才能处理该企业项目下的误报事件。有关企业项目的详细介绍,请参见管理项目和企业项目。 在误拦截事件所在行的“操作”列中,单击“详情”,查看事件详细信息。如果确认该防护事件为误报事件时,您可以参照表1对该事件进行误报处理。处理后,WAF将不再拦截该事件,即“防护事件”页面中将不再显示该攻击事件,您也不会收到该攻击事件的告警通知。 表1 误报处理说明 命中规则类型 命中规则 处理方式 WAF内置防护规则 Web基础防护规则 防范SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、远程命令执行、目录遍历、敏感文件访问、命令/代码注入等常规的Web攻击,以及Webshell检测、深度反逃逸检测等Web基础防护。 网站反爬虫的“特征反爬虫”规则 可防护搜索引擎、扫描器、脚本工具、其它爬虫等爬虫。 在该攻击事件所在行的“操作”列,单击“误报处理”,详细操作请参见处理误报事件。 自定义防护规则 CC攻击防护规则 精准访问防护规则 黑白名单规则 地理位置访问控制规则 网页防篡改规则 网站反爬虫的“JS脚本反爬虫”规则 防敏感信息泄露规则 隐私屏蔽规则 在拦截该攻击事件的防护规则页面,删除对应的防护规则。 其他 “非法请求”访问请求 说明: 当遇到以下情况时,WAF将判定该访问请求为非法请求并拦截该访问请求: POST/PUT使用“form-data”时,表单的参数个数多于8192个。 URL的参数个数多于2048个。 Header个数超过512个。 “误报处理”按钮置灰不能使用,请参见配置精准访问防护规则放行该访问请求。 父主题: 误拦截正常请求排查
  • 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动的NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。这样,每个新客户端可以首先尝试从缓存加载活动的Name Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。
  • 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要重新下载客户端配置,否则HDFS无法提供读写服务。 设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn,Spark访问HDFS的RPC通道。 Mapreduce访问Yarn,Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 说明: 用户可在HDFS组件的配置界面中设置该参数的值,设置后全局生效,即Hadoop中各模块的RPC通道的加密属性全部生效。 对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。 “privacy”:安全模式默认值,指数据在鉴权及加密后再传输。这种方式会降低性能。 安全模式:privacy 普通模式:authentication
共100000条