华为云用户手册

  • 集群管理页面整体优化 本次升级后,集群管理页面迎来如下调整: 集群分类 CCE品牌形象迎来了全新升级。本次升级后,CCE提供两种类型的集群分别命名为CCE Standard集群和 CCE Turbo 集群,集群分类更具标识度。请注意,CCE Standard集群并非新的集群类型,而是由原CCE集群改名而来。 集群卡片设计 集群卡片更简洁,但更实用。取消集群卡片上原有的按钮图标设计,所有入口均以中文进行标识,并折叠不常用按钮,更简单、更清晰。 集群功能分类 本次升级后,取消原集群功能导航栏中的资源、运维两大类别,新类别根据Kubernetes原生功能与CCE提供的集群设施管理功能、运维观测功能进行区分,在分类上更加具体,清晰明了。
  • 插件中心页面优化 插件中心已进行了全面优化和改进: 插件分类全面升级,帮助您根据需求快速选择插件。 插件名称和简介实现业务具象化,帮助您更加直观地了解插件的应用场景,并为您提供有效的插件使用指导。 表1 插件分类与命名 插件分类 插件名称 原名 备注 容器调度与弹性 CCE集群弹性引擎 autoscaler CCE提供 CCE容器弹性引擎 cce-hpa-controller CCE提供 CCE突发弹性引擎 (对接CCI) virtual-kubelet CCE提供 Volcano调度器 volcano CCE提供 云原生可观测性 云原生监控插件 kube-prometheus-stack CCE提供 云原生日志采集插件 log-agent CCE提供 CCE节点故障检测 npd CCE提供 CCE容器网络扩展指标 dolphin CCE提供 Kubernetes Metrics Server metrics-server 精选开源 Prometheus prometheus CCE提供 云原生异构计算 CCE AI套件 (NVIDIA GPU) gpu-device-plugin (gpu-beta) CCE提供 CCE AI套件 (Ascend NPU) huawei-npu CCE提供 容器网络 CoreDNS 域名 解析 coredns CCE提供 节点本地域名解析加速 node-local-dns 精选开源 NGINX Ingress控制器 nginx-ingress 精选开源 容器存储 CCE容器存储插件 (Everest) everest CCE提供 CCE容器存储插件 (FlexVolume) storage-driver CCE提供 容器安全 CCE密钥管理 (对接DEW) dew-provider CCE提供 容器镜像签名验证 swr-cosign CCE提供 其他 Kubernetes Dashboard dashboard 精选开源 CCE集群备份恢复 e-backup CCE提供 Kubernetes Web终端 web-terminal 精选开源 Kubernetes 资源回收 rc-recycler CCE提供 容器镜像P2P下载加速 p2paddon CCE提供
  • 云原生观测全面升级 监控、日志、告警构建全新的云原生观测能力,帮助开发者实时了解系统的运行状态,为问题的排查和诊断提供数据支撑,提供定制化的云原生观测方案,分别从基础设施层、容器和应用层构建完整的云原生观测生态,打造出一个可视化的运维观测体系。 监控中心 监控中心容器洞察、健康诊断、仪表盘等容器监控与诊断能力,可实时监控应用及资源,采集各项指标及事件等数据以分析应用健康状态,提供全面、清晰、多维度 数据可视化 能力,可实现故障快速定位,并兼容主流开源组件。 容器洞察:容器洞察功能提供容器视角的可视化视图,支持集群、节点、工作负载和 Pod 等多种维度的监控视图,支持多级下钻与关联分析。 健康诊断:集群健康诊断基于容器运维专家经验对集群健康状况进行全面检查,能够及时发现集群故障与潜在风险并给出修复建议。 仪表盘:仪表盘功能内置常见的容器监控大盘,如Kube-apiserver组件监控、CoreDNS域名解析组件监控和PVC监控等。 日志中心 CCE提供日志采集插件对接 云日志服务LTS ,您可以一站式采集Kubernetes集群的业务日志、控制面的组件日志和审计日志。 告警中心 集群内置集群告警规则最佳实践,覆盖常见的集群和应用故障场景,支持一键开启能力,在集群发生故障时能够及时发现并预警,协助您维护业务稳定性。
  • WAF计费模式概述 Web应用防火墙 云模式支持包年/包月(预付费)计费方式,独享模式支持按需计费(后付费)计费方式。如您需要快速了解WAF服务不同计费模式的具体价格,请参见WAF价格详情。 包周期(包年/包月):云模式计费模式,使用越久越便宜。包周期计费按照订单的购买周期来进行结算。 云模式的ELB接入方式需要提交工单申请开通后才能使用,支持使用的Region请参考功能总览。 购买了云模式标准版、专业版或铂金版后,才支持使用ELB接入方式,域名、QPS、规则扩展包的配额与云模式的CNAME接入方式共用,且ELB接入方式的业务规格与购买的云模式版本的对应规格一致。 按需计费:这种购买方式比较灵活,可以即开即停。 云模式按需需要提交工单申请开通后才能使用。独享模式按需在部分区域已经停售,详见独享模式停售通知。 实例从创建成功开始计费到删除实例时结束计费,按实际使用时长(精确到秒)计费。 表1 计费模式之间的区别 计费模式 包年/包月 按需计费 付费方式 预付费 后付费 计费周期 按订单的购买周期计费。 独享模式:秒级计费,按小时结算。 内容安全检测服务:一次性计费。 适用计费项 云模式:服务版本、域名扩展包、QPS扩展包、规则扩展包 内容安全检测服务:文本安全检测 独享模式:实例个数 内容安全检测服务:检测次数 适用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。对于长期使用者,推荐该方式。 适用于WAF防护需求波动的场景,可以随时开通,随时删除。 父主题: 计费模式
  • 错误码说明 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 返回错误码 描述 处理措施 SIS.0001 连接错误,如连接obs错误或者连接redis错误。 请联系技术支持工程师。 SIS.0003 token缺少用户信息或者委托已创建或者内部错误。 请联系技术支持工程师。 SIS.0100 服务内部错误。 请联系技术支持工程师。 SIS.0101 验证Token异常。 请检查请求消息头中的X-Auth-Token是否正确的填写,是否缺少字符。 token请求参数是否正确填写。 projectId在url是否准确填写。 账号是否被冻结。 账户是否欠费。 获取token时,请求中需添加scope参数,获取项目级别token,调用sis时请勿使用全局token。 SIS.0102 鉴权信息缺失。 请检查请求消息头中的X-Auth-Token是否存在。 SIS.0103 实名认证缺失。 请进行账号实名认证。 SIS.0012 请求体中字段缺失。 请检查请求参数是否缺失必须字段。 SIS.0031 请求参数不支持。 请检查请求参数是否正确。 SIS.0032 请求体中的json不正确。 请检查请求体中的json是否正确。 确保设置的audio_format格式的值是合法,待识别的音频格式和audio_format参数格式要保证一致。对于录音文件识别接口,如果不确定该参数取值,可改为auto进行调试。 使用 实时语音识别 时请确认是否分片发送音频,并在wss握手后发送start命令。 报错data url is empty,时请参考配置OBS访问权限,设置OBS权限,并检查使用的URL是否正确。 报错data base64 encode invalid,请检查语音转Base64后的字符串是否存在错误,如多空格、字符错误等。 报错xx can not be empty,表示该字段不可为空,需要赋值。例如创建热词请求时报错language can not be empty,则表示请求body体中language字段不可为空。 SIS.0022 产品不可购买。 产品暂时不开放购买,请联系技术支持工程师。 SIS.0023 产品购买失败。 产品购买失败,请联系技术支持工程师。 SIS.0024 不允许更新限制。 产品暂时不允许更新限制,请联系技术支持工程师。 SIS.0033 引擎响应超时。 请联系技术支持工程师。 SIS.0201 热词表未找到。 请检查请求参数是否异常,或联系技术支持工程师。 SIS.0203 部分热词太长或非法。 请根据错误信息,修改不合法的热词。 SIS.0204 热词表参数名已存在。 请修改热词表名称。 SIS.0205 语言不支持。 请修改热词表语言。 SIS.0206 保存热词失败。 请联系技术支持工程师。 SIS.0207 热词内容损坏。 请联系技术支持工程师。 SIS.0208 热词表数量过多。 请删除不需要的热词表,如有配置更多热词表的需求请联系客服人员。 SIS.0301 输入的audio_format参数不匹配模型。 请检查请求参数是否正确。 SIS.0302 内部服务异常。 请联系技术支持工程师。 SIS.0303 引擎连接失败。 请重试,多次出现请联系专业工程师。 SIS.0304 音频等待超时。 客户端长时间没有发送语音,服务端超过20s没有收到语音会产生该报错。 请减小数据发送间隔。 检查代码是否存在发送音频后睡眠过多时间。 检查是否发送end请求,是否关闭客户端。 SIS.0305 语音识别 异常。 请重试,或联系技术支持工程师。 SIS.0306 语音识别异常。 请重试,或联系技术支持工程师。 SIS.0307 语音识别异常。 请重试,或联系技术支持工程师。 SIS.0309 实时语音识别音频时长超过最大值。 请注意音频的时长限制,流式一句话(short-stream)和单句模式(sentence-stream)最长识别音频长度为60秒,连续模式(continue-stream)最长识别音频长度为5小时。 SIS.0312 超过最大资源并发限制。 如果应用程序发送请求频率过高,请降低请求频率,或联系技术支持工程师。 SIS.0401 语音合成 异常。 请重试,或联系技术支持工程师。 SIS.0402 语音合成输入的sample_rate参数非法。 请检查语音合成sample_rate采样率与property音色取值范围支持的采样率是否匹配。 SIS.0410 语音合成输入的audio_format参数非法。 请检查请求参数是否正确。 SIS.0411 语音合成输入的property参数非法。 请检查请求参数是否正确。 SIS.0412 连接语音合成引擎超时。 请重试,或联系技术支持工程师。 SIS.0413 语音合成内部错误。 请重试,或联系技术支持工程师。 SIS.0414 语音合成等待语音合成超时。 请重试,或联系技术支持工程师。 SIS.0415 语音合成请求体参数错误。 请检查请求体是否准确。 SIS.0416 等待用户发送合成文本超时。 请重新发送需要合成的文本内容。 SIS.0417 TTS 引擎错误。 请重试,或联系技术支持工程师 SIS.0418 当前链接已有合成任务。 请勿重复发送开始合成命令。 SIS.0419 非法ssml。 输入文本内容包含非法字符。 SIS.0504 录音文件识别极速版待识别音频无效。 请检查音频文件大小是否满足要求。 SIS.0506 找不到代理错误。 请检查网络是否有设置代理。 请在控制台检查OBS是否已授权。 SIS.0507 录音文件识别极速版输入参数无效。 请检查obs_bucket_name和obs_object_key参数是否为空。 SIS.0511 录音文件识别极速版待识别音频无效。 请检查音频时长是否满足要求。 SIS.0512 录音文件识别极速版输入参数无效。 请检查obs_bucket_name和obs_object_key对应的桶名和文件名是否存在。 SIS.0513 录音文件识别极速版输入参数无效。 请检查obs_object_key参数是否非法。 SIS.0533 录音文件识别请求参数错误。 请检查请求参数是否正确。 SIS.0534 录音文件识请求体错误。 请检查请求体是否正确。 data url is unreachable报错,请配置OBS访问权限。 data syntax error!报错请检查数据格式或编码格式是否符合要求。 asr data url param is invalid报错,请使用存放在OBS的音频文件路径,并确保OBS的region要和请求服务的region保持一致。 SIS.0535 录音文件识请求的文件类型不支持。 确保设置的audio_format格式的值是合法。录音文件识别支持的音频格式如表7所示。 确保待识别音频的格式和接口参数中设置的audio_format参数格式一致。 SIS.0536 录音文件识任务提交数量达到限制。 请稍后重试。 SIS.0537 录音文件太大。 请尝试减少文件大小,比如分割为多个。 SIS.0538 录音文件识任务超时。 请重试。 SIS.0601 短语音识别或语音合成输入参数不合法。 请检查请求参数是否正确和完整。 SIS.0602 短语音识别语音格式不支持。 请检查提交的语音编码格式是否在支持的范围内。 SIS.0604 短语音识别文件大小不符合要求或语音合成字数超过上限。 请尝试减小语音文件的大小或减少请求合成字数,注意使用OBS链接提交时,经过Base64编码之后文件大小会增加。 SIS.0605 短语音识别或语音合成出现内部错误。 请重试,或联系技术支持工程师。 SIS.0608 URL非法。 请检查URL,注意必须使用对应Region的OBS链接。 SIS.0609 从指定URL下载音频文件失败。 请检查OBS是否为公共读状态,或开通了委托授权。 SIS.0701 输入的音频/视频/试题文本大小超过限制。 请参考错误信息和API资料,减少音频/视频/试题文本大小。 SIS.0702 输入参数不合法。 例如,评测语言/评测模式不支持;音频/视频格式不支持;试题文本无效等情况。 请参考错误信息和API资料,更换正确的输入参数。 SIS.30003 下载OBS上的音频失败。 请检查OBS上音频是否可访问。权限配置方法请参见配置OBS访问权限。 SIS.30004 下载热词文件失败。 请检查热词是否存在。 SIS.30006 音频解码失败。 请检查音频格式是否正常,音频是否是空文件。 SIS.30007 转写引擎加载热词失败。 请检查热词是否存在。 SIS.30008 转写引擎转写失败。 请检查参数或联系技术支持工程师。 SIS.0541 录音文件识别 property 和 format 参数不匹配。 请检查Property 和 format 格式是否正常。
  • 响应信息 表1 响应参数 名称 参数类型 说明 resp_type String 响应类型。参数值为RESULT。 trace_id String 服务内部的令牌,可用于在日志中追溯具体流程。 result List 时间戳信息 表2 result数据结构 名称 参数类型 说明 start_time Integer 文本对应的合成音频的开始时间戳,单位是ms。 end_time Integer 文本对应的合成音频的结束时间戳,单位是ms。 text String 文本信息。 word_index Integer 文本在整句中的位置,从0开始计数。 phonemes List 音素时间戳信息,当subtitle取值为phoneme_level时,返回该信息。 表3 phonemes数据结构 名称 参数类型 说明 phoneme String 音素文本信息。 start_time Integer 音素对应的合成音频的开始时间戳,单位是ms。 end_time Integer 音素对应的合成音频的结束时间戳,单位是ms。 phoneme_index Integer 音素位置信息,从0开始。
  • 备份数据恢复 前提条件 已准备好备份数据。 完成config.py脚本中的配置项赋值。 config.py示例如下: # IAM 鉴权参数 iamDomain = "" iamUser = "" iamPassword = "" # 项目参数 projectName = "" projectId = "" # 服务器参数 # CentOS 7.9 64bit imageRef = "" volumeType = "SSD" flavorRef = "s7n.small.1" vpcId = "" subnetId = "" enterpriseProjectId = 0 securityGroups = [ "" ] keyName = "" # 备份数据参数 backupIds = ["", "", "", "" ] # 备份数据回退参数 serverIds = ["", ""] deletePublicip = False deleteVolume = True # 监控任务参数 delayInSeconds = 10
  • 回滚参数 参数说明 表5 回滚参数说明 参数 是否必选 参数类型 描述 serverIds 是 List 云服务器ID列表。 备份数据恢复完成后获取。 deletePublicip 否 Boolean 配置删除云服务器是否删除云服务器绑定的弹性公网IP。 默认:False deleteVolume 否 Boolean 配置删除云服务器是否删除云服务器对应的数据盘。 默认:True 参数获取 执行备份数据恢复脚本后,待数据恢复完成,通过返回的日志中的serverId获取云服务器ID列表。
  • 方案使用到的接口 URL 所属服务 用途 API文档 POST /v3/auth/tokens IAM 认证鉴权 认证鉴权 GET /v3/{project_id}/backups/{backup_id} CBR 查询备份详情 查询指定备份 POST /v1/{project_id}/cloudservers E CS 创建ECS 创建云服务器 GET /v1/{project_id}/jobs/{job_id} ECS 查询ECS是否创建完成 查询任务的执行状态 GET /v1/{project_id}/cloudservers/{server_id} ECS 查询ECS详情,获取创建好的虚拟机的挂载的磁盘信息 查询服务器详情 POST /v3/{project_id}/backups/{backup_id}/restore CBR 使用备份恢复数据 备份恢复
  • 周期性演练(可选) 根据数据安全法,需要对数据容灾备份定期开展数据恢复测试。恢复是指利用备份软件把所备份的数据内容恢复到数据源。由于业务系统日常运行过程中,经常无法直接在所备份的服务器进行真实环境恢复操作。但为了验证备份数据的可用性以及备份方案完整性、可靠性以及应对未来系统突发事件发生,可以通过备份新建资源的方式来对备份介质以及备份方案进行检验,来确保备份的可恢复验证。 通过数据备份可开展定期恢复演练,具体步骤可参见云服务器备份演练。
  • 应用场景 勒索病毒,也称为勒索软件,是一种特殊的恶意软件,与其他病毒最大的不同在于攻击手段伴随着有组织的网络威胁攻击和加密数据后勒索赎金。 勒索病毒已成为全球主要网络威胁,严重影响着数字经济的发展,而面对勒索病毒的侵害,大多数企业并没有全面和有效的方法予以应对。不得不通过支付高额的赎金来请求黑客对加密的数据进行解锁。而在企业遭受到攻击的同时,会造成企业的重要数据丢失、企业停工停产、合同违约、商誉减值、企业管理者离职以及众多不可预计的后果。 华为云备份防勒索解决方案与主机安全服务HSS结合,为客户提供有效云上防勒索解决方案,满足客户对数据安全保护的需求。
  • 方案架构 云备份所提供的防勒索解决方案服务,从业务实际出发,以客户数据安全要求为导向,帮助客户搭建一个安全可靠的备份防勒索系统,满足客户对于勒索病毒防护的需求,保护数据资产,尽可能减小损失。通过存储库天然具备的访问隔离属性、WORM等特性,实现当云服务器发生勒索攻击时,能提供至少一份干净可用、不被篡改的数据用于安全恢复,提升数据安全的韧性能力,满足客户对于勒索病毒防护的需求。 图1 基于HSS+CBR的云上备份防勒索解决方案
  • 资源与成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 云服务器备份存储库 存储库容量大于等于所需要备份云服务器资源的容量总和 1 具体的计费方式及标准请参考计费说明。 SFS Turbo备份存储库 存储库容量大于等于所需要备份SFS Turbo资源的容量 1 弹性云服务器 与待演练服务器的配置相同 1 SFS Turbo文件系统 与待演练的SFS Turbo文件系统大小相同 1 RDS数据库实例 与待演练的RDS数据库配置相同 1
  • 演练原则 参考灾备策略里的演练频率,有计划、周期性地对备份数据进行恢复演练。 以备份资源为单位在该资源的所有备份内抽样随机进行,不必每个备份都进行,但要保证在一定期限内每种资源的每类备份至少有一次备份被恢复验证过。 为防止干扰实际业务,恢复演练以使用备份创建新资源实例进行,禁止直接恢复源实例。 下发备份恢复任务后,恢复任务成功,备份能够正常恢复资源,且恢复的数据与原来一致,正确性与预期匹配,则视为恢复成功。 下发备份恢复任务后,如果恢复任务失败,或者恢复任务成功,但数据存在丢失、无法读取的情况,则视为恢复失败,请及时联系华为云工程师进行定位处理。 操作员应详细记录演练的周期、过程及结果。
  • 保护Failover Cluster模式下的SQL Server 当前云服务器备份只支持单个虚拟机的一致性备份,对于集群数据库暂不支持,完整支持将在后续版本中推出。 在Failover Cluster模式下,SQL Server服务只在主节点上是启动的,故在创建云服务器备份时,只需要将主节点加入策略进行备份。在主备发生切换后,及时调整策略,确保始终对主节点进行备份。在恢复时,请先停止所有备节点,然后还原主节点。
  • 保护Always on Availability Groups模式下的SQL Server 当前云服务器备份只支持单个虚拟机的一致性备份,对于集群数据库暂不支持,完整支持将在后续版本中推出。 在Always On模式下,SQL Server服务在主备节点上都是启动的,数据由主复制到备,主上拥有全部的数据。故在创建云服务器备份时,只需要将主节点加入策略进行备份。在主备发生切换后,及时调整策略,确保始终对主节点进行备份。 由于SQL Server自身的机制,在恢复主时,可能会触发同步,使备节点上的数据也被覆盖,导致备份时刻之后新产生的数据丢失,所以建议只有在主备节点均不可用时才进行整机恢复,防止非预期的数据丢失。
  • 验证数据库备份结果 (Windows) 下面以SQL_SERVER数据库为例进行验证。 登录SQL_SERVER数据库,创建新的数据库。 创建数据库成功后,创建存储过程,可以参考图2。 图2 创建存储过程 进入云备份控制台,对目标弹性云服务器创建数据库备份,并勾选数据库备份。 待备份完成后,进入Cloud Server Backup Agent-WIN64\log\ rdagent.txt文件,查看冻结、解冻日志,确定冻结解冻时间。如图中所示的17:28:51。 图3 查看日志 使用新创建的数据库备份恢复目标弹性云服务器。恢复成功后,登录云服务器和数据库,查看表中最后一条插入数据对应的时间(17:28:49)的记录。 对比步骤5日志显示的VSS冻结成功时间和步骤4的时间。冻结成功之前会停止插入数据,所以步骤5的时间比步骤4早。若步骤5的时间比步骤4早,则表示应用一致性备份成功。
  • 验证数据库备份结果 (Linux) 下面以MY SQL数据库为例进行验证。 登录MY SQL数据库,创建新的数据库。 创建数据库成功后,创建存储过程,可以参考图1。 图1 创建存储过程 进入云服务器备份控制台,对目标弹性云服务器创建数据库备份,并勾选数据库备份。 待备份完成后,进入/home/rdadmin/Agent/log/thirdparty.log,查看冻结、解冻日志,确定冻结解冻时间。 使用新创建的数据库备份恢复目标弹性云服务器。恢复成功后,登录云服务器和数据库,查看表中最后一条插入数据对应的时间。 对比步骤5日志显示的VSS冻结成功时间和步骤4的时间。冻结成功之前会停止插入数据,所以步骤5的时间比步骤4早。若步骤5的时间比步骤4早,则表示应用一致性备份成功。
  • 自定义脚本问题定位方法 如果自定义脚本存在缺陷,可能导致数据库备份失败,此时可以打开/home/rdadmin/Agent/log/thirdparty.log,查看日志进行定位。 图1为一个冻结MySQL数据库失败时的日志样例 图1 日志示例 第一列 18-09-13--22:30:10 为日志记录时间 第二列 [30243] 为脚本的PID编号 第三列 [root] 为脚本的执行用户 第四列 [INFO] 或 [ERROR] 为日志级别 一般脚本调用失败时,打开日志文件,找到相应时间点的ERROR即可初步确定问题原因。例如图1中的错误就是因为MySQL已经处于冻结状态,再次冻结,就会出错。 父主题: 通过自定义脚本实现数据库备份
  • 场景介绍 在Linux下,如果有其它应用需要一致性备份,可以编写自己的冻结、解冻脚本,来实现应用的保护。自定义脚本需放置在/home/rdadmin/Agent/bin/thirdparty/ebk_user目录中,供Agent在备份过程中调用。 下面以一个虚构的应用appexample为例,来进行说明。 appexample是一款新的数据库,它对外提供了appexample -freeze与appexample -unfreeze两个命令来实现冻结与解冻。 用户需要开发自己的appexample_freeze.sh与appexample_unfreeze.sh脚本,供备份Agent调用以实现一致性备份。在备份过程中,会先调用appexample_freeze.sh脚本来冻结IO,冻结成功后,会进行磁盘的一致性快照激活,保证备份的数据是一致性的,最后再调用appexample_unfreeze.sh脚本解冻IO。 整体流程如图1所示: 图1 数据库备份流程图
  • 详细步骤 加密HANA用户密码,供自定义脚本使用 登录HANA服务器,输入cd /home/rdadmin/Agent/bin/ ,进入Agent目录。 执行/home/rdadmin/Agent/bin/agentcli encpwd,回显如下: Enter password: 输入HANA用户的密码,并按“Enter”,屏幕上就会打印出加密后的密码,将其复制到剪贴板中。 冻结解冻脚本中配置的明文密码长度不超过16位,否则配置后密码会被截断,应用一致性备份会失败。 执行cd /home/rdadmin/Agent/bin/thirdparty/ebk_user ,进入自定义脚本目录,执行vi hana_freeze.sh ,打开HANA示例冻结脚本。 将下图所示的HANA_USER HANA_PASSWORD INSTANCE_NUMBER DB_SID修改为实际值,其中HANA_PASSWORD 为步骤1的屏幕输出。 也可以使用sed命令来直接进行修改: sed -i 's/^HANA_USER=.*/HANA_USER="XXX"/' hana_freeze.sh hana_unfreeze.sh ,其中XXX为数据库用户名。 sed -i 's/^HANA_PASSWORD=.*/HANA_PASSWORD="XXX"/' hana_freeze.sh hana_unfreeze.sh ,其中XXX为步骤1中打印出的密码。 sed -i 's/^INSTANCE_NUMBER=.*/INSTANCE_NUMBER="XXX"/' hana_freeze.sh hana_unfreeze.sh ,其中XXX为数据库实例编号。 sed -i 's/^DB_SID=.*/DB_SID="XXX"/' hana_freeze.sh hana_unfreeze.sh ,其中XXX为数据库SID。 此操作会同时修改冻结解冻脚本,所以无需再执行步骤3。 执行vi hana_unfreeze.sh ,打开HANA示例解冻脚本,修改此脚本中的用户名、密码、实例编号与SID hana_freeze.sh与hana_unfreeze.sh脚本实现了基本的数据库冻结与解冻操作,如果你在冻结、解冻时有其它额外步骤需要执行,可以自行在其中进行修改。详细说明请参见 通过自定义脚本实现其它Linux应用的一致性备份 冻结SAP HANA数据库时,按照SAP官方建议,需要冻结Data卷的XFS文件系统,否则可能出现数据不一致的问题。在此示例脚本中,将会查询出HANA使用的Data卷挂载点,并用xfs_freeze 命令进行冻结。 如果HANA系统未按照SAP官方建议使用一个独立分区来存放Data卷数据,而是与系统卷共用一个分区,则请修改hana_freeze.sh脚本,注释掉xfs_freeze相关行,防止整个系统都被冻结,但此时可能出现备份数据不一致的问题。
  • 详细步骤 加密MySQL密码,供自定义脚本使用 登录MySQL服务器,输入cd /home/rdadmin/Agent/bin/ ,进入Agent目录。 执行/home/rdadmin/Agent/bin/agentcli encpwd,回显如下: Enter password: 输入MySQL密码,并按“Enter”,屏幕上就会打印出加密后的密码,将其复制到剪贴板中。 冻结解冻脚本中配置的明文密码长度不超过16位,否则配置后密码会被截断,应用一致性备份会失败。 执行cd /home/rdadmin/Agent/bin/thirdparty/ebk_user ,进入自定义脚本目录,然后执行vi mysql_freeze.sh,打开MySQL示例冻结脚本。 将下图所示的MYSQL_USER与MYSQL_PASSWORD修改为实际值,其中MYSQL_PASSWORD为步骤1的屏幕输出。 也可以使用sed命令来直接进行修改: sed -i 's/^MYSQL_PASSWORD=.*/MYSQL_PASSWORD="XXX"/' mysql_freeze.sh mysql_unfreeze.sh ,其中XXX为步骤1中打印出的密码。 此操作会同时修改冻结解冻脚本,所以无需再执行步骤3。 执行vi mysql_unfreeze.sh,打开MySQL示例解冻脚本,修改此脚本中的用户名和密码。 mysql_unfreeze.sh与mysql_freeze.sh脚本实现了基本的数据库冻结与解冻操作,如果你在冻结、解冻时有其它额外步骤需要执行,可以自行在其中进行修改。详细说明请参见 通过自定义脚本实现其它Linux应用的一致性备份。 MySQL的冻结是通过FLUSH TABLES WITH READ LOCK指令来实现的,此指令不会触发bin log刷盘操作,如果开启了bin log,且sync_binlog参数不为1,则可能出现保存的备份映像中部分SQL操作未记录到bin log的情况,如果bin log也需要完整保护,请设置sync_binlog=1。
  • 通用测试配置样例 以下提供的预估值为单台弹性 云服务器ECS 测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。 本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge.4 | 4vCPUs | 16GB 镜像:CentOS 7.564bit fio命令: fio --randrepeat=1 --ioengine=libaio --name=test -output=output.log --direct=1 --filename=/mnt/nfs/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=rw --rwmixwrite=30 --fallocate=none 其中,“/mnt/nfs/test_fio”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/nfs”目录下的“test_fio”文件,请根据实际填写。 fio结果: fio命令: fio --randrepeat=1 --ioengine=libaio --name=test -output=output.log --direct=1 --filename=/mnt/nfs/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=rw --rwmixwrite=70 --fallocate=none 其中,“/mnt/nfs/test_fio”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/nfs”目录下的“test_fio”文件,请根据实际填写。 fio结果: 顺序读IOPS fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=read --bs=4k --size=1G --iodepth=128 --runtime=120 --numjobs=10 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 随机读IOPS fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=randread --bs=4k --size=1G --iodepth=128 --runtime=120 --numjobs=10 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 顺序写IOPS fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=write --bs=4k --size=1G --iodepth=128 --runtime=120 --numjobs=10 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 随机写IOPS fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=randwrite --bs=4k --size=1G --iodepth=128 --runtime=120 --numjobs=10 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 顺序读带宽 fio命令: fio --randrepeat=1 --ioengine=libaio --name=test -output=output.log --direct=1 --filename=/mnt/sfs-turbo/test_fio --bs=1M --iodepth=128 --size=10240M --readwrite=read --fallocate=none 其中,“/mnt/sfs-turbo/test_fio”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfs-turbo”目录下的“test_fio”文件,请根据实际填写。 fio结果: 随机读带宽 fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=randread --bs=1M --size=10G --iodepth=128 --runtime=120 --numjobs=1 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 顺序写带宽 fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=write --bs=1M --size=10G --iodepth=128 --runtime=120 --numjobs=1 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果: 随机写带宽 fio命令: fio --ioengine=libaio --direct=1 --fallocate=none --time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=randwrite --bs=1M --size=10G --iodepth=128 --runtime=120 --numjobs=1 其中,“/mnt/sfs-turbo/”为待测试的目标文件的挂载路径,需具体到文件名,请根据实际填写。 fio结果:
  • 文件系统性能数据 SFS Turbo文件系统的性能主要有IOPS和吞吐量等指标,具体各指标数据参见表1。 表1 性能数据表 参数 HPC型 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大容量 1PB 1PB 1PB 1PB 1PB 1PB 最大IOPS 25万 25万 100万 100万 400万 400万 最大吞吐量 8GB/s 8GB/s 20GB/s 20GB/s 80GB/s 80GB/s IOPS性能计算公式 IOPS=min(250000,600×容量) 其中,容量单位为TB IOPS=min(250000,1200×容量) 其中,容量单位为TB IOPS=min(1000000,6000×容量) 其中,容量单位为TB IOPS=min(1000000,12500×容量) 其中,容量单位为TB IOPS=min(4000000,25000×容量) 其中,容量单位为TB IOPS=min(4000000,50000×容量) 其中,容量单位为TB
  • 约束与限制 表1 SFS Turbo文件系统限制 限制项 标准型、标准型-增强版、性能型、性能型-增强版 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB HPC缓存型 支持访问方式 VPN/专线/云连接 VPN/专线/云连接 VPN/专线/云连接 最大带宽 标准型:150MB/s 标准型-增强版:1GB/s 性能型:350MB/s 性能型-增强版:2GB/s 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 20MB/s/TiB、40MB/s/TiB:8GB/s(如需提高吞吐能力,请提交工单申请,最高可达20 GBps) 125MB/s/TiB、250MB/s/TiB:20GB/s(如需提高吞吐能力,请提交工单申请,最高可达100 GBps) 500MB/s/TiB、1000MB/s/TiB:80GB/s(如需提高吞吐能力,请提交工单申请,最高可达200 GBps) 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 48GB/s 说明: 读写速率受挂载客户端的数量影响,详情请参见常见问题如何发挥SFS Turbo文件系统的最大性能?。 最大IOPS 标准型:5K 标准型-增强版:15K 性能型:20K 性能型-增强版:100K 20MB/s/TiB、40MB/s/TiB:25万 125MB/s/TiB、250MB/s/TiB:100万 500MB/s/TiB、1000MB/s/TiB:400万(如需提高IOPS,请提交工单申请,最高可达1000万) 2000K 最低时延 1~2ms 1~2ms 亚毫秒 单文件系统最大容量 320TB 1PB 1PB 支持协议 仅支持NFSv3 仅支持NFSv3 仅支持NFSv3 单文件系统最大挂载客户端数量 500 3000 3000 单文件系统可添加VPC数量 20 20 20 单文件大小 最大16TB 最大320TB 最大320TB 单文件系统最大文件或子目录数 10亿 说明: 单文件系统下文件或子目录数=总容量(KB)/16,上限为10亿,即得出数量大于10亿时,数量按10亿算。 20亿 说明: 单文件系统下文件或子目录数=总容量(GB) * 25000,上限为20亿,即得出数量大于20亿时,数量按20亿算。 20亿 说明: 单文件系统下文件或子目录数=总容量(GB) * 25000,上限为20亿,即得出数量大于20亿时,数量按20亿算。 单目录下最大文件或子目录数 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 2000万 说明: 如果用户需要对整个目录进行ls、du、cp、chmod、chown等操作,建议单层目录下不要放置超过50万的文件或子目录,否则可能由于NFS协议需要向服务端发送大量遍历请求而产生排队,导致请求耗时非常长。 目录最大深度(单位:层) 100 100 100 最大路径长度(单位:Byte) 1024 4096 4096 最大软链接长度(单位:Byte) 1024 1024 1024 最大硬链接长度(单位:Byte) 255 255 255 文件系统数量配额 默认32个,可提交工单申请扩大配额 默认32个,可提交工单申请扩大配额 默认32个,可提交工单申请扩大配额 备份 支持 支持 不支持 备份原地恢复 不支持 说明: SFS Turbo为单AZ部署,目前还不具备AZ级以上故障恢复能力。 不支持 不支持 文件语义锁Flock 不支持 不支持 不支持 跨区域域名挂载 不支持 说明: 使用域名(DNS)挂载文件系统时,不支持跨区域(Region)挂载。如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更新操作,cache的失效时间通常为3~30s之间。 标签限制 单个文件系统最多允许添加10个标签。 当一个文件系统添加了多个标签,标签键不允许重复。
  • 文件系统类型 以下表格介绍了各种规格的SFS Turbo文件系统的特点、优势及应用场景。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 最高IOPS 25万 25万 100万 100万 400万 如需提高IOPS,请提交工单申请,最高可达1000万 400万 如需提高IOPS,请提交工单申请,最高可达1000万 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 1~3ms 容量 3.6TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 优势 大容量、低成本 大容量、低成本 低时延、高性价比 低时延、高性价比 高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表2 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS 5K 15K 20K 100K 2000k 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 读时延:亚毫秒级 容量 500GB~32TB 10TB~320TB 500GB~32TB 10TB~320TB 起步容量(GB)=带宽大小*2 最大容量1PB 优势 大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读写总和。比如最高IOPS=IOPS读+IOPS写。 扩容时,SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版扩容步长为100GB,规格为20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB的文件系统扩容步长为1.2TB。
  • 应用场景 SFS Turbo为用户提供一个完全托管的共享文件存储,能够弹性伸缩至PB级规模,最高可提供亚毫秒级低时延、百万级IOPS、百GB带宽。具备高可用性和持久性,为海量的小文件、低延迟高IOPS型应用提供有力支持。 适用于多种应用场景,包括AI训练、AIGC、自动驾驶、渲染、EDA仿真、企业NAS应用等。 SFS Turbo为用户提供更为丰富的文件系统规格选择,助力更多不同场景下的业务成功上云。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 20GB/s 如需提高吞吐能力,请提交工单申请,最高可达100 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 80GB/s 如需提高吞吐能力,请提交工单申请,最高可达200 GBps 最高IOPS 25万 25万 100万 100万 400万 如需提高IOPS,请提交工单申请,最高可达1000万 400万 如需提高IOPS,请提交工单申请,最高可达1000万 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 1~3ms 容量 3.6TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 1.2TB~1PB 优势 大容量、低成本 大容量、低成本 低时延、高性价比 低时延、高性价比 高IOPS、性能高密 高IOPS、性能高密 典型应用场景 日志存储、文件共享、内容管理、网站 日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表2 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS 5K 15K 20K 100K 2000k 平均单路4K延迟 2~5ms 2~5ms 1~3ms 1~3ms 1~3ms 读时延:亚毫秒级 容量 500GB~32TB 10TB~320TB 500GB~32TB 10TB~320TB 起步容量(GB)=带宽大小*2 最大容量1PB 优势 大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读写总和。比如最高IOPS=IOPS读+IOPS写。 扩容时,SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版扩容步长为100GB,规格为20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB的文件系统扩容步长为1.2TB。
  • 如何访问高性能弹性文件服务 基于HTTPS请求的API(Application programming interface)管理方式或管理控制台方式均可访问高性能弹性文件服务。 API方式 如果用户需要将云服务平台上的高性能弹性文件服务集成到第三方系统,用于二次开发,请使用API方式访问高性能弹性文件服务,具体操作请参见《高性能弹性文件服务API参考》。 管理控制台方式 非API方式,请使用管理控制台方式访问高性能弹性文件服务。
  • 高性能弹性文件服务简介 高性能弹性文件服务(Scalable File Service Turbo,SFS Turbo)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS)、容器(CCE&CCI)、裸金属服务器(BMS)提供共享访问。如图1所示。 图1 访问高性能弹性文件服务 与传统的文件共享存储相比,高性能弹性文件服务具有以下优势: 文件共享 同一区域跨多个可用区的云服务器可以访问同一文件系统,实现多台云服务器共同访问和分享文件。 弹性扩展 高性能弹性文件服务可以根据您的使用需求,在不中断应用的情况下,增加文件系统的容量。一键式操作,轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 高性能弹性文件服务同时支持NFS和SMB协议。通过标准协议访问数据,无缝适配主流应用程序进行数据读写。同时兼容SMB2.0/2.1/3.0版本,Windows客户端可轻松访问共享空间。 操作简单、低成本 操作界面简单易用,您可轻松快捷地创建和管理文件系统。
  • 相关操作 添加指标卡:配置后,如需将指标信息保存为卡片,可单击表格右上角“添加指标卡”,并在弹出的对话框中,设置指标卡名称后,单击“保存”。 下载日志:配置后,如需导出当前查询分析数据,可单击表格右上角“下载日志”,系统将下载当前查询分析日志数据至本地。 收起配置:图表配置完成后,在“预览图表”右侧单击“收起配置”,页面将不显示图表配置参数。 展开配置:图标配置收起后,如需再次配置,可在“预览图表”右侧单击“展开配置”。
共100000条