华为云用户手册

  • 二进制格式 如果想要在文件系统间按原样复制文件,则可以选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM 的文件传输,支持单文件,也支持一次传输目录下所有的文件。传输到目的端后,目录结构会保持原样。 增量迁移文件 使用CDM进行二进制传输文件时,目的端有一个参数“重复文件处理方式”,可以用作文件的增量迁移,具体请参见文件增量迁移。 增量迁移文件的时候,选择“重复文件处理方式”为“跳过重复文件”,这样如果源端有新增的文件,或者是迁移过程中出现了失败,只需要再次运行任务,已经迁移过的文件就不会再次迁移。 写入到临时文件 二进制迁移文件时候,可以在目的端指定是否写入到临时文件。如果指定了该参数,在文件复制过程中,会将文件先写入到一个临时文件中,迁移成功后,再进行rename或move操作,在目的端恢复文件。 生成文件MD5值 对每个传输的文件都生成一个MD5值,并将该值记录在一个新文件中,新文件以“.md5”作为后缀,并且可以指定MD5值生成的目录。
  • 文件格式的公共参数 启动作业标识文件 这个主要用于自动化场景中,CDM配置了定时任务,周期去读取源端文件,但此时源端的文件正在生成中,CDM此时读取会造成重复写入或者是读取失败。所以,可以在源端作业参数中指定启动作业标识文件为“ok.txt”,在源端生成文件成功后,再在文件目录下生成“ok.txt”,这样CDM就能读取到完整的文件。 另外,可以设置超时时间,在超时时间内,CDM会周期去查询标识文件是否存在,超时后标识文件还不存在的话,则作业任务失败。 启动作业标识文件本身不会被迁移。 作业成功标识文件 文件系统为目的端的时候,当任务成功时,在目的端的目录下,生成一个空的文件,标识文件名由用户来指定。一般和“启动作业标识文件”搭配使用。 这里需要注意的是,不要和传输的文件混淆,例如传输文件为“finish.txt”,但如果作业成功标识文件也设置为“finish.txt”,这样会造成这两个文件相互覆盖。 过滤器 使用CDM迁移文件的时候,可以使用过滤器来过滤文件。支持通过通配符或时间过滤器来过滤文件。 选择通配符时,CDM只迁移满足过滤条件的目录或文件。 选择时间过滤器时,只有文件的修改时间晚于输入的时间才会被传输。 例如用户的“/table/”目录下存储了很多数据表的目录,并且按天进行了划分DRIVING_BEHAVIOR_20180101~DRIVING_BEHAVIOR_20180630,保存了DRIVING_BEHAVIOR从1月到6月的所有数据。如果只想迁移DRIVING_BEHAVIOR的3月份的表数据,那么需要在作业第一步指定源目录为“/table”,过滤类型选择“通配符”,然后指定“路径过滤器”为“DRIVING_BEHAVIOR_201803*”。
  • JSON格式 这里主要介绍JSON文件格式的以下内容: CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 } 行分隔的JSON对象 {"took" : 188, "timed_out" : false, "total" : 1000003, "max_score" : 1.0 } {"took" : 189, "timed_out" : false, "total" : 1000004, "max_score" : 1.0 } 串连的JSON对象 { "took": 190, "timed_out": false, "total": 1000001, "max_score": 1.0 } { "took": 191, "timed_out": false, "total": 1000002, "max_score": 1.0 } JSON数组:JSON文件是包含多个JSON对象的数组。 [{ "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }, { "took" : 191, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }] 记录节点 记录数据的根节点。该节点对应的数据为JSON数组,CDM会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分隔。 从JSON文件复制数据 示例一 从行分隔/串连的多个对象中提取数据。JSON文件包含了多个JSON对象,例如: { "took": 190, "timed_out": false, "total": 1000001, "max_score": 1.0 } { "took": 191, "timed_out": false, "total": 1000002, "max_score": 1.0 } { "took": 192, "timed_out": false, "total": 1000003, "max_score": 1.0 } 如果您想要从该JSON对象中提取数据,使用以下格式写入到数据库,只需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON对象”,然后在作业第二步进行字段匹配即可。 表2 示例 took timedOut total maxScore 190 false 1000001 1.0 191 false 1000002 1.0 192 false 1000003 1.0 示例二 从记录节点中提取数据。JSON文件包含了单个的JSON对象,但是其中有效的数据在一个数据节点下,例如: { "took": 190, "timed_out": false, "hits": { "total": 1000001, "max_score": 1.0, "hits": [{ "_id": "650612", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }, { "_id": "650616", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }, { "_id": "650618", "_source": { "name": "tom", "books": ["book1","book2","book3"] } }] } } 如果想以如下格式写入到数据库,则需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步进行字段匹配。 表3 示例 ID SourceName SourceBooks 650612 tom ["book1","book2","book3"] 650616 tom ["book1","book2","book3"] 650618 tom ["book1","book2","book3"] 示例三 从JSON数组中提取数据。JSON文件是包含了多个JSON对象的JSON数组,例如: [{ "took" : 190, "timed_out" : false, "total" : 1000001, "max_score" : 1.0 }, { "took" : 191, "timed_out" : false, "total" : 1000002, "max_score" : 1.0 }] 如果想以如下格式写入到数据库,需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON数组”,然后在作业第二步进行字段匹配。 表4 示例 took timedOut total maxScore 190 false 1000001 1.0 191 false 1000002 1.0 示例四 在解析JSON文件的时候搭配转换器。在示例二前提下,想要把hits.max_score字段附加到所有记录中,即以如下格式写入到数据库中: 表5 示例 ID SourceName SourceBooks MaxScore 650612 tom ["book1","book2","book3"] 1.0 650616 tom ["book1","book2","book3"] 1.0 650618 tom ["book1","book2","book3"] 1.0 则需要在作业第一步指定文件格式为“JSON格式”,指定JSON类型为“JSON对象”,并且指定记录节点为“hits.hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器
  • 约束限制 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、 MRS Hudi及 DLI 做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移 CS V文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到 数据仓库 服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型,请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。
  • 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法:#{expr},其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。
  • 示例4:按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签,如果键不同,则标签按“与”的关系搜索。 如果键相同,值不同,则标签按“与”的关系搜索。 单个标签搜索 在公网 域名 列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索公网域名 多个标签搜索 重复操作1~2,选择多个标签键值对,按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索公网域名
  • 搜索语法 公网域名支持多种类型的搜索,首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型:精确搜索、模糊搜索。 搜索属性:域名、ID、状态、标签、企业项目。 支持精确搜索的属性:域名、ID、状态、标签、企业项目,精确搜索时必须输入完整的属性值。 支持模糊搜索的属性:域名。 按标签过滤时可选择键或键值对搜索,支持设置多个标签: 如果键不同,标签按“与”的关系搜索。 如果键相同,值不同,标签按“与”的关系搜索。 表1 公网域名搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值,但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性,仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性:属性值 状态:正常 选择属性后,输入对应的属性信息,系统进行精确搜索。 仅域名名称支持模糊搜索。 域名、ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性:取值 属性:取值 域名:example.com 状态:正常 支持选择多个不同的属性,搜索时多个属性为“与”的关系。 仅域名名称支持模糊搜索。 域名、ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。
  • 示例2:单属性搜索 选择属性后,输入对应的属性信息。 以下属性仅支持精确搜索,需输入完整的属性值:ID、状态、标签、企业项目。 模糊搜索:仅域名名称支持模糊搜索 在公网域名列表上方的搜索输入框中选择“域名”。 输入域名名称,单击回车进行搜索。域名支持模糊搜索,例如输入“example123”,可以搜索到所有包含example123的域名。 图3 模糊匹配域名名称进行搜索 精确搜索:以“ID”为例 在公网域名列表上方的搜索输入框中选择“ID”。 输入完整的公网域名ID,单击回车进行搜索。 图4 按ID搜索公网域名
  • 示例2:单属性搜索 选择属性后,输入对应的属性信息。 以下属性仅支持精确搜索,需输入完整的属性值:ID、状态、记录类型、标签。 模糊搜索:域名名称、记录集支持模糊搜索 在记录集列表上方的搜索输入框中选择“记录值”。 输入记录值,单击回车进行搜索。记录集取值支持模糊搜索,例如输入“1.2.3”,可以搜索到所有记录值包含1.2.3的记录集。 图3 模糊匹配记录值进行搜索 精确搜索:以“ID”为例 在记录集列表上方的搜索输入框中选择“ID”。 输入完整的记录集ID,单击回车进行搜索。 图4 按ID搜索记录集
  • 示例4:按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签,如果键不同,则标签按“与”的关系搜索。 如果键相同,值不同,则标签按“与”的关系搜索。 单个标签搜索 在记录集列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索记录集 多个标签搜索 重复操作1~2,选择多个标签键值对,按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索记录集
  • 搜索语法 记录集支持多种类型的搜索,首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型:精确搜索、模糊搜索。 搜索属性:域名、记录值、ID、状态、记录类型、标签。 支持精确搜索的属性:域名、记录值、ID、状态、记录类型、标签,精确搜索时必须输入完整的属性值。 支持模糊搜索的属性:域名、记录值。 按标签过滤时可选择键或键值对搜索,支持设置多个标签: 如果键不同,标签按“与”的关系搜索。 如果键相同,值不同,标签按“与”的关系搜索。 表1 解析记录集搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值,但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性,仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性:属性值 状态:正常 选择属性后,输入对应的属性信息,系统进行精确搜索。 域名名称、记录集取值支持模糊搜索。 域名、ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性:取值 属性:取值 域名:example.com 状态:正常 支持选择多个不同的属性,搜索时多个属性为“与”的关系。 域名名称、记录集取值支持模糊搜索。 域名、ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。
  • 搜索语法 内网域名支持多种类型的搜索,首先了解搜索类型、搜索属性、搜索语法。详细的搜索语法和示例请参考表1。 搜索类型:精确搜索、模糊搜索。 搜索属性:域名、域名ID、状态、VPC ID、企业项目、标签。 支持精确搜索的属性:域名、域名ID、状态、标签、企业项目,精确搜索时必须输入完整的属性值。 支持模糊搜索的属性:域名。 按标签过滤时可选择键或键值对搜索,支持设置多个标签: 如果键不同,标签按“与”的关系搜索。 如果键相同,值不同,标签按“与”的关系搜索。 表1 内网域名搜索语法 搜索类型 支持的属性 输入格式 示例 说明 仅输入属性值,但不选择属性 默认按照域名模糊搜索。 属性值 example.com 未选择搜索属性,仅输入属性值时默认是按照域名模糊搜索。 单属性 控制台支持的所有属性 属性:属性值 状态:正常 选择属性后,输入对应的属性信息,系统进行精确搜索。 仅域名名称支持模糊搜索。 域名、域名ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。 多属性 控制台支持的所有属性 属性:取值 属性:取值 域名:example.com 状态:正常 支持选择多个不同的属性,搜索时多个属性为“与”的关系。 仅域名名称支持模糊搜索。 域名、域名ID支持一次输入多值批量搜索,每个搜索值用英文逗号隔开。
  • 示例2:单属性搜索 选择属性后,输入对应的属性信息。 以下属性仅支持精确搜索,需输入完整的属性值:域名ID、状态、VPC ID、企业项目、标签。 模糊搜索:仅域名名称支持模糊搜索 在内网域名列表上方的搜索输入框中选择“域名”。 输入域名名称,单击回车进行搜索。域名支持模糊搜索,例如输入“example123”,可以搜索到所有包含example123的域名。 图3 模糊匹配域名名称进行搜索 精确搜索:以“域名ID”为例 在内网域名列表上方的搜索输入框中选择“域名ID”。 输入完整内网域名ID,单击回车进行搜索。 图4 按ID搜索内网域名
  • 示例3:多属性搜索 支持选择多个不同的属性,搜索时多个属性为“与”的关系。 以下属性仅支持精确搜索,需输入完整的属性值:域名ID、状态、VPC ID、企业项目、标签。 本例同时使用“域名”和“状态”进行搜索。 在内网域名列表上方的搜索输入框中选择“域名”并输入取值。 单击回车,在搜索输入框中继续添加筛选条件,选择“状态 > 正常”。 页面将展示域名名称符合且状态为“正常”的域名信息。 图5 多属性搜索内网域名
  • 示例4:按标签搜索 按标签过滤时可选择键或键值对搜索。 支持设置多个标签,如果键不同,则标签按“与”的关系搜索。 如果键相同,值不同,则标签按“与”的关系搜索。 单个标签搜索 在内网域名列表上方的搜索输入框中选择标签键。 在标签键对应的标签值中选择目标值进行搜索。 图6 按标签搜索内网域名 多个标签搜索 重复操作1~2,选择多个标签键值对,按“与”的关系搜索并展示符合条件的域名。 图7 多个标签搜索内网域名
  • 计费示例 示例一:云硬盘采用包年/包月计费模式 客户在购买通用型SSD V2云硬盘时,容量选择100GiB,预配置性能为5000 IOPS、325MiB/s吞吐量。 假设包年/包月容量价钱为0.5元/GiB/月,按需IOPS单价为0.0000153元/IOPS/小时,按需吞吐量单价为0.00194元/MiBps/小时。 购买1个月(30天)的总费用=容量费用+IOPS费用+吞吐量费用=100*0.5*1+(5000-3000)*0.0000153*24*30+(325-125)*0.00194*24*30=50+22.032+279.36=351.392元 示例二:云硬盘采用按需计费模式 客户在购买通用型SSD V2云硬盘时,容量选择100GiB,预配置性能为5000 IOPS、325MiB/s吞吐量。 假设按需容量价钱为0.000695元/GiB/小时,按需IOPS单价为0.0000153元/IOPS/小时,按需吞吐量单价为0.00194元/MiBps/小时。 购买24小时的总费用=容量费用+IOPS费用+吞吐量费用=100*0.000695*24+(5000-3000)*0.0000153*24+(325-125)*0.00194*24=1.668+0.7344+9.312=11.7344元
  • 云硬盘性能 表1 云硬盘性能数据表 参数 通用型SSD V2 云硬盘最大容量 系统盘:1024 GiB 数据盘:32768 GiB 基准IOPS 3000 最大IOPS 128000 基准吞吐量 125MiB/s 最大吞吐量 1000 MiB/s 单队列访问时延 1 ms IOPS突发上限 NA 云硬盘IOPS性能计算公式 IOPS值由用户预配置,范围为3000~128000,具体可配置值≤(500*容量) 云硬盘吞吐量性能计算公式 吞吐量值由用户配置,范围为125~1000MiB/s,具体可配置值≤(IOPS/4) API名称 说明: 此处API名称为云硬盘API接口中“volume_type”参数的取值,不代表底层存储设备的硬件类型。 GPSSD2 典型应用场景 各种主流的高性能、低延迟交互应用场景。 企业办公、虚拟桌面 大型开发测试 转码类业务 系统盘 大中型规模的数据库(SQL Server 、 Oracle 、NoSQL、PostgreSQL)
  • 计费模式 表2 云硬盘采用包年/包月计费模式 计费项 计费方式 说明 容量 容量费用=包年/包月容量费用 IOPS和吞吐量按照购买时的预配置值计算费用。了解云硬盘 定价 详情,请参见云硬盘价格详情。 IOPS IOPS费用=(预配置IOPS-基准IOPS)*IOPS单价*时长 吞吐量 吞吐量费用=(预配置吞吐量-基准吞吐量)*吞吐单价*时长 表3 云硬盘采用按需计费模式 计费项 计费方式 说明 容量 容量费用=容量*容量单价*时长 IOPS和吞吐量按照购买时的预配置值计算费用。了解云硬盘定价详情,请参见云硬盘价格详情。 IOPS IOPS费用=(预配置IOPS-基准IOPS)*IOPS单价*时长 吞吐量 吞吐量费用=(预配置吞吐量-基准吞吐量)*吞吐单价*时长
  • 配置预配置性能 进入购买磁盘页面。 在购买页面中,设置云硬盘的配置参数。 选择云硬盘类型为通用型SSD V2,并配置云硬盘容量。 设置IOPS。 设置吞吐量。 其他详细的参数配置,请参见购买云硬盘。 单击“立即购买”。 如果您选择的计费模式是“包年/包月”。 在“订单确认”页面,您可以再次核对云硬盘信息。 确认无误后,单击“去支付”。 在“支付”页面,根据界面提示,单击“确认付款”,页面显示“订单支付成功”。 单击“返回云硬盘控制台”,返回“云硬盘”主页面。 如果您选择的计费模式是“按需计费”。 在“规格确认”页面,您可以再次核对云硬盘信息。 确认无误后,单击“提交”,页面显示“任务提交成功”。 单击“返回磁盘列表”,返回“云硬盘”主页面。 如果您在购买通用SSD V2型云硬盘时,无法准确预测预配置性能吞吐量与IOPS配比,那么建议您采取“二一配比”方法设置性能:例如,假如您计划使用600MiB/s吞吐量,那么设置30000 IOPS;假如您计划使用1000MiB/s吞吐量,那么设置50000 IOPS。 如您在业务运行之后发现IOPS或者吞吐量无法满足业务诉求或者远超业务诉求,则可以随时调整IOPS或者吞吐量设置。
  • 访问方式 EVS提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。 API方式 如果用户需要将公有云平台上的云硬盘集成到第三方系统,用于二次开发,请使用API方式访问云硬盘,具体操作请参见云硬盘API参考。 控制台方式 其他相关操作,请使用管理控制台方式访问云硬盘。如果用户已注册公有云,可直接登录管理控制台,从主页选择“云硬盘”。如果未注册,请参见注册公有云。
  • 产品优势 云硬盘为云服务器提供规格丰富、安全可靠、可弹性扩展的硬盘资源,产品优势如表1所示。 表1 云硬盘产品优势 产品优势 优势描述 相关知识 规格丰富 EVS提供多种规格的云硬盘,可挂载至云服务器用作数据盘和系统盘,您可以根据业务需求及预算选择合适的云硬盘。 云硬盘类型及性能介绍 弹性扩展 您可以创建的单个云硬盘最小容量为10GiB,最大容量为 32TiB,即,10GiB ≤ 云硬盘容量 ≤ 32 TiB。如果您已有的云硬盘容量不足以满足业务增长对数据存储空间的需求,您可以根据需求进行扩容,最小扩容步长为1GiB,单个数据盘最大可扩容至32TiB,单个系统盘最大可扩容至1TiB。同时支持平滑扩容,无需暂停业务。 云硬盘扩容概述 扩容云硬盘时还会受容量总配额影响,系统会显示您当前的剩余容量配额,新扩容的容量不能超过剩余容量配额。您可以申请足够的配额满足业务需求。 查看云硬盘资源配额 安全可靠 系统盘和数据盘均支持 数据加密 ,保护数据安全。 云硬盘加密 安全可靠 云硬盘支持备份,为存储在云硬盘中的数据提供可靠保障,防止应用异常、黑客攻击等情况造成的数据错误和数据丢失。 云硬盘备份 安全可靠 云硬盘支持快照,为存储在云硬盘中的数据提供可靠保障,防止应用异常、黑客攻击等情况造成的数据错误和数据丢失。 云硬盘快照 实时监控 配合 云监控 ( Cloud Eye),帮助您随时掌握云硬盘健康状态,了解云硬盘运行状况。 查看云硬盘监控数据
  • 云硬盘简介 云硬盘(Elastic Volume Service, EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。云服务器包括ECS和BMS。 云硬盘类似PC中的硬盘,需要挂载至云服务器使用,无法单独使用。您可以对已挂载的云硬盘执行初始化、创建文件系统等操作,并且把数据持久化地存储在云硬盘上。 云硬盘也称为磁盘,本文档中也会用磁盘来表示云硬盘。 图1 云硬盘架构
  • 云硬盘、弹性文件服务、 对象存储服务 的区别 目前可供您选择的有三种数据存储服务,分别是云硬盘、弹性文件服务(Scalable File Service, SFS)以及对象存储服务(Object Storage Service, OBS),这三种数据存储的主要区别如下: 表2 SFS、OBS、EVS服务对比 对比维度 弹性文件服务 对象存储服务 云硬盘 概念 提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。 提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。 存储数据的逻辑 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 访问方式 在云服务器中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。 只能在云服务器中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 使用场景 如高性能计算、 媒体处理 、文件共享和内容管理和Web服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线 视频点播 、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。 容量 PiB级别 EiB级别 TiB级别 时延 3~10ms 毫秒级 亚毫秒级 IOPS/TPS 单文件系统 10K 千万级 单盘 128K 带宽 GiB/s级别 TiB/s级别 MiB/s级别 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否 是否能单独使用 是 是 否
  • 云硬盘性能 表1 云硬盘性能数据表 参数 极速型SSD V2 云硬盘最大容量 系统盘:1024 GiB 数据盘:32768 GiB 描述 专用于对延迟敏感的业务关键型应用程序的极高性能 SSD云硬盘。 具备持续 IOPS 性能 超过 128000 IOPS 、1000 MiB/s 吞吐量 典型应用场景 数据库 Oracle SQL Server ClickHouse AI场景 最大IOPS 256000 最大吞吐量 4000 MiB/s IOPS突发上限 NA 云硬盘IOPS性能计算公式 IOPS值由用户预配置,范围为100~256000,具体可配置值≤(1000*容量) 云硬盘吞吐量性能计算公式 吞吐量≤(预配置IOPS/16)MiB/s 单队列访问时延 亚毫秒级 API名称 说明: 此处API名称为云硬盘API接口中“volume_type”参数的取值,不代表底层存储设备的硬件类型。 ESSD2
  • 安全限制 表2 安全限制 限制项 限制说明 云硬盘加密 已经购买完成的云硬盘不支持更改加密属性。 使用云硬盘创建云备份,默认继承云硬盘的加密属性,不支持重新设置云备份的加密属性。 使用云硬盘创建镜像,默认继承云硬盘的加密属性,不支持重新设置镜像的加密属性。 使用云硬盘创建快照,默认继承云硬盘的加密属性,不支持重新设置快照的加密属性。 使用不支持延迟加载的镜像创建云硬盘,默认继承镜像的加密属性,不支持重新设置云硬盘的加密属性。 使用极速可用的标准快照创建云硬盘,默认继承快照的加密属性,不支持重新设置云硬盘的加密属性 。
  • 操作限制 表4 操作限制 操作场景 限制项 限制说明 创建云硬盘 单次最多创建云硬盘数量 100个 创建云硬盘 从快照创建云硬盘 公测快照 不支持批量创建云硬盘。 通过快照创建云硬盘时,云硬盘的模式(SCSI或VBD)、加密属性、可用区、区域、云硬盘类型必须和源云硬盘保持一致。 开头为“autobk_snapshot_vbs_”、“manualbk_snapshot_vbs_”、“autobk_snapshot_csbs_”、“manualbk_snapshot_csbs_”的快照,是创建备份时系统自动生成的快照。该快照仅支持查看详细信息,无法用于创建云硬盘。 商用快照 对于未开启极速可用功能的标准快照,快照状态为“可用”时,才可以使用该快照创建云硬盘。 开启极速可用功能的标准快照,标准快照在数据上传中时,支持使用该快照创建单个云硬盘,但云硬盘的模式(SCSI或VBD)、加密属性、可用区、云硬盘类型必须和快照源云硬盘保持一致。 标准快照数据完成上传后,支持批量创建云硬盘。 标准快照数据在上传完成后,通过控制台创建的云硬盘的模式(SCSI或VBD)、加密属性、可用区、云硬盘类型和快照源云硬盘不需要保持一致。 说明: 云硬盘状态列可查看快照数据的上传进度,当存在进度条的时候代表正在上传中,当进度条消失后代表上传完成。 创建云硬盘 从备份创建云硬盘 通过备份创建云硬盘时,不支持批量创建,单次只能创建一个云硬盘。 对于同一个备份,不支持并发创建多个云硬盘。如果此时正通过备份创建云硬盘A,那么需要等A创建完成后,才可以使用该备份创建新的云硬盘。 通过系统盘备份数据创建的云硬盘,只能用作数据盘,不支持用作系统盘。 创建云硬盘 从镜像创建云硬盘 通过镜像创建云硬盘时,磁盘模式和镜像源云硬盘保持一致。 通过镜像创建云硬盘时,云硬盘加密属性和镜像源云硬盘保持一致。 创建云硬盘 磁盘模式 云硬盘的磁盘模式在创建完成后不支持更改。 创建云硬盘 共享盘 云硬盘的共享属性在创建完成后不支持更改。 创建云硬盘 加密云硬盘 云硬盘的加密属性在创建完成后不支持更改。 挂载云硬盘 云硬盘与云服务器所属的区域和可用区的关系 一块云硬盘只能挂载到同一区域、同一可用区的云服务器上。 非共享盘可同时挂载的云服务器数量 1台 共享盘可同时挂载的云服务器数量 16台 一台云服务器可同时挂载的云硬盘数量 弹性云服务器不同的实例类型限制不同: 具体可参见一台弹性云服务器可以挂载多少磁盘。 裸金属服务器:最多可以挂载60个云硬盘(1个系统盘,59个数据盘)。仅支持挂载磁盘类型为scsi的磁盘。 系统盘、数据盘挂载点范围 系统盘:/dev/vda、/dev/sda、/dev/xvda 数据盘:/dev/vd[b-z]、/dev/sd[b-z]、/dev/xvd[b-z] 扩容云硬盘 扩容云硬盘 支持扩大云硬盘容量,不支持缩小云硬盘容量。 扩容非共享盘 部分云服务器操作系统支持非共享盘处于“正在使用”状态扩容。 具体可参见扩容云硬盘容量。 扩容共享盘 扩容时必须从云服务器卸载,共享盘处于“可用”状态扩容。 扩容步长 1GiB 卸载云硬盘 卸载系统盘 系统盘目前支持离线卸载,即云服务器处于“关机”状态,才可以卸载系统盘。 卸载数据盘 数据盘支持离线或者在线卸载,即云服务器处于“关机”或“运行中”状态进行卸载。 删除云硬盘 删除按需计费云硬盘 退订包年/包月云硬盘 待删除的云硬盘状态为“可用”、“错误”、“扩容失败”、“恢复数据失败”和“回滚数据失败”。 待删除的云硬盘资源未被其他服务资源占用锁定。 对于共享云硬盘,必须从其所挂载的所有的云服务器上卸载成功时,才可以删除。 云硬盘未被加入到存储容灾服务的复制对中。如果云硬盘已经被加入到复制对中,需要先删除复制对,再删除云硬盘。 包年/包月的系统盘不支持单独退订,需要跟随云服务器一起退订。 随包年/包月云服务器一同购买或追加购买的包年/包月非共享的数据盘,到期时间与云服务器一致,该数据盘处于“正在使用”、“可用”或“错误”状态时,支持退订云服务器时同时退订数据盘,也可以单独退订包年/包月数据盘。 单独购买的包年/包月共享/非共享数据盘,到期时间与挂载的包年/包月云服务器不一致,支持单独退订包年/包月数据盘。 创建快照 / 系统盘和数据盘都支持创建快照。 加密云硬盘的快照数据以加密方式存放,非加密云硬盘的快照数据以非加密方式存放。 公测快照 单个云硬盘最多支持手动创建7个快照。 华为云保留对用户公测快照进行限制的权限。 快照的企业项目与源云硬盘的企业项目保持一致。 单个云硬盘最多支持手动创建256个标准快照,其中支持开启极速可用功能的快照数量为7个。 单个云硬盘每次只能创建一个标准快照,且前一个标准快照创建完成后才可以创建下一个标准快照。 暂不支持使用边缘可用区中的云硬盘创建标准快照。关于边缘可用区和普通可用区的区别请参考《智能边缘小站用户指南》。 暂不支持使用普通IO和高IO类型的云硬盘创建启用了快照极速可用功能的标准快照。 一般情况下,创建标准快照所需的时间为分钟级,且和云硬盘实际写入的数据量大小有关,数据量越大,创建标准快照所需的时间越长。首次为云硬盘创建标准快照,数据量为全量,所需时间较长;再次创建标准快照时,所需时间相对较短,但仍和上一个标准快照的数据量变化有关,数据量变化越大,所需时间越长。 当使用快照回滚至云硬盘时,该云硬盘创建的下一个标准快照为全量快照。 创建标准快照期间,使用云硬盘所产生的增量数据不会备份到所创建的标准快照中。 创建标准快照期间,即使删除源云硬盘也不会影响标准快照的创建。 使用快照极速可用功能 / 支持的云硬盘类型有:极速型SSD V2、极速型SSD、通用型SSD V2、通用型SSD、超高IO。 仅支持在创建标准快照时开启极速可用功能,创建后不支持开启。 单个云硬盘最多支持创建7个极速可用快照。 启用快照极速可用功能后,快照在创建过程中,不支持关闭极速可用功能。 当删除极速可用快照对应的云硬盘时,快照不会被删除,但会自动关闭极速可用功能。 使用快照回滚数据至云硬盘 / 只支持回滚快照数据至源云硬盘,不支持快照回滚到其它云硬盘。 当源云硬盘状态为“可用”(即未挂载给云服务器,如果云硬盘已挂载至云服务器,需要先卸载云硬盘)或者“回滚数据失败”时,才可以执行该操作。 当快照在创建中时,不支持使用快照回滚数据至云硬盘。 开头为“autobk_snapshot_vbs_”、“manualbk_snapshot_vbs_”、“autobk_snapshot_csbs_”、“manualbk_snapshot_csbs_”的快照,是创建备份时系统自动生成的快照。该快照仅支持查看详细信息,无法用于回滚数据。 云硬盘挂载至竞价计费型实例、云耀云服务器 L实例 不支持快照回滚至云硬盘。 删除快照 / 删除快照时,从快照回滚的数据以及从快照新建的云硬盘不受影响。 商用快照 如果将创建快照的云硬盘删除,标准快照不会被删除。 当删除极速可用标准快照源云硬盘时,标准快照不会被删除,但会自动关闭极速可用功能。 重装操作系统或切换操作系统后,标准快照不会被删除;但对于开启了极速可用功能的系统盘标准快照,其极速可用功能会被自动关闭。 公测快照 如果将创建快照的云硬盘删除,其对应的存量快照会被同时删除。 对于重装操作系统或切换操作系统后,系统盘快照会被删除,数据盘快照不受影响,可以照常使用。 开头为“autobk_snapshot_vbs_”、“manualbk_snapshot_vbs_”、“autobk_snapshot_csbs_”、“manualbk_snapshot_csbs_”的快照,是创建备份时系统自动生成的快照。您只可以查看该快照的详细信息,无法删除该快照。 变更云硬盘类型 变更前 只有当云硬盘处于“可用”、“正在使用”状态时,支持变更云硬盘类型。 云硬盘快照在删除过程中,不支持变更云硬盘类型。 变更云硬盘类型可能会影响云硬盘的性能,请避开业务高峰期。 变更中 只有当云硬盘处于“可用”、“正在使用”状态时,支持变更云硬盘类型。 云硬盘快照在删除过程中,不支持变更云硬盘类型。 云硬盘类型变更过程中,无法对云硬盘进行其他操作,如创建快照、创建备份、云硬盘扩容、从快照回滚数据、挂载和卸载云硬盘、虚拟机制作镜像、删除云硬盘、从备份恢复数据、云硬盘过户。 云硬盘类型变更可能需要数小时才能成功,在某些时候可能会更长,且过程中无法中断操作。具体时间主要根据变更时吞吐量、存储空间大小、源硬盘类型决定。 同一时间段内,最多支持10个云硬盘同时变更。 如果云硬盘为系统盘,那么在变更类型的过程中,不支持更换操作系统。 变更后 在极少数情况下,可能会由于后台资源问题导致变更云硬盘类型失败,如此问题发生,请稍后重试。 管理回收站 / 云硬盘删除时,无论是否放入回收站,云硬盘对应的存量快照会被彻底删除。 放入回收站的云硬盘容量和个数不受限制。 单独删除的云硬盘,在回收站中最多保存7天,期间您可以进行恢复/销毁操作。到期后,会被彻底删除,不可恢复。 当开启云服务器回收站后,跟随云服务器一起删除/退订的云硬盘,其保留时间与云服务器一致,期间只能从原云服务器发起恢复/销毁操作。到期后,会被彻底删除,不可恢复。 已在回收站中的云硬盘,当账户欠费时,这些云硬盘会进入宽限期、保留期,在回收站中停留时长不足7天并最终被系统删除。
  • 规格与限制 表1 规格说明 资源类型 限制项 限制说明 云硬盘容量 单个系统盘支持的容量范围 40 GiB - 1024 GiB 单个数据盘支持的容量范围 10 GiB - 32768 GiB MBR磁盘分区形式支持的磁盘最大容量 2 TiB GPT磁盘分区形式支持的磁盘最大容量 18 EiB 云硬盘性能 云硬盘性能的主要指标包括:IOPS、吞吐量、IO读写时延 不同类型云硬盘的性能有所不同,详情参见云硬盘类型及性能介绍。
  • 云硬盘快照 云硬盘快照是指云硬盘数据在某个时刻的完整拷贝或镜像,是一种重要的数据容灾手段,当数据丢失时,可通过快照将数据完整的恢复到快照时间点。您可以通过管理控制台或者API接口创建云硬盘快照。 云硬盘快照简称为快照。您可以创建快照,从而快速保存指定时刻云硬盘的数据。同时,您还可以通过快照创建新的云硬盘,这样云硬盘在初始状态就具有快照中的数据。 相关操作指导: 创建快照 使用快照创建云硬盘 父主题: 基本概念
  • 云硬盘突发能力及原理 突发能力是指小容量云硬盘可以在一定时间内达到IOPS突发上限,超过IOPS上限的能力。此处IOPS上限为单个云硬盘的性能。 突发能力适用于云服务器启动场景,一般系统盘容量较小,以50 GiB的超高IO云硬盘为例,如果没有突发能力,根据IOPS性能计算公式IOPS = min (50000, 1800 + 50 × 容量),50 GiB的超高IO云硬盘IOPS上限只能达到4300,但使用突发能力后,IOPS可高达16000,从而提升云服务器的启动速度。 以超高IO云硬盘为例,单个超高IO云硬盘的IOPS突发上限为16000。 容量为100 GiB的云硬盘,其IOPS上限为6800,IOPS突发上限为16000,因此在一定时间内该云硬盘的最大IOPS可达到16000。 容量为1000 GiB的云硬盘,其IOPS上限为50000,但是IOPS突发上限仅为16000,云硬盘的IOPS上限已经超过了突发IOPS,因此该云硬盘无需突发能力。 以下介绍云硬盘突发IOPS的消耗原理和储蓄原理。 突发的实现基于令牌桶,令牌桶中的初始令牌数量 = 突发时间 × IOPS突发上限,此处突发时间固定为1800 s。 以100 GiB的超高IO云硬盘为例,令牌桶容量为28800000个令牌(1800 s × 16000 )。 令牌的生成速度:该桶以6800个/s的速度生成令牌,其中6800为该云硬盘的IOPS上限。 令牌的消耗速度:根据实际IO使用情况而定,每个IO会消耗一个令牌,最大消耗速度为16000个/s,此处取突发IOPS上限和云硬盘IOPS上限的较大值。 消耗原理 当令牌消耗速度大于令牌的生成速度时,令牌数量会逐渐减少,最后IOPS会维持跟桶生成令牌的速度一致,即云硬盘的IOPS上限。本示例中,可以维持突发IOPS的时间为3130 s ≈ 28800000 / (16000 - 6800) 。 储蓄原理 当令牌的消耗速度小于令牌的生成速度时,桶中的令牌会逐渐增加,之后又可以拥有突发能力。本示例中,如果云硬盘暂停使用4235 s ≈ 28800000 / 6800,令牌桶就可以存满。 桶中的令牌数量只要大于零,云硬盘就具有突发能力。 本示例中令牌的消耗和储蓄原理如图1所示。蓝色柱状表示云硬盘IOPS的使用情况,绿色虚线为IOPS上限,红色虚线为IOPS突发上限,黑色曲线表示令牌数量的变化趋势。 当令牌数量大于零时,IOPS可以突破6800,即具有达到IOPS突发上限16000的能力。 当令牌数为零时,此时不具备突发能力,IOPS最大为6800。 当实际IOPS小于6800时,令牌数量开始增加,可以恢复突发能力。 图1 突发能力示意图
  • 云硬盘性能 云硬盘性能的主要指标包括: IOPS:云硬盘每秒进行读写的操作次数。 吞吐量:云硬盘每秒成功传送的数据量,即读取和写入的数据量。 IO读写时延:云硬盘连续两次进行读写操作所需要的最小时间间隔。 表1 云硬盘性能数据表 参数 极速型SSD V2(公测) 极速型SSD 通用型SSD V2 超高IO 通用型SSD 高IO 普通IO(上一代产品) 云硬盘最大容量(GiB) 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 系统盘:1024 数据盘:32768 描述 专用于对延迟敏感的业务关键型应用程序的极高性能 SSD云硬盘。 超过 128000 IOPS、1000 MiB/s 吞吐量 适用于需要超大带宽和超低时延的场景。 容量与性能解耦,支持在容量固定的情况下,基于业务性能诉求,按需、灵活地调整IOPS和吞吐量。适合各种主流的高性能、低延迟交互应用场景。 超高性能云硬盘,可用于企业关键性业务,适合高吞吐、低时延的工作负载。 高性价比的云硬盘,适合中等性能诉求的企业应用。 可用于非频繁访问,对时延不敏感的工作负载f。 可用于不常访问的工作负载。 典型应用场景 数据库 Oracle SQL Server ClickHouse AI场景 数据库 Oracle SQL Server ClickHouse AI场景 企业办公、虚拟桌面 大型开发测试 转码类业务 系统盘 大中型规模的数据库(SQL Server 、 Oracle 、NoSQL、PostgreSQL) 转码类业务。 I/O密集型场景。 NoSQL Oracle SQL Server PostgreSQL 时延敏感型场景。 Redis Memcache 企业办公 中型开发测试 中小型数据库 Web应用 系统盘 普通开发测试 大容量、读写速率中等、事务性处理较少的应用场景。 日常办公应用 轻载型开发测试 不建议用于系统盘 最大IOPSa 256000 128000 128000 50000 20000 5000 2200 最大吞吐量a(MiB/s) 4000 1000 1000 350 250 150 50 IOPS突发上限a NA 64000 NA 16000 8000 5000 2200 云硬盘IOPS性能计算公式c,公式中容量单位为GiB IOPS值由用户预配置,范围为100~256000,具体可配置值≤(1000*容量) IOPS = min (128000, 1800 + 50 × 容量) IOPS值由用户预配置,范围为3000~128000,具体可配置值≤(500*容量) IOPS = min (50000, 1800 + 50 × 容量) IOPS=min (20000, 1800 + 12 × 容量) IOPS = min (5000, 1800 + 8 × 容量) IOPS = min (2200, 500 + 2 × 容量) 云硬盘吞吐量性能计算公式b(MiB/s),公式中容量单位为GiB 吞吐量≤min(4000,预配置IOPS/16) 吞吐量 = min (1000, 120 + 0.5 × 容量) 吞吐量值由用户配置,范围为125~1000,具体可配置值≤(IOPS/4) 吞吐量 = min (350, 120 + 0.5 × 容量) 吞吐量 = min (250, 100 + 0.5 × 容量) 吞吐量 = min (150, 100 + 0.15 × 容量) 吞吐量 = 50 单队列访问时延d(ms) 亚毫秒级 亚毫秒级 1 1 1 1~ 3 5~ 10 API名称e ESSD2 ESSD GPSSD2 SSD GPSSD SAS SATA a:最大IOPS、最大吞吐量、IOPS突发上限三个参数的值均为读写总和。比如最大IOPS=IOPS读+IOPS写。 b:以单块超高IO云硬盘吞吐量性能计算公式为例说明:起步120 MiB/s,每GiB增加0.5 MiB/s,上限为350 MiB/s。min为取两者的最小值。 c:以单块超高IO云硬盘IOPS性能计算公式为例说明:起步1800,每GiB增加50,上限为50000。min为取两者的最小值。 d:单队列指队列深度为1,即并发度为1。单队列访问时延是所有IO请求串行处理时IO的时延,表格中数据是4KiB数据块能达到的时延。 e:API名称代表云硬盘API接口中“volume_type”参数的取值,不代表底层存储设备的硬件类型。 f:高IO(专属分布式存储高IO除外)云硬盘由普通硬盘(HDD)提供支持,适合一般工作负载,对时延不敏感的应用场景,提供的性能中,基准吞吐量为每TiB 40MiB/s,最大吞吐量为每块云硬盘150MiB/s;对于负载较高,时延敏感的应用,建议使用更高规格的云硬盘,它们由固态硬盘(SSD)提供支持。 云硬盘的性能与数据块大小密切相关: 同一数据块大小,当最大IOPS或最大吞吐量中有一项指标达到最大值时,此时云硬盘性能达到最大,另一项指标无法再继续上升。 不同数据块大小,云硬盘性能达到最大的指标可能不同。 对于小数据块,例如4 KiB和8 KiB,性能可达到最大IOPS。 对于≥ 16 KiB的大数据块,性能可达到最大吞吐量。 以超高IO云硬盘为例,根据公式推算,超高IO云硬盘容量≥ 964 GiB时,IOPS最大可达50000,吞吐量最大可达350 MiB/s。而实际情况并非如此,具体请参见表2。 表2 超高IO云硬盘性能上限 数据块大小(KiB) 最大IOPS 最大吞吐量(MiB/s) 4 约50000 约195 8 约44800 约350 16 约22400 约350 32 约11200 约350
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全