华为云用户手册

  • 超高I/O型I3 概述 I3型弹性云服务器搭载英特尔® 至强® 可扩展处理器,使用高性能NVMe SSD本地盘的 ECS云服务器 ,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 超高I/O型实例适用于高性能关系型数据库 NoSQL数据库(Cassandra、MongoDB等)以及ElasticSearch搜索等场景 规格 表9 I3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 本地盘 (GiB) 网卡个数上限 虚拟化类型 i3.2xlarge.8 8 64 2.5/2.5 100 4 1 × 1600GiB NVMe 4 KVM i3.4xlarge.8 16 128 5/5 150 4 2 × 1600GiB NVMe 8 KVM i3.8xlarge.8 32 256 10/10 200 8 4 × 1600GiB NVMe 8 KVM i3.12xlarge.8 48 384 15/15 240 8 6 × 1600GiB NVMe 8 KVM i3.15xlarge.8 60 512 25/25 500 16 7 × 1600GiB NVMe 8 KVM i3.16xlarge.8 64 512 25/25 500 16 8 × 1600GiB NVMe 8 KVM
  • 超高I/O型Ir3 概述 Ir3型弹性云服务器搭载第二代英特尔® 至强® 可扩展处理器,计算性能强劲稳定;配套华为自研25GE智能高速网卡,提供超高网络带宽和PPS收发包能力;使用高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 适用于高性能关系型数据库。 NoSQL数据库(Cassandra、MongoDB等)。 ElasticSearch搜索等场景。 规格 表8 Ir3型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 本地盘 (GiB) 网卡个数上限 虚拟化类型 ir3.large.4 2 8 4/1.2 40 50 2 2 × 50 2 KVM ir3.xlarge.4 4 16 8/2.4 80 50 2 2 × 100 3 KVM ir3.2xlarge.4 8 32 15/4.5 140 100 4 2 × 200 4 KVM ir3.4xlarge.4 16 64 20/9 250 150 8 2 × 400 8 KVM ir3.8xlarge.4 32 128 30/18 450 300 16 2 × 800 8 KVM
  • 超高I/O型I7n 概述 I7n型弹性云服务器搭载第三代英特尔® 至强® 可扩展处理器,使用高性能NVMe SSD本地盘的E CS 云服务器,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 超高I/O型实例适用于高性能关系型数据库 NoSQL数据库(Cassandra、MongoDB等)以及ElasticSearch搜索等场景 规格 表7 I7n型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 i7n.2xlarge.4 8 32 10/3.4 120 100 4 4 64 1 × 1600GiB NVMe KVM i7n.4xlarge.4 16 64 15/6.7 200 150 4 6 96 2 × 1600GiB NVMe KVM i7n.8xlarge.4 32 128 25/13.5 400 300 8 8 192 4 × 1600GiB NVMe KVM i7n.12xlarge.4 48 192 30/20 500 400 16 8 256 6 × 1600GiB NVMe KVM i7n.16xlarge.4 64 256 35/27 600 500 16 8 256 8 × 1600GiB NVMe KVM i7n.24xlarge.4 96 420 44/40 800 800 32 8 256 12 × 1600GiB NVMe KVM i7n.2xlarge.8 8 64 10/3.4 120 100 4 4 64 1 × 1600GiB NVMe KVM i7n.4xlarge.8 16 128 15/6.7 200 150 4 6 96 2 × 1600GiB NVMe KVM i7n.8xlarge.8 32 256 25/13.5 400 300 8 8 192 4 × 1600GiB NVMe KVM i7n.12xlarge.8 48 384 30/20 500 400 16 8 256 6 × 1600GiB NVMe KVM i7n.16xlarge.8 64 512 35/27 600 500 16 8 256 8 × 1600GiB NVMe KVM i7n.24xlarge.8 96 768 44/40 800 800 32 8 256 12 × 1600GiB NVMe KVM
  • 超高I/O型Ir7n 概述 Ir7n型弹性云服务器搭载第三代英特尔® 至强® 可扩展处理器,计算性能强劲稳定;配套25GE智能高速网卡,提供超高网络带宽和PPS收发包能力;使用高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 适用于高性能关系型数据库。 NoSQL数据库(Cassandra、MongoDB等)。 ElasticSearch搜索等场景。 规格 表6 Ir7n型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 ir7n.large.4 2 8 3/0.9 40 50 2 3 32 2 × 50 KVM ir7n.xlarge.4 4 16 6/1.8 80 50 2 3 32 2 × 100 KVM ir7n.2xlarge.4 8 32 15/3.6 150 100 4 4 64 2 × 200 KVM ir7n.4xlarge.4 16 64 20/7.3 300 150 4 6 96 2 × 400 KVM ir7n.8xlarge.4 32 128 30/14.5 400 300 8 8 192 2 × 800 KVM ir7n.16xlarge.4 64 256 40/29 600 500 16 8 256 2 × 1600 KVM
  • 超高I/O型aI7 概述 aI7型弹性云服务器搭载新一代可扩展处理器,配备大容量高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 超高I/O型实例适用于高性能关系型数据库 NoSQL数据库(Cassandra、MongoDB等)以及ElasticSearch搜索等场景 规格 表5 aI7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 ai7.2xlarge.8 8 64 4/2.5 100 8 8 64 1 × 1600GiB NVMe KVM ai7.4xlarge.8 16 128 8/5 200 16 8 128 2 × 1600GiB NVMe KVM ai7.8xlarge.8 32 256 15/8 300 16 8 256 4 × 1600GiB NVMe KVM ai7.12xlarge.8 48 384 22/12 400 16 8 256 6 × 1600GiB NVMe KVM ai7.16xlarge.8 64 512 28/16 550 24 12 256 8 × 1600GiB NVMe KVM ai7.24xlarge.8 96 768 40/25 800 24 12 256 12 × 1600GiB NVMe KVM
  • 超高I/O型I7 概述 I7型弹性云服务器搭载第三代英特尔® 至强® 可扩展处理器,配备大容量高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参见使用须知。 适用场景 超高I/O型实例适用于高性能关系型数据库 NoSQL数据库(Cassandra、MongoDB等)以及ElasticSearch搜索等场景 规格 表4 I7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 i7.2xlarge.4 8 32 10/3 120 100 4 4 64 1 × 1600GiB NVMe KVM i7.4xlarge.4 16 64 15/6 200 150 4 6 96 2 × 1600GiB NVMe KVM i7.8xlarge.4 32 128 25/12 400 300 8 8 192 4 × 1600GiB NVMe KVM i7.12xlarge.4 48 192 30/18 500 400 16 8 256 6 × 1600GiB NVMe KVM i7.16xlarge.4 64 256 35/24 600 500 16 8 256 8 × 1600GiB NVMe KVM i7.24xlarge.4 96 384 44/36 800 800 32 8 256 12 × 1600GiB NVMe KVM i7.2xlarge.8 8 64 10/3 120 100 4 4 64 1 × 1600GiB NVMe KVM i7.4xlarge.8 16 128 15/6 200 150 4 6 96 2 × 1600GiB NVMe KVM i7.8xlarge.8 32 256 25/12 400 300 8 8 192 4 × 1600GiB NVMe KVM i7.12xlarge.8 48 384 30/18 500 400 16 8 256 6 × 1600GiB NVMe KVM i7.16xlarge.8 64 512 35/24 600 500 16 8 256 8 × 1600GiB NVMe KVM i7.24xlarge.8 96 768 44/36 800 800 32 8 256 12 × 1600GiB NVMe KVM
  • 超高I/O型D7i 概述 D7i型弹性云服务器搭载第三代英特尔® 至强® 可扩展处理器,配备大容量高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参考使用须知。 适用场景 适用于高性能关系型数据库。 NoSQL数据库(Cassandra、MongoDB等)。 ElasticSearch搜索等场景。 规格 表2 D7i型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 网卡个数上限 辅助网卡个数上限 本地盘 (GiB) 虚拟化类型 d7i.2xlarge.4 8 32 10/3 120 100 4 4 64 1 × 15360GiB NVMe KVM d7i.4xlarge.4 16 64 15/6 200 150 4 6 96 2 × 15360GiB NVMe KVM d7i.8xlarge.4 32 128 25/12 400 300 8 8 192 4 × 15360GiB NVMe KVM d7i.12xlarge.4 48 192 30/18 500 400 16 8 256 6 × 15360GiB NVMe KVM d7i.16xlarge.4 64 256 35/24 600 500 16 8 256 8 × 15360GiB NVMe KVM d7i.24xlarge.4 96 384 44/36 800 800 32 8 256 12 × 15360GiB NVMe KVM
  • 超高I/O型Ir7 概述 Ir7型弹性云服务器搭载第三代英特尔® 至强® 可扩展处理器,配备2块容量较小的高性能NVMe SSD本地盘,提供高存储IOPS以及低读写时延。 使用须知 请参见使用须知。 适用场景 适用于高性能关系型数据库。 NoSQL数据库(Cassandra、MongoDB等)。 ElasticSearch搜索等场景。 规格 表3 Ir7型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网络连接数 (万) 网卡多队列数 网卡个数上限 本地盘 (GiB) 虚拟化类型 ir7.large.4 2 8 3/0.8 40 50 2 3 2 × 50 KVM ir7.xlarge.4 4 16 6/1.5 80 50 2 3 2 × 100 KVM ir7.2xlarge.4 8 32 15/3.1 150 100 4 4 2 × 200 KVM ir7.4xlarge.4 16 64 20/6.2 300 150 4 6 2 × 400 KVM ir7.8xlarge.4 32 128 30/12 400 300 8 8 2 × 800 KVM ir7.16xlarge.4 64 256 40/25 600 500 16 8 2 × 1600 KVM
  • 超高I/O型实例类型总览 超高I/O型弹性云服务器使用高性能NVMe SSD本地磁盘,提供高存储IOPS以及低读写时延,您可以通过管理控制台创建挂载有高性能NVMe SSD盘的弹性云服务器。 该类型弹性云服务器默认开启超线程,每个vCPU对应一个底层超线程HT(Hyper-Threading)。 在售:D7i、Ir3、I3、Ir7、I7、aI7、Ir7n、I7n 表1 超高I/O型实例特点 规格名称 计算 磁盘类型 网络 超高I/O型D7i CPU/内存配比:1:4 vCPU数量范围:8-96 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:800万PPS 最大内网带宽:44Gbps 最大网络连接数:800万 超高I/O型Ir7 CPU/内存配比:1:4 vCPU数量范围:2-64 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:600万PPS 最大内网带宽:40Gbps 最大网络连接数:500万 超高I/O型I7 CPU/内存配比:1:4/1:8 vCPU数量范围:8-96 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:800万PPS 最大内网带宽:44Gbps 最大网络连接数:800万 超高I/O型aI7 CPU/内存配比:1:8 vCPU数量范围:8-96 基频/睿频:2.45GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:800万PPS 最大内网带宽:40Gbps 超高I/O型Ir7n CPU/内存配比:1:4 vCPU数量范围:2-64 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:600万PPS 最大内网带宽:40Gbps 最大网络连接数:500万 超高I/O型I7n CPU/内存配比:1:4/1:8 vCPU数量范围:8-96 处理器:第三代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 支持开启/关闭超线程功能,详细内容请参见开启/关闭超线程 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 支持IPv6 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:800万PPS 最大内网带宽:44Gbps 最大网络连接数:800万 超高I/O型Ir3 CPU/内存配比:1:4 vCPU数量范围:2-32 处理器:第二代英特尔® 至强® 可扩展处理器 基频/睿频:2.6GHz/3.5GHz 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:450万PPS 最大内网带宽:30Gbps 最大网络连接数:300万 超高I/O型I3 CPU/内存配比:1:8 vCPU数量范围:8-64 处理器:英特尔® 至强® 可扩展处理器 基频/睿频:3.0GHz/3.4GHz 高IO 通用型SSD 超高IO 极速型SSD 通用型SSD V2 超高网络收发包能力 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:500万PPS 最大内网带宽:25Gbps
  • 注册数据分析(FineBI)应用 登录 交换数据空间 官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在“我的空间”界面中,选择购买交换数据空间中购买的实例,单击实例卡片上的“控制台”,跳转至实例控制台界面。 在控制台界面中,选择左侧导航栏中的“应用”,进入“应用”界面。 单击“注册应用”,在“注册应用”界面填写相关配置信息,如表1所示。 表1 注册应用参数说明 参数 说明 名称 填写应用的名称,根据规划自定义。建议用户按照一定的命名规则填写应用名称,便于在应用列表处进行区分。 长度范围为1~20个字符。 名称只能包含中文、英文字母。 应用类型 注册应用的类型,此处选择为“数据分析”。 应用配置 此处选择为“FINE_BI”。 图标 用户可以根据需要选择图片表示应用。支持PNG、JPEG格式,图片最大不能超过2.5MB。 描述 用户可以根据需要在文本框中输入对该应用的描述信息。 配置应用场景,相关配置信息,如表2所示。 表2 应用场景参数说明 参数 说明 应用能力 用户自定义,赋予应用的能力,例如查看、下载等。 应用角色 用户自定义,对应用进行角色说明。 数据资源类型 支持数据集及文件两种类型。 文档格式 注册的应用适用的文档类型。 当数据资源类型选择数据集时,文档格式支持选择ALL或TABLE。 当数据资源类型选择文件时,文档格式支持选择ALL、CSV、JPEG、JPG、PNG、DOC、DOCX。 操作策略 注册的应用适用的操作策略。 配置示例如图1,表示配置的应用适用于资源类型为数据集时,格式为TABLE的文件可以进行查看操作。 图1 配置示例 状态 :状态启用,配置的应用场景生效。 :状态停用,配置的应用场景失效。 配置基本配置信息,相关参数说明请参考表3。 表3 参数说明 参数 说明 连接地址 输入FineBI的连接地址。 应用ID 查看在FineBI中创建的应用ID。 密钥 输入FineBI提供的密钥。 确认信息无误后,单击“提交”。
  • 注册大模型训练应用模板 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在“我的空间”界面中,选择购买交换数据空间中购买的实例,单击实例卡片上的“控制台”,跳转至实例控制台界面。 在控制台界面中,选择左侧导航栏中的“应用”,进入“应用”界面。 单击“注册应用”,在“注册应用”界面填写相关配置信息,如表1所示。 表1 注册应用参数说明 参数 说明 名称 填写应用的名称,根据规划自定义。建议用户按照一定的命名规则填写应用名称,便于在应用列表处进行区分。 长度范围为1~20个字符。 名称只能包含中文、英文字母。 应用类型 注册应用的类型,此处选择为“大模型训练”。 应用配置 默认选择为“AI应用原生引擎”。 图标 用户可以根据需要选择图片表示应用。支持PNG、JPEG格式,图片最大不能超过2.5MB。 描述 用户可以根据需要在文本框中输入对该应用的描述信息。 模型 在下拉框中选择模型。如没有合适的模型,可单击“手动配置”进行添加。 确认信息无误后,单击“提交”。
  • 使用流程 图1 使用流程 在领域管理中创建领域,本示例以创建“区域领域”为例说明,具体请参考步骤一:创建领域。 在架构管理中创建价值流,并关联在1中创建的领域,具体请参考步骤二:创建价值流并关联领域。 根据系统预置的“组织-价值流矩阵图”架构模板,在架构管理中创建“组织-价值流矩阵图”报告并发起报告发布申请,具体请参考步骤三:创建架构报告。 审批人在“我的待办”中审批报告发布申请,具体请参考步骤四:审批架构报告。 在架构报告中查看已创建的“组织-价值流矩阵图”报告,具体请参考步骤五:查看架构报告。
  • 步骤7:使用资源 如下步骤由数据消费方进行操作。 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。 在“收到的数据”界面,系统按照“按批次”和“按合约”两种方式展示,此处以“按批次”为例说明。 单击已生效的资源卡片右上角“归档”,参考表9选择归档路径,单击“确定”。 表9 归档参数说明 参数 说明 指定路径归档 自定义路径归档,选择资源需要归档的路径地址。 原路径归档 按提供方原始路径归档。 自动归档 此合约下未归档的数据批次将自动归档到指定路径中,历史已手动归档的路径不变。
  • 步骤4:订阅offer 如下步骤由数据消费方进行操作。 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据市场”,在搜索框中输入需要查询的offer关键字,单击跳转到数据offer列表界面。 用户可通过筛选“热度”来获得最近的热门数据,也可以通过选择“提供方”进行进一步筛选。 筛选到所需的数据offer后,单击offer名称,进入“offer详情”界面,可查看数据基本信息和数据列表信息。 单击界面右上角“订阅”,在“订阅详情”界面中,编辑使用策略,相关参数说明如表7。 表7 参数说明 参数 说明 已选操作 数据消费方自定义数据使用的限制方法,通过“约束条件”对查看、加工和下载进一步限制。 查看:用户可以查看资源文件详细信息。 加工:用户可以在预览的时候处理数据资源文件。 下载:用户可以下载数据资源文件到本地。 约束条件 通过Who、When、How to、How many等几个方面限制数据消费方对数据的使用。 Who:限定消费方的用户或团队进行数据交换。选择的用户需拥有数据接收者角色,才可以接收数据。选择的团队为消费方连接器下的某个团队。 When:控制使用的时间,包括起始时间和截止时间。 How many:限制可用操作的次数,默认不输入,则不限制次数。 订阅offer时,数据消费方可以在数据上架offer时提供的使用控制策略上申请新的策略,覆盖提供方的策略。 输入订阅原因后,单击“确定”。 公开offer直接订阅成功,受控offer等待数据提供方审批。用户可在“工作台”的“我的任务”中选择“申请”页签查看申请任务的状态。
  • 使用流程 图1 通过数据市场交换资源流程 数据提供方添加数据资源到EDS数据目录下,请参见步骤1:新增资源。 将数据资源上架到数据市场,请参见步骤2:上架offer。 数据提供方的审批人确认该申请无误,审批上架,请参见步骤3:审批offer上架请求。 数据消费方在数据市场搜索所需offer,进行订阅获取数据资源,请参见步骤4:订阅offer。 数据提供方审批人审批数据消费方订阅offer的申请,请参见(可选)步骤5:审批订阅请求。 数据提供方审批人审批的Offer申请生成合约后进行合约审批,请参见(可选)步骤6:审批合约。 数据消费方管理接收到的数据资源,请参见步骤7:使用资源。
  • 步骤4:接收交换资源 如下步骤由数据消费方进行操作,个人数据的接收只能归档至“我的数据”中。 数据消费方进入交换数据空间管理控制台,单击“我的空间”,选择空间实例,单击实例卡片上的“连接器”。 选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据目录”,选择“收到的数据”,进入“收到的数据”界面。 在“收到的数据”界面,系统按照“按批次”和“按合约”两种方式展示,此处以“按批次”为例说明。 单击已生效的资源卡片右上角“归档”,参考表8选择归档路径,单击“确定”。 表8 归档参数说明 参数 说明 指定路径归档 自定义路径归档,选择资源需要归档的路径地址。 原路径归档 按提供方原始路径归档。 自动归档 此合约下未归档的数据批次将自动归档到指定路径中,历史已手动归档的路径不变。
  • 入门实践 当您完成了数据上传、交换以及管理数据等基本操作后,可以根据自身的业务需求使用EDS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据交换 用户建立EDS与第三方内网环境的数据库/FTP服务器的连接 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于EDS运行在云上,所以需要创建EDS与第三方内网数据源的连接,以便更加安全、可靠的交换和管理数据资源。 数据交换 健康医疗数据通过EDS共享和安全管控实践 本实践以xx医疗集团和某慢病院交换“风湿病患者医疗数据”为例,指导用户在医疗场景中如何安全的进行数据交换。 创建流程架构 使用DMAP数小二实现业务架构流程设计 本实践以xx汽车集团公司计算订单成本的流程为例,指导用户把公司的实际流程注册到DMAP数小二系统中,以实现流程资产的数字化管理和运营。
  • 查看Jedis 表1 Jedis监控指标说明 指标集 指标 说明 连接池[详情] pool 连接池唯一标示(主机名+端口)。 active 当前激活个数。 waiters 等待个数。 idle 当前空闲个数。 created 创建个数。 destroyed 销毁个数。 borrowed borrow个数。 total 最大连接数。 切换[汇总] from[最近] 原主机。 to[最近] 目的主机。 总次数 某一对主机之间切换总次数。 切换次数 - 单击,展示全部实例视图。 连接池配置 maxTotal 最大连接数。 maxIdle 最大空闲数。 maxWaitMillis 最大等待时间(单位:ms)。 maxBorrowWaitTimeMillis borrow最大等待时间(单位:ms)。 meanActiveTimeMillis 平均激活时间(单位:ms)。 meanBorrowWaitTimeMillis 平均borrow等待时间(单位:ms)。 客户端信息 版本 客户端版本。 运行模式 redis运行模式,包括:standalone以及cluster。 redis节点 redis节点(只统计主节点)。
  • 查看Redis 方法 可以在方法页签下查看所选实例的指标信息,具体指标以及说明,参见表2。 图3 方法 表2 Redis方法参数说明列表 指标集 指标 说明 方法 主机 主机。 方法 方法。 调用次数 调用次数。 平均响应时间(ms) 平均响应时间(ms)。 错误数 错误次数。 慢调用 最大响应时间。 0-10ms 响应时间在0-10ms范围请求数。 10-100ms 响应时间在10-100ms范围请求数。 100-200ms 响应时间在100-200ms范围请求数。 200-1000ms 响应时间在200-1000ms范围请求数。 1-10s 响应时间在1-10s范围请求数。 10s以上 响应时间在10s以上请求数。 最后错误 最后错误的traceId。 最慢调用链 采集周期内最慢的调用链对应traceId。 错误调用链 采集周期内发生错误的调用链对应traceId。 单击“调用次数“、”平均响应时间”等列的蓝色字体数值,会以图表的形式显示对应的数值详情。 单击“最慢调用链”列的查看详情,可以查看方法对应的最慢调用链详情。 单击“最慢调用链”列的历史信息,可以查看方法对应的最慢调用链历史信息。 汇总【主机】 可以在汇总【主机】页签下查看所选实例的信息,具体指标以及说明,参见表3。 图4 汇总【主机】 表3 Redis汇总【主机】参数说明列表 指标集 指标 说明 汇总【主机】 主机 主机。 调用次数 调用次数。 get方法调用次数 get类方法调用次数(统计gethget、expire等查询类型方法)。 命中数 命中数(统计get,hget、expire等查询类型方法)。 命中率 命中数(统计get,hget、expire等查询类型方法)/查询的总次数。 总响应时间 总响应时间。 平均响应时间(ms) 平均响应时间。 错误数 错误数。 流量 调用流量。 0-10ms 响应时间在0-10ms范围请求数。 10-100ms 响应时间在10-100ms范围请求数。 100-200ms 响应时间在100-200ms范围请求数。 200-1000ms 响应时间在200-1000ms范围请求数。 1-10s 响应时间在1-10s范围请求数。 10s以上 响应时间在10s以上请求数。 单击“调用次数”、“平均响应时间”等列的蓝色字体数值,会以图表的形式显示对应的数值详情。 汇总【方法】 可以在汇总【方法】页签下查看所选实例的信息,具体指标以及说明,参见表4。 图5 汇总【方法】 表4 Redis汇总【方法】参数说明列表 指标集 指标 说明 汇总【方法】 方法 方法。 调用次数 调用次数。 平均响应时间(ms) 平均响应时间。 错误数 错误数。 最慢调用 最大响应时间。 0-10ms 响应时间在0-10ms范围请求数。 10-100ms 响应时间在10-100ms范围请求数。 100-200ms 响应时间在100-200ms范围请求数。 200-1000ms 响应时间在200-1000ms范围请求数。 1-10s 响应时间在1-10s范围请求数。 10s以上 响应时间在10s以上请求数。 单击“调用次数”、“平均响应时间”等列的蓝色字体数值,会以图表的形式显示对应的数值详情。 汇总 可以在汇总页签下查看所选实例的信息,具体指标以及说明,参见表5。 图6 汇总 表5 汇总参数说明列表 指标集 指标 说明 汇总 调用次数 调用次数。 get方法调用次数 get类方法调用次数(统计gethget、expire等查询类型方法)。 命中率 命中数(统计get,hget、expire等查询类型方法)/查询的总次数。 总时间 总响应时间。 平均响应时间(ms) 平均响应时间。 错误数 错误数。 单击“调用次数”、“平均响应时间”等列的蓝色字体数值,会以图表的形式显示对应的数值详情。
  • 声明SDK处理的个人信息 在您接入、使用【 应用性能管理 服务数据采集SDK】服务前,华为要求您在隐私政策中向用户告知华为SDK的名称、SDK提供方名称、收集个人信息类型、使用目的、隐私政策链接,并获取用户的同意或取得其他合法性基础。您可以参考如下方式提供条款内容: 以文字方式向用户告知 第三方SDK名称:应用性能管理服务数据采集SDK(iOS/Android/HarmonyOS/web/微信小程序/百度小程序/钉钉小程序/支付宝小程序/快应用) 第三方公司名称: 华为云计算 技术有限公司 收集个人信息类型:收集设备型号、设备名称、设备磁盘信息、设备内存信息、设备品牌、设备CPU信息、操作系统名称、操作系统版本、APP版本、APP名称、APP进程信息、APP线程信息、Wi-Fi状态信息。 使用目的:帮助用户采集APP性能分析相关数据,并上报到应用性能管理服务。 隐私政策链接:隐私与敏感信息保护声明 以表格方式向用户告知 第三方SDK名称 第三方公司名称 收集个人信息类型 使用目的 隐私政策链接 应用性能管理服务数据采集SDK(iOS/Android/HarmonyOS/web/微信小程序/百度小程序/钉钉小程序/支付宝小程序/快应用) 华为云计算技术有限公司 收集设备型号、设备名称、设备磁盘信息、设备内存信息、设备品牌、设备CPU信息、操作系统名称、操作系统版本、APP版本、APP名称、APP进程信息、APP线程信息、Wi-Fi状态信息。 帮助用户采集APP性能分析相关数据,并上报到应用性能管理服务。 隐私与敏感信息保护声明
  • 查看KafkaProducer监控 topic监控 可以在topic监控页签下查看所选实例的信息,具体指标以及说明,参见表1。 图2 查看KafkaProducer监控 表1 topic监控参数说明列表 指标集 指标 说明 topic监控 id 消息组id,是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 总消费次数 总消费次数。 总消费字节数 总消费字节数。 每秒消费字节 每秒消费字节。 请求获取平均字节 请求获取平均字节。 请求获取最大字节 请求获取最大字节。 每秒消费消息数 每秒消费消息数。 单次请求平均消息数 单次请求平均消息数。 在搜索框中输入“id”、“topic”内容后单击,展示包含搜索内容的所有信息。 单击“总消费次数”、“总消费字节数”等列的蓝色字体数值,可以查看所选时间段内“总消费次数”、“总消费字节数”等列的趋势图。 fetch监控 可以在fetch监控页签下查看所选实例的信息,具体指标以及说明,参见表2。 表2 fetch监控参数说明列表 指标集 指标 说明 fetch监控 id 消息组id,是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 总消费次数 总消费次数。 总消费字节数 总消费字节数。 每秒消费字节 每秒消费字节。 请求平均延时 请求平均延时。 请求最大延时 请求最大延时。 每秒请求数 每秒请求数。 请求获取平均字节 请求获取平均字节。 请求获取最大字节 请求获取最大字节。 每秒消费消息数 每秒消费消息数。 最大堆积消息数 最大堆积消息数。 单次请求平均消息数 单次请求平均消息数。 在搜索框中输入“id”、“topic”内容后单击,展示包含搜索内容的所有信息。 单击“总消费次数”、“总消费字节数”等列的蓝色字体数值,可以查看所选时间段内“总消费次数”、“总消费字节数”等列的趋势图。 partition监控 可以在partition监控页签下查看所选实例的信息,具体指标以及说明,参见表3。 表3 partition监控参数说明列表 指标集 指标 说明 partition监控 id 消息组id,是由消费组 consumer + topic+ {sequenceId} +kakfa ips组成。 topic kafka的topic名称。 sequencelds 消息序列id。 堆积消息数 堆积消息数。 平均堆积消息数 平均堆积消息数。 最大堆积消息数 最大堆积消息数。 在搜索框中输入“id”、“topic”内容后单击,展示包含搜索内容的所有信息。 单击“堆积消息数”、“平均堆积消息数”等列的蓝色字体数值,可以查看所选时间段内“堆积消息数”、“平均堆积消息数”等列的的趋势图。 消费方法监控 可以在消费方法监控监控页签下查看所选实例的信息,具体指标以及说明,参见表4。 表4 消费方法监控监控参数说明列表 指标集 指标 说明 消费方法监控 topic kafka的topic名称。 调用次数 调用次数。 平均响应时间 平均响应时间。 错误数 错误数。 最大并发 最大并发。 最慢调用 最大响应时间。 0-10ms 时延在0-10ms范围请求数。 10-100ms 时延在10-100ms范围请求数。 100-200ms 时延在100-200ms范围请求数。 200-1000ms 时延在200-1000ms范围请求数。 1-10s 时延在1-10s范围请求数。 10s-n 时延在10s以上请求数。 单击“topic”、“调用次数”、“平均响应时间(ms)”等列的蓝色字体数值,可以查看所选时间段内“topic”、“调用次数”、“平均响应时间(ms)”等列的趋势图。 异常 可以在异常页签下查看KafkaProducer监控的异常统计信息,具体指标以及说明,参见表5。 表5 异常参数说明列表 指标集 指标 说明 异常 causeType 异常发生类。 exceptionType 异常类。 次数 异常次数。 消息 异常消息。 错误堆栈 错误堆栈。 单击“异常数量”、“次数”等列的蓝色数值,可以查看所选时间段内该线程的趋势图。 单击“异常消息”列的蓝色文字,可以查看异常消息的详细内容。 单击“错误堆栈”列的“查看详情”可以查看异常的详细信息。 单击“错误堆栈”列的“历史信息”可以查看该类名的历史异常堆栈列表。 总览 可以在总览页签下查看所选实例的调用趋势图,具体指标以及说明,参见表6。选中某一个时间节点时,图表支持联动。展示该时间节点下各个指标的实际数值。 表6 总览参数说明列表 指标集 指标 说明 总览 总发送次数 总发送次数。 总发送字节数 总发送字节数。
  • 版本更新说明 表1 版本更新说明 版本号 更新说明 1.0.61 过滤掉性能加载数据中LCP为0的数据 1.0.59 新增采样率设置。 1.0.58 新增对furion探针的支持。 1.0.57 新增CLS LCP指标 1.0.48 新增绘制延迟指标采集,默认关闭,通过enableInp参数开关控制。 1.0.47 新增pvid和ssid字段上报,用于会话追踪和流量分析。 1.0.46 新增自定义标签uid和tag,新增__rum.setUid和__rum.setTag方法。
  • 组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 MRS 提供了基于弹性公网IP来便捷访问组件WebUI的安全通道,并且比用户自己绑定弹性公网IP更便捷,只需界面鼠标操作,即可简化原先用户需要自己登录虚拟私有云添加安全组规则,获取公网IP等步骤,减少了用户操作步骤。 分析集群Hadoop、Spark、HBase、Hue及流式集群等相关组件,都可以在Manager上找到组件页面入口,快速访问。 更多关于MRS集群内托管的开源组件WebUI界面登录操作指导,请参考访问MRS集群上托管的开源组件Web页面。 父主题: 产品功能
  • HDFS结构 HDFS包含主、备NameNode和多个DataNode,如图1所示。 HDFS是一个Master/Slave的架构,在Master上运行NameNode,而在每一个Slave上运行DataNode,ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和JournalNode能部署在运行Linux的服务器上。 图1 HA HDFS结构 图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等,分为: Active NameNode:管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。 Standby NameNode:与Active NameNode中的数据保持同步;随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据,并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode HA集群下,用于同步主备NameNode之间的元数据信息。 ZKFC ZKFC是需要和NameNode一一对应的服务,即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态,并及时把状态写入ZooKeeper。ZKFC也有选择谁作为Active NameNode的权利。 ZK Cluster ZooKeeper是一个协调服务,帮助ZKFC执行主NameNode的选举。 HttpFS gateway HttpFS是个单独无状态的gateway进程,对外提供webHDFS接口,对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输,及用于访问在防火墙后的HDFS(HttpFS用作gateway)。 HDFS HA架构 HA即为High Availability,用于解决NameNode单点故障问题,该特性通过主备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备NameNode,从而不间断对外提供服务。 在一个典型HDFS HA场景中,通常由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。 为了能实现Active和Standby两个NameNode的元数据信息同步,需提供一个共享存储系统。本版本提供基于QJM(Quorum Journal Manager)的HA解决方案,如图2所示。主备NameNode之间通过一组JournalNode同步元数据信息。 通常配置奇数个(2N+1个)JournalNode,且最少要运行3个JournalNode。这样,一条元数据更新消息只要有N+1个JournalNode写入成功就认为数据写入成功,此时最多容忍N个JournalNode写入失败。比如,3个JournalNode时,最多允许1个JournalNode写入失败,5个JournalNode时,最多允许2个JournalNode写入失败。 由于JournalNode是一个轻量级的守护进程,可以与Hadoop其它服务共用机器。建议将JournalNode部署在控制节点上,以避免数据节点在进行大数据量传输时引起JournalNode写入失败。 图2 基于QJM的HDFS架构
  • HDFS可靠性 MRS使用HDFS的副本机制来保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。 当MRS集群中Core节点规格选择为非本地盘(hdd)时,若集群中只有一个Core节点,则HDFS默认副本数为1。若集群中Core节点数大于等于2,则HDFS默认副本数为2。 当MRS集群中Core节点规格选择为本地盘(hdd)时,若集群中只有一个Core节点,则HDFS默认副本数为1。若集群中有两个Core节点,则HDFS默认副本数为2。若集群中Core节点数大于等于3,则HDFS默认副本数为3。 图3 HDFS架构 MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度,有助于扩容节点或扩容磁盘后的HDFS存储性能提升。
  • 特性描述 MRS联合 消息通知 服务( SMN ),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。 首先,作为主题拥有者,可以先创建一个主题,并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发送至您有权限发布消息的主题,然后所有订阅了该主题的订阅者(可以是手机短信、邮箱等)都将收到集群变更以及组件告警的消息。 图1 MRS集群状态消息通知 更多关于MRS集群告警事件消息通知操作,请参考配置MRS集群告警事件消息通知。
  • 特性简介 大数据集群运行过程中经常会进行如下操作: 大数据集群变更,比如扩容、缩容集群。 业务数据量突然变化,集群触发弹性伸缩。 相关业务结束,需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功,以及当集群出现大数据服务不可用,或节点故障时,用户希望不用频繁登录集群查看,就可以及时地收到告警通知。MRS联合消息通知服务(SMN),可以将以上信息主动地通知到用户的手机及邮箱,让维护更加省心省力。
  • HetuEngine结构 HetuEngine包含不同模块,整体结构如图1所示。 图1 HetuEngine结构图 表1 各模块说明 模块名称 常见概念名称 描述 云服务层 HetuEngine CLI/JDBC HetuEngine的客户端,使用者通过客户端向服务端提交查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域(DC)高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点,提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点,提供数据源数据并行拉取,分布式SQL计算等能力。
  • 节点隔离 当用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 在为MRS集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离MRS集群内的非管理节点。 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 更多关于MRS集群节点隔离操作,请参考隔离MRS集群节点。 父主题: 集群管理
  • Hudi支持三种视图,针对不同场景提供相应的读能力 Snapshot View 实时视图:该视图提供当前hudi表最新的快照数据,即一旦有最新的数据写入hudi表,通过该视图就可以查出刚写入的新数据。 cow表和mor均支持这种视图能力。 Incremental View 增量视图:该视图提供增量查询的能力,可以查询指定COMMIT之后的增量数据,可用于快速拉取增量数据。 cow表支持该种视图能力, mor表也可以支持该视图,但是一旦mor表完成compact操作其增量视图能力消失。 Read Optimized View 读优化视图:该视图只会提供最新版本的parquet文件中存储的数据。 该视图在cow表和mor表上表现不同: 对于cow表,该视图能力和实时视图能力是一样的(cow表只用parquet文件存数据)。 对于mor表,仅访问基本文件,提供给定文件片自上次执行compact操作以来的数据, 可简单理解为该视图只会提供mor表parquet文件存储的数据,log文件里面的数据将被忽略。 该视图数据并不一定是最新的,但是mor表一旦完成compact操作,增量log数据被合入到了base数据里面,这个时候该视图和实时视图能力一样。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全