检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整后的集群与原集群的虚拟私有云、子网和安全组相同。 在“调整到”中可以设置新集群的节点数量。 如果集群规格磁盘大小可选择,还可以选择磁盘存储类型,以及每节点可用磁盘存储容量。 其中“极速型SSD”、“极速型SSD V2”存储类型仅ECS+EVS形态支持。
vfs_scan_bytes bigint OBS虚拟文件系统接收到上层请求的扫描的字节数,单位Bytes。该字段仅对存算分离3.0表及外表生效。 vfs_remote_read_bytes bigint OBS虚拟文件系统实际从OBS读取的字节数,单位Bytes。
vfs_scan_bytes bigint OBS虚拟文件系统接收到上层请求的扫描的字节数,单位Bytes。该字段仅对存算分离3.0表及外表生效。 vfs_remote_read_bytes bigint OBS虚拟文件系统实际从OBS读取的字节数,单位Bytes。
vfs_scan_bytes bigint OBS虚拟文件系统接收到上层请求的扫描的字节数,单位Bytes。该字段仅对存算分离3.0表及外表生效。 vfs_remote_read_bytes bigint OBS虚拟文件系统实际从OBS读取的字节数,单位Bytes。
数据治理中心DataArts Studio的核心主要是智能数据湖FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。
vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 availability_zone 否 String 配置集群可用区。集群可用区选择详情请参见地区和终端节点。 说明: 暂不支持同时选择多个可用区。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表 调优表实践 在本实践中,您将学习如何优化表的设计。
bandwidth Integer 绑定状态: 0:未绑定 1:已绑定 vpc_id String 虚拟私有云ID。
5 enable_xlog_group_insert 用于指定在ARM平台下,xlog是否启动group的插入方式。
vpc_id 是 String 指定虚拟私有云ID,用于集群网络配置。 subnet_id 是 String 指定子网ID,用于集群网络配置。 security_group_id 否 String 指定安全组ID,用于集群网络配置。
0:打开SMP自适应功能,系统会根据资源情况和计划特征动态为每个查询选取[1,8]之间(x86平台),[1,64]之间(鲲鹏平台)的最优的并行度。 [-64,-1]:打开SMP自适应功能,并限制自适应选取的最大并行度。
设置Java内存分配 DSC支持通过参数控制Java虚拟机(JVM)的内存分配量,并预设默认值。
表4 NetResp 参数 参数类型 描述 virtual_cluster_id Integer 虚拟集群ID。 ctime Long 查询时间。 host_id Integer 主机ID。 host_name String 主机名称。
可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 Ring 安全环,集群内部的故障隔离域,主要作用是故障隔离,环内主机出现故障,故障不会扩散到环外。 如果环内某一单节点故障,所有DN节点在环内都有副本,数据不会丢失。
例如,考虑选择表的主键为分布列,如在人员信息表中选择身份证号码为分布列。 在满足上面原则的情况下,考虑选择查询中的连接条件为分布列,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。
表2 CDM集群参数 参数名 取值 当前区域 华北-北京四(与DWS选择在同一区域) 可用区 可用区1(如果资源售罄则选其他可用区) 名称 CDM-demo 实例类型 cdm.large(如售罄请选择其他规格) 虚拟私有云 demo-vpc(与DWS选择在同一个VPC) 子网 subnet-f377
弹性变更规格需要停止虚拟机,仅支持离线变更,变更时间大约需要5~10分钟。 包年/包月计费模式集群可进行弹性变更规格升配操作,默认按照包年包月计费,不支持直接降配操作,用户需转按需后再进行降配操作。 经典规格变更 存算一体(单机部署)及存算分离集群暂不支持经典变更规格功能。
表2 硬件配置 参数项 取值样例 计费模式 按需计费 可用区 可用区2 虚拟私有云 vpc-01 子网 subnet-01 安全组 自动创建 弹性公网IP 10.x.x.x 企业项目 default Master节点 2 分析Core节点 3 分析Task节点 0 填写高级配置参数如下表
-vmargs 虚拟机参数的起始位置。 说明: -vmargs参数必须配置于配置文件的末尾。
基于ECS弹性云服务器底层基础能力,升降目标集群虚拟机节点的CPU、内存这两种资源配置,如下图所示: 弹性变更规格整个流程需要停止集群,所以需要用户合理安排变更时间窗口,防止集群停止影响业务。