检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
out)文件排查。 如下异常: Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时,将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了,如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.11补丁安装后,需要登录备Master节点(登录MRS Manager,在
在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。
在HBase连续对同一个表名做删除创建操作时出现创建表异常 问题 在HBase连续对同一个表名做删除创建操作时,可能出现创建表异常。 回答 执行过程:Disable Table > Drop Table > Create Table > Disable Table > Drop Table
本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠;
parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VM:创建虚拟机中 Initializing VM:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying cluster:部署集群中
告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能会导致部分需要连接此节点的操作(如重启、同步配
Manager,重启期间会引起MRS Manager服务暂时不可用。如果集群之前安装了1.9.2.3补丁,安装完MRS 1.9.2.5补丁后不需要重启服务,否则安装MRS 1.9.2.5补丁需要滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务。 安装MRS 1.9
6补丁安装之后,HBase和Hue的配置状态会变成过期状态,需要手动在MRS Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考重启MRS集群组件。 图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能,弹性公网IP使用及注意事项说明参考访问MRS集群Manager。
安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,
HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。 表1
parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VM:创建虚拟机中 Initializing VM:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying cluster:部署集群中
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
图1 查看MRS服务管理费用 如果集群版本类型为“LTS版”:按“MRS-LTS服务费用”进行筛选。 如果集群版本类型为“普通版”: 2022年6月及其之前购买的集群:按“MapReduce服务虚拟机”进行筛选。 2022年6月之后购买的集群:按“MRS-BASIC服务费用”进行筛选。
待操作集群的名称 > 服务 > Yarn > 实例”。 单击部署NodeManager节点对应角色实例名称,并切换到“实例配置”,选择“全部配置”。 “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1
${port}命令,查看组件的默认端口号是否存在。 如果不存在,说明用户修改了默认的端口号。请修改为默认端口,再重新连接HDFS。 如果存在,请联系技术服务。 ${ port }:表示与组件版本相对应的组件默认端口号。 如果用户修改了默认端口号,请使用修改后的端口号连接HDFS。不建议修改默认端口号。