检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,选择“HiveServer(角色) > 自定义”修改HiveServer角色的“hive-site.xml”自定义配置文件,增加HBase配置文件的如下配置项。 从已下载的HBase客户端配置文件的hbase-site
是,执行7。 否,执行3。 单击“配置”,检查Hue配置项“HUE_FLOAT_IP”和“HTTP_PORT”是否正确。 是,执行4。 否,修改正确的Hue服务浮动IP地址与端口。 在业务网络执行telnet HUE节点IP HTTP_PORT或者telnet HUE_FLOAT_IP
datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du
可能原因 ClickHouse访问OBS的endpoint等参数错误。 OBS服务异常。 处理步骤 检查冷热分离相关配置信息是否正确。如果不正确,修改错误配置,重启ClickHouse实例,等待3分钟后观察告警是否恢复。 是,操作结束。 否,执行2。 收集故障信息 在FusionInsight
等操作。 可能原因 ClickHouse配置的OBS参数错误。 IAM服务异常。 处理步骤 检查冷热分离相关配置信息是否正确。如果不正确,修改错误配置,重启ClickHouse实例后,等待3分钟后观察告警是否恢复。 是,操作结束。 否,执行2。 收集故障信息 在FusionInsight
ClickHouseServer(角色) > 引擎”,修改如下参数: 参数 参数说明 kafka.sasl_kerberos_principal 连接Kafka的principal,输入1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的域名。 kafka.sasl_mechanisms
$BIGDATA_CLIENT_HOME “$BIGDATA_CLIENT_HOME”为HBase客户端安装目录,例如“/opt/client”。 然后执行: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。
enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false
在FusionInsight Manager的告警列表中,查看是否有“进程故障”产生。 是,执行5。 否,执行8。 在“进程故障”,查看“服务名”是否为“ZooKeeper”。 是,执行6。 否,执行8。 参考“ALM-12007 进程故障”的处理步骤处理该故障。 在告警列表中,查看“Hive服务不可用”告警是否清除。
> 告警 > 阈值设置 > Kudu”,找到该告警的阈值,再对比集群Kudu实例的内存监控项,看是否超过阈值,处理内存使用率过高的问题,或修改阈值。 在“运维 > 告警”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4。 收集故障信息 在FusionInsight Manager首页,单击“运维
阈值设置 > Kudu”,找到该告警的阈值,再对比集群Kudu实例的CPU使用率监控项,和阈值对比,查看超阈值情值,处理CPU使用率过高的问题,或修改阈值。 在“运维 > 告警”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4。 收集故障信息 在FusionInsight Manager首页,单击“运维
在“Sqoop连接”中输入指定连接的名称,可以筛选该连接。 编辑连接 在Loader页面,单击“管理连接”。 单击指定连接的名称,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某
datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du
-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。 图1 hdfs-site.xml 父主题: 调测HDFS应用
早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称: 打开日志配置文件,默认在“<客户端安装目录>/Spark/spark/conf/log4j-executor.properties”。
使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明
使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。
超过阈值。 处理步骤 检查非堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43007”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群
单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 步骤二:创建集群用户 开启Kerberos认证的集群,必须通过以下步骤创建一个用户并分配相应权限来允许用户执行程序。
使用HBase客户端创建表操作案例可参考使用HBase客户端创建表,该视频以关闭Kerberos认证的MRS 3.1.0版本集群为例,介绍MRS集群创建成功后,如何使用HBase客户端创建表,往表中插入数据及修改表数据等操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 步骤一:创建MRS集群