检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理MRS集群 MRS集群管理概述 MRS集群Manager简介 访问MRS集群Manager 管理MRS集群 管理MRS集群组件 管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源
准备工作 配置MRS云服务授权 创建IAM用户并授权使用MRS 创建MRS IAM自定义权限策略
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
为什么不同服务之间互相删除UDF失败 问题 不同服务之间互相删除UDF失败,例如,Spark SQL无法删除Hive创建的UDF。 回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline
ALM-12015 设备分区文件系统只读 告警解释 系统按60秒周期进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因),则告警恢复。
查看MRS集群告警 用户可以在MRS上查看、清除告警。一般情况下,告警处理后,系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时,可手动清除告警。在MRS界面可查看最近十万条告警(包括未清除的、手动清除的和自动清除的告警)。如果已清除告警超过十万条
ce /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
器,允许Hadoop或Flink进行数据处理。 对于分析的结果,可以写回成TsFile文件。 IoTDB和TsFile还提供了相应的客户端工具,满足用户以SQL形式、脚本形式和图形形式写入和查看数据的各种需求。 操作流程 步骤1:创建MRS集群:创建一个包含有IoTDB组件的MRS集群。
退服操作仅针对ClickHouseServer进行,不支持对ClickHouseBalancer进行退服操作。 本操作仅适用于MRS 3.1.2及之后版本。 使用PuTTY工具,以root用户登录ClickHouseServer所在节点,执行如下命令: echo 'select * from system.clusters'
clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-exa
ALM-17011 Oozie连接Yarn状态异常 告警解释 Oozie会依赖Yarn,提交任务后系统会检测Yarn连接状态,当检测到与Yarn的连接状态连续5次异常时,产生该告警。 当检测到Oozie连接Yarn状态正常时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
ALM-17008 Oozie连接ZooKeeper状态异常 告警解释 在HA模式下,Oozie会依赖ZooKeeper,当检测到与ZooKeeper的连接状态连续3次异常时,产生该告警。 当检测到Oozie连接ZooKeeper状态正常时,告警清除。 告警属性 告警ID 告警级别
ALM-17010 Oozie连接HDFS状态异常 告警解释 Oozie会依赖HDFS,提交任务后系统会检测HDFS连接状态,当检测到与HDFS的连接状态连续3次异常时,产生该告警。 当检测到Oozie连接HDFS状态正常时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
ALM-17009 Oozie连接DBService状态异常 告警解释 Oozie会依赖DBService,提交任务后系统会检测DBService连接状态,当检测到与DBService的连接状态连续10次异常时,产生该告警。 当检测到Oozie连接DBService状态正常时,告警清除。
查看MRS集群节点运行状态 MRS集群运行过程中,用户可以在管理控制台或者集群Manager界面中实时查看集群内各节点运行状态,及时识别资源异常问题。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
Guardian日志介绍 日志描述 日志路径:Guardian相关日志的存储路径为:“/var/log/Bigdata/guardian/token-server”。 日志归档规则:Guardian的运行日志启动了自动压缩归档功能,当日志大小超过50MB的时候(此日志文件大小可进
Httpd:/var/log/Bigdata/httpd(httpd安装、运行日志) logman:/var/log/Bigdata/logman(日志打包工具日志) NodeAgent:/var/log/Bigdata/nodeagent(NodeAgent安装、运行日志) okerberos: