检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MRS客户端操作OpenTSDB指标数据 用户可以根据业务需要,在MRS集群的客户端中进行交互式操作。启用Kerberos认证的集群,需要操作的用户属于“opentsdb,hbase,opentsdbgroup和supergroup”组且拥有HBase权限。 前提条件 获取用
概述 “算子帮助”章节适用于MRS 3.x及后续版本。 转换流程 Loader读取源端数据,通过输入算子将数据按规则逐一转换成字段,再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。
Loader算子说明 转换流程 Loader读取源端数据,通过输入算子将数据按规则逐一转换成字段,再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。 不符合转换规则的数据,将成为脏数据跳过。
准备连接HBase集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下HBase权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业
配置Flink应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。用户在提交Flink应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。
配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据,通过Spark组件、Flink组件或者Hudi客户端,可以将Hudi表的数据映射为Hive外部表,基于该外部表,Hive可以进行实时视图查询、读优化视图查询以及增量视图查询。 根据
执行join操作时localtask启动失败 问题背景与现象 执行join等操作,数据量较小时,会启动localtask执行,执行过程会报错: jdbc:hive2://10.*.*.*:21066/> select a.name ,b.gender from student a
ALM-19021 RegionSever handler 使用率超过阈值 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer的handler使用率。当检测到某个RegionServer上的handler使用率超出阈值(默认连续5次超过默认阈值90%)
security.SecurityUtil.buildDTServiceName不支持在uri中填写多个alluxiomaster的地址。 处理步骤 使用alluxio:///或者alluxio://<主AlluxioMaster的ip或hostname>:19998/进行访问。 父主题:
ALM-45282 UserSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务直接内存使用状态,当连续5次检测到UserSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当UserSync直接内存使用率小于或等于阈值时,告警恢复。
ALM-45290 PolicySync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测PolicySync服务直接内存使用状态,当连续5次检测到PolicySync实例直接内存使用率超出阈值(最大内存的90%)时,产生该告警。当PolicySync直接内存使用率小于或等于阈值时,告警恢复。
ALM-45292 PolicySync垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测PolicySync进程的垃圾回收(GC)占用时间,当连续5次检测到PolicySync进程的垃圾回收(GC)时间超出阈值时,产生该告警。垃圾回收(GC)时间小于阈值时,告警恢复。
ALM-12072 floatip资源异常 告警解释 HA每9秒周期性检测Manager的floatip资源。当HA连续3次检测到floatip资源异常时,产生该告警。 当HA检测到floatip资源正常后,告警恢复。 floatip资源为单主资源,一般资源异常会导致主备倒换,看
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法时,告警恢复。 告警属性 告警ID
打开或关闭Independent属性,根据提示输入密码,单击“确认”完成身份验证。 身份验证通过后,等待修改OMS配置完成,单击“完成”结束操作。 关闭Independent属性功能后: 已拥有这个属性的业务用户可以在右上角用户名下取消Independent属性,取消后无法重新设置
算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CSV文件输入
安全认证有两种方式: 命令行认证: 提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了Kudu的客户端。 代码认证: 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题: 准备Kudu应用开发环境
是一样的,只是job配置“job.properties”与工作流配置“workflow.xml”不一样。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。 父主题: 通过Java API提交Oozie作业
容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。 处理步骤 以root用户登录集群的任意一个Master节点。 登录成功后,执行chmod 666 /dev/null命令,修改“/dev/null”的权限值为“666”。