检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer.sh”向输入Topic中写入消息: cd /opt/client
重启配置过期的实例”。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 同步组件配置: 登录Manager页面。 MRS 3.x版本:选择“集群 > 服务”。 MRS
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
compaction.enable true 该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后,如果增量(DELETE / UPDATE)文件超过指定的阈值,则可能发生水平压缩。默认情况下,该参数值设置为“true”,打开水平压缩功能,可将参数值设置为“false”来关闭水平压缩功能。
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
否,执行5。 检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”,在日志中查看具
是,处理完毕。 否,执行5。 检查Oozie与HDFS连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][HDFS]”,在日志中查看具体告警原因
/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer.sh”向输入Topic中写入消息: cd /opt/client
否,执行5。 检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][DB Service]”,在日志中查看
compaction.enable true 该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后,如果增量(DELETE / UPDATE)文件超过指定的阈值,则可能发生水平压缩。默认情况下,该参数值设置为“true”,打开水平压缩功能,可将参数值设置为“false”来关闭水平压缩功能。
需避免不断创建对象或数组,否则容易造成内存耗尽。 Java UDF应该捕获和处理可能发生的异常,不能将异常给服务处理,以避免程序出现未知异常。可以使用try-catch块来处理异常,并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储,或查询外部数据存在较大对象,否则会导致内存占用过高。
0.jar 开发思路 用户访问HBase时,需要使用对应集群的配置文件创建Configuration对象,用于创建Connection对象。 用对应的Connection对象操作HBase表,包括建表、插入数据、查看数据并进行打印。 父主题: Spark同时访问两个HBase样例程序
是,处理完毕。 否,执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因
/src/main/resources com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-producer.sh”向输入Topic中写入消息: cd /opt/client
问: MRS是否支持对DLI服务的业务表进行读写操作? 答: 如果数据存放在OBS上,则支持使用MRS服务中的Spark读取DLI表,对表数据进行灵活处理,结果存入另一张DLI表。 如果数据不存放在OBS上,则不支持。 父主题: 周边生态对接类
开启MRS集群维护模式停止上报告警 FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式,进入维护模式的对象将不再上报告警,避免在升级等维护变更期间系统产生大量无意义的告警,影响运维人员对集群状态的判断。 集群维护模式 集群未正式上线或暂时离线进
部的权限管理细节,对管理员简化了权限管理的操作方法,提升权限管理的易用性和用户体验。 MRS集群权限模型由“用户-用户组-角色-权限”四类对象构成。 图1 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: HDFS针对文件资源权限,有读、写、执行等权限。
运行异常,导致组件作业提交、OMS数据同步等失败。 可能原因 OMS配置同集群规模不匹配。 处理步骤 检查OMS配置同集群规模是否匹配。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,
持一致。 如果HBase数据存储在本地HDFS,支持将HBase元数据备份到OBS。如果HBase数据存储在OBS,则不支持数据备份。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份HBase元数据 在FusionInsight Manager,选择“运维