检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 用户问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 原因分析 MRS 3.x版本存在Hue依赖Hive组件。 处理步骤 如果出现此情况,首先需要检查当前集群是否安装了Hive组件,如果没有,需要安装Hive。
建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat
告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
kerberos.principal”,其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole
DateTime DECIMAL Decimal 前提条件 集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务。 客户端已安装,例如安装路径为:/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
警恢复。 告警属性 告警ID 告警级别 可自动清除 14012 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 IP 产生告警的JournalNode实例的业务IP地址。 对系统的影响 当一个Journ
使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和
S为例) 可能原因三:端口被占用,每一个Spark任务都会占用一个SparkUI端口,默认为22600,如果被占用则依次递增端口重试。但是有个默认重试次数,为16次。16次重试都失败后,会放弃该任务的运行。 查看端口是否被占用: ssh -v -p port username@ip
警恢复。 告警属性 告警ID 告警级别 可自动清除 14002 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
执行相应的SQL命令,Spark任务将会在上面的调度池中运行。 设置BroadCastHashJoin的超时时间。 BroadCastHashJoin有超时参数,一旦超过预设的时间,该查询任务直接失败,在多并发场景下,由于计算任务抢占资源,可能会导致BroadCastHashJoin的Spa
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件 YuanJing
Spark多服务场景下,普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时,当使用多服务时,普通用户无法登录spark-beeline。报错如下图所示: 原因 当Hive同时存在多场景服务时,普通用户不属于Hive用户组,没有Hive目录权限,导致无法登录。 解决方法
Spark从HBase读取数据再写入HBase样例程序(Java) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4,ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
逻辑:以下两种情况下判定这两辆车是同行车: 如果两辆车都通过相同序列的收费站, 通过同一收费站之间的时间差小于一个特定的值。 该例子有两种实现模式,其中实现1的逻辑如图1所示,实现2的逻辑如图2所示。 图1 实现1逻辑 实现1的逻辑说明 : 根据车牌号聚合该车通过的所有收费站并排序,处理后数据如下:
告警属性 告警ID 告警级别 是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。当发生主备倒换
建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
告警属性 告警ID 告警级别 是否可自动清除 45649 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Get
(ms)/CPU time spent (ms)<10%。 主要通过如下参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 建议:配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce