检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“操作类型”右侧的,选择“保存配置 > 确定”,再单击“搜索”。 查看搜索结果中“服务”列为与Hive、ZooKeeper相关的服务,检查近期修改的配置,表1为部分可能影响Hive连接ZooKeeper的配置。 表1 Hive连接ZooKeeper的相关配置 服务 参数名称
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。 执行以下命令,切换到客户端目录,例
connection-password xxxx 数据库密码 重启Presto服务。 启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。 presto_cli.sh --krb5-config-path {krb5.conf文件路径} --krb5-principal
到右侧的操作界面中并将其连接。 采用SpoolDir Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
JobStart,JobEnd)按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务,其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryS
JobStart,JobEnd)按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用,Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务,其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryS
图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录
果没指定租户信息,默认使用Yarn为用户指定的默认租户,可能出现多个用户都默认使用相同的租户队列,从而无法达到资源隔离的效果。 如果用户需要进行资源隔离,将SQL分配给指定的资源队列来执行,来达到资源合理分配的目的时,可通过开启租户的严格校验模式来实现该需求,仅需配置“tenant
大内存的90%)时,产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14016 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
作业无法提交如何定位? 问题背景与现象 通过DataArts Studio或者在MRS管理控制台无法提交作业。 问题影响 作业无法提交,业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码,确认错误码是属于APIG还是MRS。 若是公共APIG的错误码(APIG的错误码是APIGW开头),联系公共APIG维护人员。
设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道 NodeManager和ResourceManager间的RPC通道。 Sp
在左侧导航栏中,将鼠标放在某一表上,单击显示在其右侧的图标,界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面,单击右上角的可导入数据,单击可浏览数据,单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进
用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开启了Kerberos认证的集群,已创建具有Hive操作权限的用户。
Map输出键值对,内容为HBase与Hive数据拼接的字符串 context.write(new Text(name), new Text("hbase:" + hbaseData + ", hive:" + hiveData)); } 样例2:HBase数据读取的readHBase方法。
RoleName 产生告警的角色名称。 IP 产生告警的JournalNode实例的业务IP地址。 对系统的影响 当一个JournalNode节点工作状态异常时,其数据就会与其他JournalNode节点的数据不同步。如果超过一半的JournalNode节点的数据不同步时,NameN
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 当一个JournalNode节点工作状态异常时,其数据就会与其他JournalNode节点的数据不同步。如果超过一半的Jou
主集群HBase故障后,主集群的Zookeeper、文件系统和网络依然可用。 场景介绍 Replication机制可以使用WAL将一个集群的状态与另一个集群的状态保持同步。启用HBase备份后,如果主集群出现故障,ReplicationSyncUp工具会使用来自ZooKeeper的信息将主集群中的启用H
CDL不支持抓取表名包含$或者中文等特殊字符的表。 前提条件 MRS集群已安装CDL组件,并且正常运行。 开启Kerberos认证的集群已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录FusionInsight
进程被终止如何定位原因 问题背景与现象 在某环境出现DataNode异常重启,且确认此时未从页面做重启DataNode的操作,需要定位是什么进程终止了DataNode服务端进程。 原因分析 常见的进程被异常终止有2种原因: Java进程OOM被终止 一般Java进程都会配置OOM
er上的replication节点下都有自己的znode。它包含每个对等集群的一个znode。 当RegionServer故障时,主集群的每个RegionServer都会通过watcher收到通知,并尝试锁定故障RegionServer的znode,包含它的队列。成功创建的Reg