检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
前50条审计日志时无法查询。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录不满足配置条件。 转储目录的磁盘空间不足。 处理步骤 检查网络连接是否正常。 在FusionInsight Manager界面,选择“审计 > 配置”,进入审计日志转储配置页面。 查看转储配置页面中当前的SFTP
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能造成主机上业务无法发起对外建立连接,业务中断。 可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。
File Channel:基于WAL(预写式日志Write-Ahead Logging)的持久化实现。 JDBC Channel:基于嵌入Database的持久化实现。 Channel支持事务,可提供较弱的顺序保证,可以和任何数量的Source和Sink工作。 Sink Sink负责将
Ldap为用户认证提供数据存储。 集群中的Ldap作为OMS Ldap的备份,其服务名称为LdapServer,角色实例为SlapdServer。 Database Manager的数据库,负责存储日志、告警等信息。 HA 高可用性管理模块,主备OMS通过HA进行主备管理。 NTP Server
已成功安装集群,包含Kafka及Flume服务。 确保集群网络环境安全。 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight
在CarbonData表加载数据之后,用户可以执行所需的查询操作,例如groupby或者where等。 前提条件 已安装客户端,具体参见使用MRS客户端。 操作步骤 连接到Spark CarbonData。 根据业务情况,准备好客户端,使用root用户登录安装客户端的节点。 例如在Master2节点更
警。 Kafka Topic流量激增,短时间内产生大量消息,导致消息积压。 下游处理Kafka Topic中消息过慢,导致消息积压。 处理步骤 检查是否为新创建的消费者组。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。查看当前告警详细信息,
已成功安装集群,包含Kafka及Flume服务。 确保集群网络环境安全。 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight
门的协同应用,十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前,除主管理节点以外的客户端,需要下载并更新客户端配置文件。 操作步骤 下载客户端配置文件。 登录FusionInsight Manager页面,具体请参见访问集群Manager。 MRS 3.3.0之前版本:选择“集群
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
该节点与主OMS节点NTP服务不能正常同步时间。 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。 该节点与主OMS节点NTP服务时间偏差太大。 处理步骤 检查该节点的NTP服务是否正常启动。 检查ntpd进程是否运行在告警节点上。登录告警节点,执行sudo su - root切换用户。执行
员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn
员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean install进行编译。 当输出“BUILD SUCC
lient”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "http://10-120-8
可能原因 系统证书文件(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)剩余有效期小于30天。 处理步骤 查看告警原因。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的。 查看“附加信息”,获取告警附加信息。
该操作指导用户在MRS集群添加多服务更新服务客户端失败时,手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群 > 服务 > JobGateway > 实例”,查看所有JobServer实例节点IP。 获取部署了
ht_Cluster_<集群ID>_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。 复制客户端安装包至当前节点的其他
totalZeroCopyBytesRead : 0 进入debug模式(可选)。 make gdb 执行该命令之前需要安装GDB,安装步骤可参考安装GDB。 执行结果如下。 [root@10-120-85-2 hdfs-c-example]# make gdb gdb hdfs_test