检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题: 开发HBase应用
ZooKeeper可用连接数不足,当连接率超过100%时无法处理外部连接,导致上游组件(例如Yarn、Flink等)无法正常运行。 可能原因 该节点ZooKeeper连接量过大,超过阈值。某些连接进程存在连接泄露,或配置的最大连接数不符合实际使用场景。 处理步骤 检查连接状态。 在FusionInsight
连接ClickHouse服务端异常报错“code: 516”如何处理? 问题现象 使用clickhouse client命令连接ClickHouse服务端,报错: ClickHouse exception, code: 516, host: 192.168.0.198, port:
运行模式:选择HDFS连接的运行模式。 步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。
联的数据连接进行删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称
ALM-50229 Doris FE连接OBS不可用 告警解释 系统每30秒周期性检查Doris FE实例节点对OBS的连接是否可用,当检查到连接状态码为非零时,产生该告警。 当检测到连接状态码为零时,告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别
1;sequence=0000001243] 客户端连接JDBCServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的JDBCServer实例。在连接的时候,会从Namespace下随机选择一个实例连接,详细URL参见URL连接介绍。 客户端成功连接JDBCServer服务后,
实际为准。 元数据 选择“外置数据连接”,并配置以下参数: LakeFormation元数据:单击按钮开启。 LakeFormation连接实例:选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型:保持默认。 例如,配置如下图
keytabpath/user.keytab查看。 如果集群有做过切换域名操作,需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM,当集群有切换域名的操作时,该字段需要进行相关修改。如域名为abc.com时,则此处应填写hive/hadoop
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。 该章节内容适用于MRS
Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka,报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1:Spark提交任务默认不会加载kafka的相关包,所以需
ALM-12100 AD服务器连接异常 告警解释 第三方AD对接后,按照同步时间周期(默认60分钟)或手动同步第三方AD域用户,在同步数据时检查AD服务状态,当连续3次检测到AD服务不可用时产生告警。AD服务恢复时,告警清除。 该章节适用于MRS 3.1.5及之后版本。 告警属性
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本: 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
n实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。 父主题: 配置LakeFormation数据连接
大量进程连接到ZooKeeper,导致ZooKeeper连接数被占满,无法对外正常提供服务,导致上游组件(例如Yarn、Flink、Spark等)服务异常。 可能原因 客户端大量进程连接到ZooKeeper,或者自定义阈值设置不合理。 处理步骤 检查客户端是否存在大量进程连接ZooKeeper的情况
SlapdServer连接数超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的进程连接数,并把实际进程连接数和阈值相比较,当进程连接数连续多次(默认值为5)超过设定阈值(默认值为1000)时,系统将产生此告警。 平滑次数可配置,当平滑次数为1,进程连接数小于或等于阈值
准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
ZooKeeper可用连接数不足,当连接率超过百分之百时无法处理外部连接。 可能原因 该节点ZooKeeper连接量过大,超过阈值。某些连接进程存在连接泄露,或配置的最大连接数不符合实际使用场景。 处理步骤 检查连接状态。 在MRS集群详情页,单击“告警管理 > 13001连接数不足 >
数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}