检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示文件服务器的用户名称。 密码 表示此用户对应的密码。 MRS集群连接 MRS集群连接包含HBase连接、HDFS连接和Hive连接,是Loader与对应各数据进行数据交换的通道。 配置MRS集群连接时,需要设置名称、选择对应的连接器“hbase-connector”、“hdfs-conn
信息,单击“确定”,完成集群连接创建。创建完成后,可在对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。 版本 选择集群版本。 是否安全版本
管理MRS集群数据连接 本章节主要介绍如何在MRS管理控制台上创建、查看和删除集群数据连接。 创建数据连接 登录MRS管理控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 配置RDS MySQL数据连接相关操作请参考为已有MRS集群创建RDS数据连接相关操作进行配置。
在Loader页面,单击“新建作业”。 在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。
MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据:元数据存储于集群内自带的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:可以为MRS
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
JDBCServer连接失败 问题现象 提示ha-cluster不识别(unknowHost或者必须加上端口)。 提示连接JDBCServer失败。 原因分析 问题1:使用spark-beeline命令连接JDBCServer,因为MRS_3.0以前的JDBCServer是HA模式,因此需要使用特定的URL和MRS
MRS如何连接spark-beeline? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与Z
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与Z
使用Python远程连接HDFS的端口失败 用户问题 使用Python远程连接HDFS的端口失败,如何解决? 问题现象 用户使用Python远程连接HDFS的50070端口失败。 原因分析 HDFS开源3.0.0以下版本的默认端口为50070,3.0.0及以上的默认端口为9870
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下: 推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris
ZooKeeper连接断开 告警解释 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况,如果检测连接失败,系统产生告警(告警原因为ZooKeeper连接异常)。如果连续3次检测连接失败,系统产生告警(告警原因为ZooKeeper连接断开)。 当系统检测到有一次连接成功,告警自动清除。
数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数
准备连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Flink权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限
MRS如何连接spark-shell? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,默认为29982,也可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查
如何使用PySpark连接MRS Spark? 问: 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答: 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败,报错:Timed out waiting for a free available connection。 可能原因 DBService连接较多,获取连接超时。 操作步骤 客户端是否使用Spark-SQL客户端执行SQL。
提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常,导致Spark任务提交失败。 原因分析 在Driver端打印异常如下,打印连接两个ResourceManager主备节点的26004端口均被拒绝: 15/08/19