检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在L
步骤三:在Yonghong配置访问HetuEngine参数 打开Yonghong Desktop,选择“添加数据源 > presto”。 在数据源配置页面参考下图完成参数配置,“用户名”和“密码”为已创建的“人机”用户的用户名和用户密码。配置完成后可以单击“测试连接”测试。 图2 数据源配置
Forbidden 使用当前用户访问Yarn WebUI界面,无法查看作业信息: 使用当前用户登录Hue WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对应组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS
login.config”设置的jaas.conf文件用来设置访问ZooKeeper相关认证信息,样例代码中包含Client_new和Client两部分,Client_new的配置用来访问FusionInsight ZooKeeper,Client用来访问Apache ZooKeeper。
客户端安装目录/bigdata_env 如果是安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限),如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit Hive组件操作用户 MRS 3.2.0之前版本,登录FusionInsight Manager,选择“集群
数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。 修改MRS集群NTP服务器步骤 登录FusionInsight Manager,查看是否存在未清除的告警?
netmask <掩码> 连接到OMS主节点,尝试连接浮动IP,查看当前主机名是否为上述Hue主实例节点。 su - omm ssh <浮动ip> 是,浮动IP正常,若Hue WebUI依然不能访问,请联系技术支持。 否,浮动IP被占用,执行5。 登录到集群内Hue主实例外的其他所有节点,
testConnectHive();//访问FusionInsight ZooKeeper的方法 testConnectApacheZk();//访问开源ZooKeeper的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight
testConnectHive();//访问FusionInsight ZooKeeper的方法 testConnectApacheZk();//访问开源ZooKeeper的方法 } 访问FusionInsight ZooKeeper 如果仅需运行访问FusionInsight
配置组件隔离访问Hive MetaStore 操作场景 MRS 3.2.0及之后的版本支持此功能,此功能用于限制集群内组件连接指定的Hive MetaStore实例,组件默认可连接所有MetaStore实例。 目前集群中支持连接MetaStore的组件有HetuEngine、Hi
ALM-45451 ClickHouse访问OBS失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统配置冷热分离功能后,每隔1分钟检测一次当前访问OBS的状态,当连续3次检测到访问OBS失败时,系统产生告警。 当检测到系统访问OBS成功时,告警自动消除。 告警属性 告警ID
、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
、导出数据的大小。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。
登录Manager时界面报错“认证信息无效” 问题现象 登录MRS集群的Manager界面时,输入用户名及密码信息后登录失败,界面提示“认证信息无效”。 原因分析 当前输入的用户名或密码信息错误。 当前登录用户的密码已过期。 处理步骤 如果用户密码输入错误,请检查并输入正确密码。
获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK). 若没有可用的访问密钥,需单击“新增访问密钥”,输入
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
如果MRS集群开启了Kerberos认证,登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加一个人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 参考添加Spark2x的Ranger访问权限策略章节,添加“ADD JAR操作”权限。
User”下选择框选择用户。 设置用户在指定Yarn队列提交任务的权限 在“Queue”配置队列名。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“submit-app”。 设置用户在指定Yarn队列管理任务的权限
访问Spark WebUI界面 操作场景 MRS集群安装Spark组件后,用户可以通过Spark WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Sp