检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤三:在Yonghong配置访问HetuEngine参数 打开Yonghong Desktop,选择“添加数据源 > presto”。 在数据源配置页面参考下图完成参数配置,“用户名”和“密码”为已创建的“人机”用户的用户名和用户密码。配置完成后可以单击“测试连接”测试。 图2 数据源配置
面无法访问。 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。 如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1
Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop1”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop1”,关联角色“default”的用户,例如“hadoopuser1”。
SQL语言,用于对结构化数据进行操作。使用Spark SQL,可以访问不同的数据库,用户可以从这些数据库中提取数据,处理并加载到不同的数据存储中。 本实践演示如何使用MRS Spark SQL访问GaussDB(DWS)数据。 方案架构 Spark的应用运行架构如图1所示,运行流程如下所示: 应用
访问Tez WebUI界面异常 问题 登录Manager界面,跳转Tez WebUI界面,显示404异常或503异常。 回答 Tez WebUI依赖Yarn的TimelineServer实例,需要预先安装TimelineServer,且处于良好状态。 父主题: Tez常见问题
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
WebUI界面单击“Region Servers”区域的“Base Status”页签中的“ServerName”列的任一RegionServer名称无法跳转到对应信息页。 操作步骤 以root用户登录主OMS所在节点,执行以下命令获取RegionServer对应的URL。 cat /opt/Big
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
查看快捷键 单击右上角的,可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面: 单击右上角的“导入”可导入数据。
Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop”的用户,例如“hadoopuser”。
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问FusionInsight ZooKeeper,客户应用访问第三方ZooKeeper。 代码样例
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在L
如果存在运行中的HetuEngine计算实例需重启该实例。 以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,
法显示此网页。 解决措施: 建议用户使用FusionInsight代理去访问Spark JobHistory页面,即单击如图2中蓝框所示的Spark WebUI的链接。 图2 FusionInsight Manager的Spark2x页面 如果用户需要不通过FusionInsight
JDBC驱动。获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间
Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_flink”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在L
IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面,出现访问失败情况或者页面显示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE