检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine域名修改后需要做什么 问题 用户修改域名后,会导致已安装的客户端配置和数据源配置失效,且新创建的集群不可用。对接不同域的数据源时,HetuEngine会自动的合并krb5.conf文件。域名修改后,kerberos认证的域名会发生变化,所以此前对接的数据源信息会失效。
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误: 原因分析 Hive的二次开发样例代码会加载core-site.xml,此文件默认是通过classload加载,所以使用的时候要把此配置
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高危操作,
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
如何通过happybase连接到MRS服务的HBase? 问: 大数据应用如何通过happybase连接到MRS服务的HBase? 答: MRS服务集群的HBase服务使用的是thriftserver2,thriftserver1和thriftserver2不能同时并存,但hap
修改集群域名后无法登录Manager页面 问题现象 用户修改域名后,通过console页面无法登录MRS Manager页面,或者登录MRS Manager页面异常。 原因分析 用户修改域名后,没有刷新executor用户的keytab文件,导致executor进程认证失败后不断循环认证,导致了acs进程内存溢出。
2及之后的版本的两个集群之间跨集群互信不通。 原因分析 配置跨集群互信后,互信的两个集群均会增加用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,由于两个版本集群的用户默认密码不一致导致跨集群互信配置失败。 处理步骤 若未配置互信场景: 配置互信前,登录MRS
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicati
加文件”选择SSH私钥文件并上传。 主机端口 22 待更新客户端安装节点的主机端口。 安装包保存路径 /tmp/FusionInsight-Client/ 更新后客户端安装包保存路径。 安装包保存到所选节点对应路径,如果存在客户端文件,会覆盖路径下已有的客户端文件。登录远端节点用户需要对该路径具有写权限。
ient”。 在集群内节点安装客户端 参考访问MRS集群Manager登录集群Manager,选择“服务管理 > 下载客户端”下载客户端安装包至主OMS节点。 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。 记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicati
WebUI上状态返回运行成功,则执行成功,详细日志可以通过“操作 > 更多 > 作业详情”查看。 图2 在Flink WebUI查看运行结果 使用Flink客户端: 使用运行用户登录FusionInsight Manager,进入Yarn服务的原生页面,找到对应作业的Application,单击Application名称,进入到作业详情页面。
lient.tar。安装包为tar格式,执行如下命令解压两次。 tar -xvf /opt/MRS_Services_Client.tar tar -xvf /opt/MRS_Service_ClientConfig.tar 为运行环境设置环境变量,假设安装包解压路径为“MRS_
WebUI上状态返回运行成功,则执行成功,详细日志可以通过“操作 > 更多 > 作业详情”查看。 图2 在Flink WebUI查看运行结果 使用Flink客户端 使用运行用户登录FusionInsight Manager,进入Yarn服务的原生页面,找到对应作业的Application,单击Application名称,进入到作业详情页面。
在Yarn上提交作业成功 图3 启动session成功 图4 在session中提交作业成功 使用运行用户进入Yarn服务的原生页面,找到对应作业的application,单击application名称,进入到作业详情页面 如果作业尚未结束,可单击“Tracking URL”链接进入到Flink的原生页面,查看作业的运行信息。
准备HDFS应用运行环境 前提条件 1. 确认服务端HDFS组件已经安装,并正常运行。 2. 客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与H