检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础，若用户使用了自己的配置文件目录，则需要修改本应用配置目录中的对应文件，并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时，使用hostname配置服务端地址
常访问各组件的Web UI界面，请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP，并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 访问开源组件Web页面
集群状态消息通知 特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不
回答 问题原因 使用的krb5.conf、user.keytab文件不是最新的，或者文件与示例代码里填写登录用户不匹配。 使用客户端环境的时间与连接的集群时间差大于5分钟。 解决措施 检查代码下载最新的用户的认证凭据文件。 查看集群环境和客户端环境的时间是否相差在5分钟之内，若超过5分钟，请修改客户端环境时间。
Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.tar”，本章节以“FusionInsi
Base表中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
Base表中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
通过执行“sqoop2-shell”脚本，带一个文本文件名作为参数，该文件中按行存储了多条命令，工具会按顺序执行该文件中的所有命令。使用这种方式有个限制条件，这个sh脚本必须放到当前用户的家目录下，如：/root/batchCommand.sh。 通过读取配置文件进行认证： ./sqoop2-shell
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群，目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需
下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data.txt")
HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为
色。 创建属于“Presto”和“Hive”组的用户，同时为该用户绑定1中创建的角色，然后下载用户认证文件，参见创建用户，下载用户认证文件。 将下载的user.keytab文件和krb5.conf上传到MRS客户端所在节点。 步骤2-3仅启用Kerberos认证的集群执行，普通集群请直接从步骤4开始执行。
MRS集群支持的云服务器规格 针对不同的应用场景，MRS使用到如下类型的弹性云服务器。 通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型 内存优化型：M3型、M6型、M7型 超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型
HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为
version和invalid TType错误 如何关闭MRS集群Impalad角色的cas认证 Impala查询parquet表的Schema和文件Schema不一致时报错 Impalad的session连接长时间没使用，但连接没有自动断开 Impala正常使用的udf突然报了找不到类
esources”目录下： 准备集群认证用户信息获取的认证文件“user.keytab”和“krb5.conf”。 准备运行环境配置文件获取的配置文件“core-site.xml”、“hiveclient.properties”。 导入样例工程到IntelliJ IDEA开发环境中。
同时在HDFS上生成目录“/user/developuser/examples/output-data/map-reduce”，包括如下两个文件： _SUCCESS part-00000 可以通过Hue的文件浏览器或者通过HDFS如下命令行查看： hdfs dfs -ls /user/developuser/ex
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ
applied to ****的错误： 原因分析 Hive的二次开发样例代码会加载core-site.xml，此文件默认是通过classload加载，所以使用的时候要把此配置文件放到启动程序的classpath路径下面。 如果修改了集群的域名，那么core-site.xml将发生变化，需要下载最新的core-site
HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
