检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务推测执行 操作场景 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。对于小集群，可以将该功能关闭。
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成jar包，在工程目
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时，用户可先联系华为云支持人员，再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题，或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式： 界面登录：直接通过弹性云服务器管理控制台提供的远程登录功能，登录到集群节点的Linux命令行操作界面。 SSH登录：仅适用于Linux弹性云服务器，您可以使用远程登录工具（例如PuTTY）登录弹性云服务器，此时需要该弹性云服务器绑定弹性IP地址。
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run com
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
执行Kafka Topic创建操作时发现Partition的Leader显示为none 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics
中的“UserName”查看执行错误语句的用户。 输入正确的HQL语句，观察命令是否正确执行。 是，执行12。 否，执行4。 检查HBase服务是否异常。 与执行HQL命令的用户确认是否执行的是Hive on HBase任务。 是，执行5。 否，执行8。 在FusionInsight
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户（例如omm用户）但不同的kerberos用户（例如admin用户）时，为什么ImportTsv工具执行失败报“Permission denied”的异常？
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
各组件有没有报错的类的Jar包，如果没有，添加Jar包并执行HDFS上更新了oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类，那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“
进入HDFS客户端。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 将指定版本的MapReduce
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 使用Spark执行Hudi样例程序（Java） 父主题： 开发Spark应用
个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
查询任务总数统计 > 执行中的查询总数”，检查阈值大小。 修改阈值大小。 选择“实例”页签，勾选所有“Impalad”实例并重启。 重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可用。 重启完成后告检查警是否消失。 是，操作结束。 否，执行5。 收集故障信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
