检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动指定运行Yarn任务的用户 本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。
whitelist.switch时，需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist中配置。 默认白名单中没有包含mapred.max.split.size参数，所以运行的时候会提示不允许。 处理步骤 进入Hive服务配置页面：
BE运行数据导入或查询任务报错 现象描述 导入或查询数据时，报错： Not connected to 192.168.100.1:8060 yet, server_id=384 原因分析 运行任务的BE节点故障。 RPC拥塞或其他错误。 处理步骤 如果运行任务的BE节点故障，需查看具体的故障原因再进行解决。
Hue界面中查看到未知Job在运行 用户问题 用户查到Hue上有未知的Job在运行。 问题现象 MRS集群创建好后， Hue上查到有Job在运行 ，并且该Job并不是用户主动提交的。 原因分析 此Job为Spark服务启动之后，系统自身连接JDBC的一个默认任务，是常驻的。 处理步骤
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
运行Kafka客户端获取Topic时报错 问题现象 运行Kafka客户端获取Topic时报错，报错内容如下： ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor:
准备Manager应用开发和运行环境 在进行开发时，要准备的开发和运行环境如表1所示。 表1 开发和运行环境 准备项 说明 操作系统 Windows系统，支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下：
查看MRS集群组件运行状态 MRS集群创建后，用户可在MRS管理控制台或者集群Manager界面查看集群内各服务组件以及组件角色实例的运行状态，以判断组件是否运行正常。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户
er抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类：
er抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类：
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
Hive任务运行过程中失败，重试成功 问题现象 当Hive任务在正常运行时失败，在客户端报出错误，类似的错误打印： Error:Invalid OperationHandler:OperationHander [opType=EXECUTE_STATEMENT,getHandle
Server编译变慢。 图1 HiveServer正在运行的SQL 访问HDFS变慢 方法一： 查看HiveServer运行日志“/var/log/Bigdata/hive/hiveserver/hive.log”，搜索运行的SQL对应的线程日志，再搜索number of spl
据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到S
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/F
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后，需要将代码中USER_NAME = "xxx"的"x
Flink DataStream Scala样例代码 功能简介 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 样例代码 下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
