检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误： 原因分析 Hive的二次开发样例代码会加载core-site.xml，此文件默认是通过classload加载，所以使用的时候要把此配置
运行IoTDB UDF样例程序 UDF完整样例程序 可以参考IoTDB UDF样例代码章节。 操作步骤 UDF注册。 注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行： 将项目打成Jar包，如果使用Maven管理项目
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
查看MRS集群节点运行状态 MRS集群运行过程中，用户可以在管理控制台或者集群Manager界面中实时查看集群内各节点运行状态，及时识别资源异常问题。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink
准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H
准备ClickHouse应用运行环境 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
集群工作区域下的可用区，创建集群时设置。 企业项目 集群所属的企业项目。 表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且运行正常，则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题： 开发Oozie应用
properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段： hbase.root.logger=INFO,console,RFA //hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase
properties中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段： hbase.root.logger=INFO,console,RFA //hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase
keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题： 开发Oozie应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
