检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作，请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
日志聚合下，如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？ 回答 请参考配置WebUI上查看Container日志。 父主题： Spark Core
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候，通过ZooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制，无需执行该章节操作。 对系统影响 操作过程中需要重启Ooz
Flink DataStream应用开发思路 假定用户有某个网站网民周末网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
维成本。为了解决上述问题，HetuEngine提供了自适应查询执行的功能，该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager，选择“集群 > 服务 > HetuE
方式（短信和邮件通知）。 在MRS管理控制台，按照集群维度，在集群信息页面的告警页签中能够提供选择是否使能通知服务，只有对应集群开关开启以后，才能实现以下场景的功能： 在用户订阅了通知服务之后，当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下，
Oozie在ZooKeeper的路径 oozie.zookeeper.secure 安全集群：true 普通集群：无需配置该参数 ZooKeeper是否启用kerberos 在Oozie的“概览”界面，选择右上角“更多 > 重启服务”，重启Oozie集群。 父主题： 使用Oozie
配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是开启的，不用重新配置（重新配置会导致之前生产的Token无法使用）。
准备Spark应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS
准备OpenTSDB应用开发用户 开发用户用于运行样例工程。用户需要有HBase权限，才能运行OpenTSDB样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 >
配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是开启的，不用重新配置（重新配置会导致之前生产的Token无法使用）。
可参考查看HetuEngine物化视图自动化任务。 配置HetuEngine维护实例 启用物化视图改写能力 开启物化视图改写能力之后，HetuEngine会根据用户输入的SQL语句判断是否满足物化视图改写，将能匹配到物化视图的查询或者子查询转换为物化视图，避免了数据的重复计算。
开发用户用于运行样例工程。在安全集群中，用户需要有HDFS、YARN、Kafka和Flink权限，才能运行Flink样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 >
准备HBase应用开发用户 开发用户用于运行样例工程。用户需要有HBase权限，才能运行HBase样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，请参考登录MRS Manager。 在MRS
准备HDFS应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间复制功能，该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
