检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需配置源端集群访问目标集群HDFS服务地址参数。
o.proc_time AS t4 ON o.order_id = t4.id JOIN table5 FOR SYSTEM_TIME AS OF o.proc_time AS t5 ON o.order_id = t5.id; 多流Join场景流表个数不超过三个 当Join表过多时，状态后端压力太大会导致端到端时延增加
ALM-18000 Yarn服务不可用 告警解释 告警模块按60秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称
ALM-27001 DBService服务不可用（2.x及以前版本） 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时，告警清除。 告警属性 告警ID 告警级别 可自动清除 27001 致命 是
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH方式登录集群节点
场景二：MRS ClickHouse集群后端主机所在机房需要搬迁，需要将ClickHouse集群整体迁移到另外一个机房的新集群当中。
Sink Group 当后端单Sink性能不足、需要高可靠性保证或者异构输出时可以使用Sink Group来将指定的Channel和多个Sink对接，从而满足相应的使用场景。
在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量 具体使用指导参考通过表级TTL进行状态后端优化。 合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性
Sqoop客户端使用实践 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，
SinkGroup 当后端单Sink性能不足、需要高可靠性保证或者异构输出时可以使用Sink Group来将指定的Channel和多个Sink对接，从而满足相应的使用场景。
ELB负载均衡 基于ELB的部署架构，可以将用户访问流量自动均匀分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。当其中一台Doris后端节点发生故障时，ELB通过故障转移方式正常对外提供服务，详细操作请参见配置通过ELB访问Doris集群。
基于状态后端生成changelog也是依赖于状态后端的，状态后端通常是会配置TTL时间的，不会永久保留。这种场景下更新操作是任意更新，没有一定时间周期限制。例如更新近一个月的数据，TTL设置大于一个月即可；若更新全部数据，就需要设置TTL为永久，不适用于大表。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率，并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值（默认为最大堆内存的95%）时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
配置受信任IP地址访问LDAP 操作场景 默认情况下，部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务，可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问LDAP
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore
Flink状态索引 优点：主键的索引信息存在状态后端，数据更新只需要点查状态后端即可，速度较快；同时生成的数据文件大小稳定，不会产生小文件、超大文件问题。 缺点：该索引为Flink特有索引。在表的总数据行数达到数亿级别，需要优化状态后端参数来保持写入的性能。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题： 使用Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
