检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加MRS租户 当租户需要根据业务需求指定资源使用情况时，可以在MRS创建租户。 添加MRS租户前提条件 根据业务需求规划租户的名称，不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源，则提前根据业务需要规划好存储路径，分配的完整存储路径在HDFS目录中不存在
的各种定期汇报任务在FE端的队列长度超过阈值 ALM-50212 FE进程的老年代GC耗时累计值超过阈值 ALM-50213 FE中和BE交互的线程池中正在排队的任务数超过阈值 ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值 ALM-50215 FE Thrift各个方法接收的
开启HBase Multicast功能 HBase Multicast特性涉及Publisher（HMaster）以及Listener（客户端）两个角色，通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本，Publisher
Spark DAG设计规范说明 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车
Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型，拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。
为了账号安全性，建议您妥善保管并定期修改访问密钥，修改访问密钥的方法为删除旧访问密钥，然后重新生成。 获取EndPoint 终端节点（Endpoint）获取方式请参考地区和终端节点。
Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类型，拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。
分别访问主备节点的NameNode WebUI界面，NameNode WebUI访问方法请参考11。 分别在NameNode WebUI页面的标题栏选择“Overview”，查看并记录主备节点的Namenode ID。记录后不要关闭该页面。
ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能，可以采用参数： 参数 默认值 说明 unclean.leader.election.enable
jobmanager.web.access-control-allow-origin: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx jobmanager.web.allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx 客户端安装节点的业务IP获取方法
安装Flume客户端 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在，会自动创建
Spark DAG设计规范说明 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或获取该任务中创建
Spark日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中
Spark2x日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中
Loader作业源连接配置说明 基本介绍 Loader作业需要从不同数据源获取数据时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名
接口约束 无 调用方法 请参见如何调用API。
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_topic
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
