检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景：从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建，确保
使用Loader从关系型数据库导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 ClickHouse表已创建
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数，其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改，且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数，用户可以通过自定义配置项功能
配置弹性伸缩规则 功能介绍 对弹性伸缩规则进行编辑。 在创建集群并执行作业接口中也可以创建弹性伸缩规则。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面，用户可快速创建CDL作业，实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户
MRS集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。 表1 MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
创建集群并提交作业 功能介绍 创建一个MRS集群并提交作业，并支持作业完成后删除集群，支持MRS 1.8.9及以上集群版本使用。使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
开启HBase Multicast功能 HBase Multicast特性涉及Publisher（HMaster）以及Listener（客户端）两个角色，通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本，Publisher端默认开启了该特性。
访问FusionInsight Manager（MRS 3.x及之后版本） 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
配置Guardian服务对接OBS 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下：
恢复Hive业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。 集群扩容时，在同步组件配置时HDFS组件配置同步失败，导致启动HDFS服务失败。
查看MRS集群节点运行状态 MRS集群运行过程中，用户可以在管理控制台或者集群Manager界面中实时查看集群内各节点运行状态，及时识别资源异常问题。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问FusionInsight
备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
访问MRS集群Manager（2.x及之前版本） 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问FusionInsight
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
