检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”，不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成，如果需要修改为特定域名，系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
使用Loader导出MRS集群内数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件
Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
Hive应用开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始，必须先使用当前类加载器加载该驱动类。 如果clas
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
安装客户端（3.x版本） MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。 集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。
准备Flink安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
安装MRS客户端 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。 在集群外节点安装客户端前提条件
CDL数据集成概述 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.3.1-LTS.1.2 发布时间 2024-08-19 解决的问题 MRS 3.3.1-LTS.1.2修复问题列表： 解决Doris集群产生RFC请求耗时超过阈值的误告警问题 解决Doris的BE实例crash重启的问题
查看MRS集群告警 用户可以在MRS上查看、清除告警。一般情况下，告警处理后，系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时，可手动清除告警。在MRS界面可查看最近十万条告警（包括未清除的、手动清除的和自动清除的告警）。如果已清除告警超过十万条
准备连接Hive集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Hive权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？
运行HiveSql作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个HiveSql作业。 HiveSql作业用于提交Hive SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。
备份ClickHouse元数据 操作场景 为了确保ClickHouse集群中的元数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等）时，需要对ClickHouse集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
修改MRS集群Manager用户密码 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过Manager完成修改自身密码工作。 如果用户具备使用Manager的权限时，可以通过Manager完成修改自身密码工作。 如果用户不具备使用Manager的权
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
