检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 >
--catalog：（可选）指定的数据源名称。 --tenant：（可选）指定集群启动的租户资源队列，不指定为租户的默认队列。使用此参数时，业务用户需要具有该租户对应角色的权限。MRS 3.3.0及以后版本是否可选根据如下判断： 可选：未启用租户的严格校验模式。 必选：启用了租户的严格校验模式。
客户线下数据中心迁移数据到华为云MRS集群，通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华为云的云专线服务或使用第三方的云专线服务来连通华为云网络。 图1 线下数据中心迁移 客户在华为云上自建大数据集群（或老版本的MRS集群）需要迁移到华为云MRS集群，且在同
若不开启通信安全授权，MRS将无法创建集群。集群创建成功后若关闭通信将导致集群状态为“网络通道未授权”且如下功能将受到影响： 集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
MRS应用开发简介 MRS应用开发概述 MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编
MRS集群系统公共组，对应“compcommon”，可以访问集群在操作系统中保存的公共资源文件。 数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。 数据库用户不能删除，否则可能导致集群或组件服务无法正常工作。 类别 默认用户 初始密码 描述 OMS数据库 ommdba dbChangeMe@123456
添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。
单击“确定”，等待服务重启成功。 选择“集群 > 主备集群容灾”，查看当前集群是否配置了主备容灾。 是，执行7。 否，操作结束。 主集群与容灾集群内ZooKeeper服务的“ssl.enabled”配置需保持一致，请参考以上步骤继续修改未操作集群内的“ssl.enabled”参数。
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群，具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickH
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题： 使用ClickHouse
Hudi数据管理维护 Hudi Clustering操作说明 Hudi Cleaning操作说明 Hudi Compaction操作说明 Hudi Savepoint操作说明 配置Hudi历史数据清理 Hudi Payload操作说明 父主题： 使用Hudi
修改DBService数据库compdbuser用户密码 建议管理员定期修改OMS数据库管理员的密码，以提升系统运维安全性。 该章节内容仅适用于MRS 3.x及之后版本。 登录FusionInsight Manager界面，选择“集群 > 服务 > DBService > 实例”
> OBS元数据接口调用平均时间超过阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作”中勾选“
如需使用OBS加密功能，请先配置MRS访问OBS功能，具体请参考配置MRS集群通过IAM委托对接OBS。 Hive配置 登录MRS控制台，在左侧导航栏选择“现有集群” ，单击集群名称。 选择“组件管理 > Hive > 服务配置”。 将“基础配置”切换为“全部配置”，搜索并配置如下参数： 表1 数据加密参数
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题，Kafka集群保留一个用于缩
则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的空间容量不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息，获取上报告警的租户名称，租户目录。 在FusiongInsight Manager首页，在“租户资源”页面选择上报告警的租户名称，单击“资源”
HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息，获取上报告警的租户名称，租户目录。 在FusiongInsight Manager首页，单击“租户资源”页面选择上报告警的租户名称，单击“资
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
