检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
永洪BI访问MRS HetuEngine 约束与限制 已安装Yonghong Desktop 9.1版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一：创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含HetuEngine组件的MRS集群，详情可参考创建MRS集群。
客户线下数据中心迁移数据到华为云MRS集群，通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华为云的云专线服务或使用第三方的云专线服务来连通华为云网络。 图1 线下数据中心迁移 客户在华为云上自建大数据集群（或老版本的MRS集群）需要迁移到华为云MRS集群，且在同
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 父主题： ClickHouse应用开发规范
的话近几个小时之内的增量数据可以通过log文件读出，如果保留时长过短，下游flink作业在重启或者异常中断阻塞的情况下，上游增量数据已经Clean掉了，flink需要从parquet文件读增量数据，性能会有下降；如果保留时间过长，会导致log里面的历史数据冗余存储。 具体可以按照
> OBS元数据接口调用平均时间超过阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作”中勾选“
件成多份，作为数据导出的MapReduce任务中各个map的输入文件。 Map数 配置数据操作的MapReduce任务中同时启动的map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于“3000”。 Map数据块大小 配置数据操作的MapReduce任务中启动map
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 >
Master节点规格升级前准备 登录MRS管理控制台。 选择 “现有集群” ，选中需要升级Master节点规格的集群并单击集群名，进入集群信息页面。 查看集群状态，确保集群状态为“运行中”。 在“节点管理”页签查看各节点状态，确保集群所有节点的状态为“运行中”。 登录Manager，进入集群管理页面，具体请参见访问MRS集群Manager。
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题： ClickHouse应用开发规范
内容要求：ClickHouse的每次数据插入都会生成一到多个part文件，如果data part过多则会导致merge压力变大，甚至出现服务异常影响数据插入。建议一次插入10万行，每秒不超过1次插入。 一次只插入一个分区内的数据。 内容要求：如果数据属于不同的分区，则每次插入，不同分区的数据会独立生成p
MRS集群Task节点弹性伸缩概述 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调
Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。
告警 > OBS元数据接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作”中勾选“
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 表运维 父主题： ClickHouse应用开发规范
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。
重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期，OMS数据库无法管理，数据不能访问。 可能原因 该主机ommdba用户过期。 处理步骤
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示： 2016-10-19 01:33:34
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理
单击“确定”，等待服务重启成功。 选择“集群 > 主备集群容灾”，查看当前集群是否配置了主备容灾。 是，执行7。 否，操作结束。 主集群与容灾集群内ZooKeeper服务的“ssl.enabled”配置需保持一致，请参考以上步骤继续修改未操作集群内的“ssl.enabled”参数。
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
