检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群存算分离 MRS存算分离配置流程说明 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
Spark2x Spark2x基本原理 Spark2x HA方案介绍 Spark2x与其他组件的关系 Spark2x开源增强特性 父主题: 组件介绍
ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline? 连接ClickHouse服务端异常报错“code: 516”如何处理?
3对接时存在Jetty兼容性问题如何处理? MRS导出数据到OBS加密桶失败如何处理? MRS服务如何对接云日志服务? MRS集群的节点如何安装主机安全服务? 如何通过happybase连接到MRS服务的HBase? Hive Driver是否支持对接dbcp2?
节点管理类 MRS集群内节点的操作系统是什么? 升级Master节点规格需要关机吗? MRS是否支持变更MRS集群节点? 如何查询MRS节点的启动时间? MRS集群内节点互信异常如何处理? MRS集群是否支持调整Master节点规格? MRS集群内节点的sudo log能否清理?
SQL接口 提交SQL语句 查询SQL结果 取消SQL执行任务 父主题: API V2
HBase应用开发规范 HBase应用开发规则 HBase应用开发建议
HDFS应用开发规范 HDFS应用开发规则 HDFS应用开发建议
Hive应用开发规范 Hive应用开发规则 Hive应用开发建议
Kafka应用开发规范 Kafka应用开发规则 Kafka应用开发建议
Spark应用开发规范 Spark应用开发规则 Spark应用开发建议
Impala应用开发规范 Impala用开发规则 Impala用开发建议
); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
quorumpeer实例IP地址可登录集群的FusionInsight Manager界面,在“集群 > 服务 > ZooKeeper > 实例”界面中查询,多个地址可用“,”分隔。ZooKeeper客户端连接端口可通过ZooKeeper服务配置参数“clientPort”查询,默认为2181。 例如执行以下命令:
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述: 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在MRS集群到期前均可开通自动续费,
CarbonData CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez
件系统名称/hadoop”的“Read”和“Write”权限: 图2 为Hadoop用户组新增OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce
ite”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Hudi用户组赋予OBS路径读和写权限 父主题: MRS集群服务对接OBS示例