检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs
可登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.https.port”参数值获取。
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log
Spark并发写Hudi建议 涉及到并发场景，推荐采用分区间并发写的方式：即不同的写入任务写不同的分区 分区并发参数控制： SQL方式： set hoodie.support.partition.lock=true; DataSource Api方式： df.write .format
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/opt
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/opt
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可
查询作业exe对象列表（废弃） 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.1
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
Spark2x如何访问外部集群组件 问题 存在两个集群：cluster1和cluster2，如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问，但是存在以下限制： 仅允许访问一个
Spark2x如何访问外部集群组件 问题 存在两个集群：cluster1 和cluster2，如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问，但是存在以下限制： 仅允许访问一个
Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程相同。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念
给指定集群添加标签 功能介绍 为特定的集群添加一个tag。 一个集群上最多有20个标签，此接口为幂等接口。添加标签时，如果创建的标签已经存在（key相同），则覆盖。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters
执行load data inpath命令报错 问题现象 执行load data inpath报如下错误： 错误1： HiveAccessControlException Permission denied. Principal [name=user1, type=USER] does
使用REST接口操作Namespace 功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTPS协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
使用REST接口操作Namespace 功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
