检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SECURITY_SSL_ENCRYPT_ENABLED 解决方法 客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败，需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide，添加完成后重新打包运行任务。 父主题： 作业管理类
p的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完
AUTHORIZATION”区域的组件插件名称“OBS”，为hive用户组赋予OBS存储路径的“Read”和“Write”的权限，此时拥有hive组的用户均可以访问hive数据仓库路径。 例如，为“hive”用户组赋予“obs://hivetest/user/hive/warehouse/”目录的“Read”和“Write”的权限：
p的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完
p的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完
r包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致。票据登录方式为开源提供的能力，存在票据过期问题，后期需要人工上传票据，并且可靠性和易用性较差，因此推荐使用keytab方式。 应用开发操作步骤 确认Stor
该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies.apache.org/flink/flink-docs-stable/。
参数中搜索“clientPort”查看。默认端口如下： 开源端口默认值为：2181 定制端口默认值为：24002 端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 执行以下命令，查询集群中的Topic信息：
c1 支持通过“/*+ BROADCAST(smallTable1, smallTable2) */”方式使用该特性，兼容开源双流Join逻辑。 不支持开源双流Join和该特性的切换，因为该特性会将数据广播到每个Join算子。 不支持LEFT JOIN时小表为左表，RIGHT JOIN时小表为右表。
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP协议。
app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，MRS版本中添加了查询SQL、JDBC/ODBC Server和Streaming的信息的REST接口。开源REST接口完整和详
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP协议。
on: KeeperErrorCode = ConnectionLoss for /hiveserver2 原因分析 MRS 1.8版本和开源版本认证方式一样，在Hive的URL中直接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中，此方法行不通，需要先进行K
解决集群内Flume客户端无法使用委托访问OBS问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive
具有supergroup组权限的用户（普通集群跳过该步骤） 执行命令以下命令查看数据仓库目录权限是否为770： hdfs dfs -ls /tmp | grep hive-scratch 是，执行29。 否，执行27。 执行以下命令修复默认数据仓库权限： hdfs dfs -chmod 770 /tmp/hive-scratch
Keeper、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。 MRS集群内各组件不支持单独升级，请根据实际需要选择对应版本的集群。 LTS（Long Term Support）版本集
Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.5补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地
RPC端口可在参数“IOTDB_SERVER_RPC_PORT”中自行配置。默认端口如下： 开源端口默认值为：6667 定制端口默认值为：22260 端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 root用户初始密码MRS
件列表及高级配置特性，自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍 核心组件 Hadoop分析集群 Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flin
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
