检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
在JDBCServer-ha模式下，出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。 该功能仅支持普通集群（未开启Kerberos认证的集群）使用。 环境准备 安装支持环境。（开发环境请参考Spark应用开发环境简介准备） 执行以下命令安装编译工具： yum
用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面，单击“管理连接”。 如果集群启用了Kerberos认证，则默认显示所有当前用户创建的连接，不支持显示其他用户创建的连接。 如果集群未启用Kerberos认证，则显示集群中全部的Loader连接。 在“Sqoop连接”中输入指定连接的名称，可以筛选该连接。
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数 父主题： 使用Spark/Spark2x
secret。所有Master/Workers和应用程序都将使用该密钥。 表25 参数说明 参数 描述 默认值 spark.acls.enable 是否开启Spark acls。如果开启，它将检查用户是否有访问和修改job的权限。请注意这要求用户可以被识别。如果用户被识别为无效，检查将不被执行。UI可以使用过滤器认证和设置用户。
| | 5 | mysql-fastpath-connector | 2.0.1-SNAPSHOT | org.apache.sqoop.connector.mysql.MySqlConnector
| | 5 | mysql-fastpath-connector | 2.0.1-SNAPSHOT | org.apache.sqoop.connector.mysql.MySqlConnector
| | 5 | mysql-fastpath-connector | 2.0.1-SNAPSHOT | org.apache.sqoop.connector.mysql.MySqlConnector
| | 5 | mysql-fastpath-connector | 2.0.1-SNAPSHOT | org.apache.sqoop.connector.mysql.MySqlConnector
hbase.security.authorization' = 'true' 开启鉴权。 'properties.hbase.security.authentication' = 'kerberos' 开启Kerberos认证。 【示例】 CREATE TABLE hsink1 (
备份恢复MRS集群数据 MRS集群数据备份恢复简介 启用MRS集群间拷贝功能 创建MRS集群数据备份任务 创建MRS集群数据恢复任务 备份MRS集群组件数据 恢复MRS集群组件数据 管理MRS集群备份恢复任务 使用HDFS快照快速恢复组件业务数据 父主题： MRS集群运维
维成本。为了解决上述问题，HetuEngine提供了自适应查询执行的功能，该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager，选择“集群 > 服务 > HetuE
“组名”由数字、字母、或下划线、中划线（-）或空格组成，不区分大小写，长度为1～64位，不能与系统中已有的用户组名相同。 在“角色”，单击“添加”选择指定的角色并添加。 对于已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。
的表。 MRS 3.x及之后版本： 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 更多”，查看“启用Ranger鉴权”是否置灰。 是，执行9。 否，执行2-8。 登录FusionInsight Manager，选择“系统 > 权限 > 角色”
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
用率。 多重租赁。支持多用户共享集群和多应用程序同时运行。为防止单个应用程序、用户或者队列独占集群中的资源，MRS集群管理员可为之增加多重约束（比如单个应用程序同时运行的任务数等）。 安全保证。每个队列有严格的ACL列表规定它的访问用户，每个用户可指定哪些用户允许查看自己应用程序
使用Ranger（MRS 3.x） 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。 执行HQL语句 在“Database”右侧下拉列表选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
