检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive连接HDFS的超时时间，可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“组件管理”。
IAM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 通过管理控制台添加资源池 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
其中“sparkthriftserver2x”是ZooKeeper上的目录，表示客户端从该目录下随机选择JDBCServer实例进行连接。 示例：安全模式下通过Beeline客户端连接时执行以下命令： sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2:/
AM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
使用客户端安装用户登录安装了Hive客户端的节点，执行以下命令登录Hive beeline命令行： cd 客户端安装目录 source bigdata_env kinit 组件业务用户（如果集群未启用Kerberos认证（普通模式）请跳过该操作） 执行以下命令在default库创建Hive表，分区字段为“c4”：
keytab 单击“确定”。 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户 （普通模式集群跳过） 执行以下命令，登录数据源的catalog。 hetu-cli
后状态更新为“运行中”，请您耐心等待。 步骤二：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。 MRS集群
配置资源池的队列容量策略 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。
默认值 取值范围 spark.sql.hive.advancedPartitionPredicatePushdown.enabled 用于配置是否开启Hive表的分区谓词下推增强功能。 true [true,false] 父主题： Spark运维管理
用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/dbdata_om”目录所在的分区是否已满。 清理冗余的数据。 父主题： 登录集群Manager常见异常问题
短时间内写入大量文件导致这种情况，因此DataNode内存不足。 图3 写入大量文件导致DataNode内存不足 解决办法 检查DataNode内存配置，以及机器剩余内存是否充足。 增加DataNode内存，并重启DataNode。 父主题： 使用HDFS
默认值 取值范围 spark.sql.hive.advancedPartitionPredicatePushdown.enabled 用于配置是否开启Hive表的分区谓词下推增强功能。 true [true,false] 父主题： Spark运维管理
sync_hive(table => '[table]', tablePath => '[tablePath]') 参数描述 表1 参数描述 参数 描述 是否必填 table 需要同步到hive的表名 是，表可以不存在，不存在会创建该表 tablePath 存储层中的Hudi数据目录的路径 是 示例
“空值转换”算子，用于将空值替换成指定值。 输入与输出 输入：空值字段 输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string
“空值转换”算子，用于将空值替换成指定值。 输入与输出 输入：空值字段 输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string
AM用户同步”右侧的“同步”进行IAM用户同步）。 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 通过管理控制台查看集群监控 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
单击“保存”保存配置。单击“实例”，勾选所有Hive实例，选择“更多 > 重启实例”，输入当前用户密码，单击“确定”重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强
用户已经在账号的对象存储服务（OBS）中创建了并行文件系统。 操作步骤 在MRS Manager，单击“系统设置”。 在“维护”下单击“审计日志导出”。 表2 审计日志导出参数 参数 示例 参数解释说明 审计日志导出 打开 必选参数，指定是否打开审计日志导出。 打开：启用审计日志导出。
“随机值转换”算子，用于配置新增值为随机数的字段。 输入与输出 输入：无 输出：随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型 配置字段的类型，可选
单击“集群管理页面”后面的“前往 Manager”，弹出“访问MRS Manager页面”。 单击“管理安全组规则”，检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是，修改入口方向Any协议的远端为指定IP地址。如果不是，则无需修改。 修改成功后，重启集群。 建议与总结 关
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
