检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive运维管理 Hive常用配置参数 Hive日志介绍 导入导出Hive数据库 导入导出Hive表/分区数据 使用Hive异常文件定位定界工具 父主题: 使用Hive
Hive故障排除 如何对insert overwrite自读自写场景进行优化 父主题: 使用Hive
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题: 使用HDFS
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题: 使用Kafka
Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceM
Loader用户权限管理 创建Loader角色 父主题: 使用Loader
Loader运维管理 Loader常用参数 Loader日志介绍 父主题: 使用Loader
配置跨集群互信下Hive on HBase 两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。
要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
配置HDFS多路读 该章节仅适用于MRS 3.3.1及之后版本。 操作场景 在传统的HDFS中,当客户端请求读取数据时,它会与NameNode交互以确定数据块所在的DataNodes,并选择其中一个进行连接和数据传输。如果所选DataNode的响应速度较慢或者发生故障,客户端必须
制设置为“***”。 脱敏策略传递时,若目标表已有脱敏策略且与源表有冲突,则目标表脱敏策略强制重置为“Custom:“***””。 简单的未提交Yarn任务的查询操作,脱敏结果与Ranger上配置的脱敏策略一致,Customer类型脱敏策略输出结果为“***”。简单的查询操作例如:select
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制,详细操作请参考Kafka服务端配置。
MRS 2.1.0版本集群对Storm日志的大小有什么限制? 问: MRS 2.1.0版本的集群对Storm日志的大小有什么限制? 答: MRS 2.1.0版本的集群对Storm日志有不超过20G的限制,超出后会循环删除。 因为日志是保存在系统盘上,有空间限制。如需长期保存,则需要将日志挂载出来。
配置跨集群互信下Hive on HBase 本章节指导在两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。
HetuEngine物化视图概述 HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。 HetuEngine物化视图背景介绍 HetuEngine具备物化视图能力。在实际运用中,将高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进
配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。
配置Flink任务进程参数 操作场景 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
导入导出HetuEngine计算实例配置 在HetuEngine的WebUI界面,可以导入/导出实例配置文件、下载实例配置模板。 导入导出步骤 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuE