检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
Loader开源增强特性 Loader开源增强特性:数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS
而管理控制台的作业管理功能,正常情况添加作业后会自动在Yarn上启动两个任务,一个提交到launcher-job队列,该队列为辅助作业队列。另外一个是作业实际执行的队列,如默认的default队列。
例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
巡检授权 MRS为您提供巡检集群功能,帮助您检查集群的基础信息,包括容量、资源、版本、缺陷等,帮助您更好的维护集群。当您需要对集群进行巡检时,请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。
答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接类
在“功能” ,输入用户自定义的名称和函数的类名称。 可以单击“功能”后的 新增加一个自定义函数。 在“设置” ,在“设置”的“键”输入Hive的参数名,在“值”输入对应的参数值,则当前Hive会话会以用户定义的配置连接Hive。 可以单击 新增加一个参数。
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否做出调整。
ClickHouse集群配置说明 背景介绍 ClickHouse通过多分片多副本的部署架构实现了集群的高可用,每个集群定义多个分片,每个分片具有2个或2个以上副本。当某节点故障时,分片内其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节仅适用于MRS 3.1.0
前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。 通过“集群 > 待操作集群的名称 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。
KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
配置Hive支持创建超过32个角色 操作场景 因为MRS操作系统用户组个数限制,导致Hive不能创建超过32个角色,开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。
KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。 通过“集群 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。 找到“资源使用(按目录)”监控项,单击该监控项左上角第一个图标。
角色管理:提供角色的增、删、改、查基本功能,提供角色绑定某个或者多个组件的资源访问权限的功能。 具体请参见管理MRS集群角色。 用户组管理:提供用户组的增、删、改、查基本功能,提供用户组绑定角色的功能。 具体请参见管理MRS集群用户组。