检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面,具体请参见访问MRS Manager,然后选择“服务管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
修改集群服务配置参数 MRS 3.x之前版本,用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 默认显示“基础配置”,如果需要修改更多参数,请选择“全部
置列的读(R)和写(W)权限。 HBase管理员权限:HBase管理员权限。 用户对自己创建的表具有读(R)、写(W)、创建(C)、执行(X)或管理(A)权限。 表1 设置HBase角色资源权限 任务场景 角色授权操作 设置HBase管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称
盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计日志转储,当审计日志达到十万条,系统自动将这十万条审计日志保存到文件中。保存路径为主管理节点的“${BI
运行Manager应用报错“WARN No appenders could be found for logger” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 查看工程的“bin”目录下是否有编译过的“log4j.properties”,如果没有,则添加编译路径。
Alluxio初始化 功能简介 在使用Alluxio提供的API之前,需要先进行Alluxio初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 使用HDFS的API。 代码样例 如下是代码片段,详细代码请参考ExampleClient类。 /** *
schema sf2 原因分析 Presto中创建schema需要Hive的管理者权限,当前用户权限不足。 处理步骤 MRS Manager界面操作: 方法一: 登录MRS Manager页面,选择“系统设置 > 用户管理”。 在对应用户所在行的“操作”列,单击“修改”。 单击“选择并绑定
10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。
Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 服务 > Spark2x > 配置”。 单击“全
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi
(backport #40725) (#40751)。 特性说明:StarRocks BE实例滚动重启能力支持后,重启时需要在StarRocks实例管理页面进行滚动重启实例操作。 父主题: MRS 3.3.0.3.1补丁说明
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
r类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行,ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container,其中包括当前在NM上运行的所有Con
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x >
行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的管理节点可能出现的单点故障,就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制,包括Manager、HDFS
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topi