检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn
配置积压告警规则 操作场景 通过KafkaUI可查看并配置需要上报积压告警的规则,当达到配置的积压告警规则要求时,会上报“ALM-38018 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有Kafk
以Hetu_user用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 > QAS(角色) > 物化视图推荐“,参考表1配置物化视图推荐参数,其他参数保持默认即可。 表1 物化视图推荐参数 参数名称 值 描述 qas.enable
离,具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS,具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录FusionInsight Manager,选择“集群 > 服务 > Spark > 配置 > 全部配置 > SparkResource(角色)
ALTER TABLE 修改表结构时,针对聚合模型和非聚合模型的修改方式不同;针对Key列和Value列的修改方式也不同。其中: 建表时指定AGGREGATE KEY时,为聚合模型;其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
应用新规则。 配置MRS集群告警阈值(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“阈值配置”,依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”,单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。
检查RegionServer配置。 在FusionInsight Manager首页,选择“集群 > 服务 > HBase > 配置 > 全部配置”,查看“hbase.bucketcache.size”配置是否合理,该值越大读缓存越大,有助于提升读取性能,在节点剩余内存前提下适当调大该配置,单击“保存”保存配置。单击“概览”,选择“更多
创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。
mpt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。 表1 AM作业保留相关参数 参数 说明 默认值
到A用户的应用信息。 配置描述 查看Yarn服务配置参数 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入表1中参数名称。 表1 参数描述 参数 描述 默认值 yarn.acl.enable Yarn权限控制启用开关。 true yarn.webapp
onfig.json配置文件,若此文件不存在,则新建此文件。 vi $BIGDATA_HOME/om-server/OMS/workspace/conf/fms/alarm_filter_config.json 根据实际需要配置或新增参数。 告警ID:待配置告警的ID,例如“12016”。
录。 是,执行9。 否,执行3。 图1 HBase的WebUI 负载均衡 以root用户登录HBase客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。进入客户端安装目录,设置环境变量: cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit
配置Windows通过EIP访问普通模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“ 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“server”,然后选择要使用的so
ka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Win
Flume多客户端聚合级联时的注意事项。 级联时需要走Avro或者Thrift协议进行级联。 聚合端存在多个节点时,连接配置尽量配置均衡,不要聚合到单节点上。 Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source
0及以后版本)。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略,默认策略为如下:
等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行12。 检查RegionServer配置。 在FusionInsight Manager首页,选择“集群 > 服务 > HBase > 配置 > 全部配置”,查看配置项“hbase.wal.hsync”和“hbase.hfile.hsync”参数值是否都为“true”。