检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目(ipc.<port> .faircallqueue.priority-levels)相匹配。单位:毫秒。 10000,20000
上报: 系统每60秒周期性检测所有用户配置的消费者组订阅的Topic,当连续5次检测到消费者在消费Topic时,其消费进度(offset)与该分区(partition)最新生产的消息的log end offset之间的差距(lag)过大(产生消息积压),且超过了用户配置的积压告警规则阈值时产生该告警。
False:设置为False,可配置Deny Conditions。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
False:设置为False,可配置Deny Conditions。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
否ping通其他ZooKeeper实例所在节点的主机名。 是,执行9。 否,执行6。 修改“/etc/hosts”中的IP信息,添加主机名与IP地址的对应关系。 再次执行ping命令,查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。 是,执行8。
是,执行9。 否,执行13。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用
IAM用户权限策略及同步MRS后权限对比请参考表1,Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
建MRS集群)。 表1 MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同
Manager界面,单击“审计”,在审计页面单击“高级搜索”,单击“操作类型”右侧的,选择“保存配置 > 确定”,再单击“搜索”。 查看搜索结果中“服务”列为与HBase相关的服务,例如ZooKeeper、HDFS、HBase等,历史修改的配置是否可能影响HBase服务状态,表1为部分可能影响HBase服务状态的配置:
dirs配置值。 执行如下命令查看命令输出的Filesystem信息: df -h log.dirs配置值 执行结果如下: Filesystem所在的分区与“%util”指标比较高的分区相匹配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topi
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时,所输入的日期格式,一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装Flume客户端在日志生成节点安装Flum
过连接zookeeper动态获取HiveServer的地址然后来操作Hive,具有高可用性。 使用本机访问MRS集群操作Hive,由于本机与MRS集群的网络不通,只能通过直连HiveServer的方式操作Hive。 方法一:申请一台windows的ECS访问MRS集群操作Hive
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时,所输入的日期格式,一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
jar”,jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上,例如“/opt/client/conf”,与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序,执行如下命令。 yarn jar MRTest-XXX
是,执行11。 否,执行15。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点,执行cat
False:设置为false,可配置Deny Conditions。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似,拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
企业项目需要与MRS集群保持一致,其他参数请根据需要填写。 单击“立即创建”。 创建普通账号委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 在创建委托页面配置以下参数,并单击“完成”: 委托名称:设置委托名称,
在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”,并勾选“我确认已打通本地与浮动IP的网络,可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS
/tmp/MRS-client/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令,解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令,校验文件包。 sha256sum -c MR