检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create
注意堆内存设置时，可以设置“-Xms” “-Xmx”近似相等，从而避免每次GC后调整堆的大小，从而引起性能下降。 同时，并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。
-h命令，查看输出内容是否包含“磁盘名”字段的值，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行7。 否，执行6。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行7。 否，执行22。 以root用户登录上报告警的节点，执行lsscsi | grep "/dev/sd[x]
例如作业需要通过AK/SK方式访问OBS，增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 spark-submit --master yarn--deploy-mode
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create
以root用户登录告警节点，执行df -h命令，查看输出内容是否包含“磁盘名”字段的值。 是，执行6。 否，执行5。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行6。 否，执行21。 以root用户登录上报告警的节点，执行lsscsi | grep "/dev/sd[x]
约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 取值范围： 不涉及 默认取值： 不涉及 rules 否 Array of Rule objects 参数解释： 自动伸缩的规则列表。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过10条。
发的心跳时，会将该拓扑重新分配（分配给别的supervisor），同时会刷新zk中的任务信息，supervisor读到zk中的任务信息并且与自己当前所启动的拓扑进行比较，如果存在拓扑已经不属于自己，那么则会删除该拓扑的元数据，也就是/srv/Bigdata/streaming_d
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目（ipc.<port> .faircallqueue.priority-levels）相匹配。单位：毫秒。 10000,20000
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目（ipc.<port> .faircallqueue.priority-levels）相匹配。单位：毫秒。 10000,20000
上报： 系统每60秒周期性检测所有用户配置的消费者组订阅的Topic，当连续5次检测到消费者在消费Topic时，其消费进度（offset）与该分区（partition）最新生产的消息的log end offset之间的差距（lag）过大（产生消息积压），且超过了用户配置的积压告警规则阈值时产生该告警。
False：设置为False，可配置Deny Conditions。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
False：设置为False，可配置Deny Conditions。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
否ping通其他ZooKeeper实例所在节点的主机名。 是，执行9。 否，执行6。 修改“/etc/hosts”中的IP信息，添加主机名与IP地址的对应关系。 再次执行ping命令，查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。 是，执行8。
是，执行9。 否，执行13。 检查网络是否故障，无法访问ldap服务器。 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是，执行6。 否，请联系网络管理员，解决网络故障。 检查Name Service服务是否异常。 用
IAM用户权限策略及同步MRS后权限对比请参考表1，Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
建MRS集群）。 表1 MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式，即先使用再付费，按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同
dirs配置值。 执行如下命令查看命令输出的Filesystem信息： df -h log.dirs配置值 执行结果如下： Filesystem所在的分区与“%util”指标比较高的分区相匹配，则考虑在空闲的磁盘上规划Kafka分区，并将log.dirs设置为空闲磁盘目录，然后参考3，对Topi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
