检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发的心跳时，会将该拓扑重新分配（分配给别的supervisor），同时会刷新zk中的任务信息，supervisor读到zk中的任务信息并且与自己当前所启动的拓扑进行比较，如果存在拓扑已经不属于自己，那么则会删除该拓扑的元数据，也就是/srv/Bigdata/streaming_d
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目（ipc.<port> .faircallqueue.priority-levels）相匹配。单位：毫秒。 10000,20000
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目（ipc.<port> .faircallqueue.priority-levels）相匹配。单位：毫秒。 10000,20000
例如作业需要通过AK/SK方式访问OBS，增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 spark-submit --master yarn--deploy-mode
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表： create
False：设置为False，可配置Deny Conditions。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
False：设置为False，可配置Deny Conditions。 Deny Conditions 策略拒绝条件，配置本策略内拒绝的权限及例外，配置方法与“Allow Conditions”类似。 拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
文件，文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，然后执行4。 使用WinSCP工具，以客户端安
否ping通其他ZooKeeper实例所在节点的主机名。 是，执行9。 否，执行6。 修改“/etc/hosts”中的IP信息，添加主机名与IP地址的对应关系。 再次执行ping命令，查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。 是，执行8。
是，执行9。 否，执行13。 检查网络是否故障，无法访问ldap服务器。 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是，执行6。 否，请联系网络管理员，解决网络故障。 检查Name Service服务是否异常。 用
IAM用户权限策略及同步MRS后权限对比请参考表1，Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
dirs配置值。 执行如下命令查看命令输出的Filesystem信息： df -h log.dirs配置值 执行结果如下： Filesystem所在的分区与“%util”指标比较高的分区相匹配，则考虑在空闲的磁盘上规划Kafka分区，并将log.dirs设置为空闲磁盘目录，然后参考3，对Topi
创建MRS集群）。 表1 MRS集群配置参数 参数名称 参数说明 取值样例 计费模式 选择待创建的集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式，即先使用再付费，按照MRS集群实际使用时长计费。 按需计费 区域 选择区域。 不同区域
jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上，例如“/opt/client/conf”，与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序，执行如下命令。 yarn jar MRTest-XXX
前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装Flume客户端在日志生成节点安装Flum
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时，所输入的日期格式，一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
是，执行11。 否，执行15。 检查网络是否故障，无法访问ldap服务器。 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是，执行6。 否，请联系网络管理员，解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点，执行cat
资源计划列表。若该参数为空表示不启用资源计划。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 rules Array of Rule objects 参数解释： 自动伸缩的规则列表。 约束限制： 当启用弹性伸缩时，资源计划与自动伸缩规则需至少配置其中一种。不能超过10条。 tags
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时，所输入的日期格式，一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
jar”，jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上，例如/opt/client/conf，与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序，执行如下命令。 yarn jar MRTest-XXX
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
