检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS。 分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。
会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题： 使用其他的nodeSelectPolicy，如RANDOM。 参考修改集群服务配置参数，进入Yarn
会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题： 使用其他的nodeSelectPolicy，如RANDOM。 参考修改集群服务配置参数，进入Yarn
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。
SQL，提交SQL语句（该接口当前不支持） 默认取值： 不涉及 file_action 否 String 参数解释： 文件操作类型。 约束限制： 不涉及 取值范围： export：从HDFS导出数据至OBS。 import：从OBS导入数据至HDFS。 默认取值： 不涉及 arguments 否 String 参数解释：
产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的MemTable大小持续超过阈值，主要反应的是Flink作业的CheckPoint的性能，对FlinkServer本身没有影响。 可能原因 RocksDB的写压力较大。 处理步骤 在TaskM
Compaction预估总大小持续超过阈值”，检查该告警的“定位信息”，查看并记录告警上报的任务名。 选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。
户可以访问不同的Topic。Topic的权限信息，需要在Linux客户端上，使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求，为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。 用户组名
和用户确认业务是否在告警时间段内有大量的任务在执行。 是，执行4。 否，执行5。 在FusionInsight Manager页面，选择“运维 > 告警 > 阈值设置 > ClickHouse > 并发数”，调整并发数阈值，或等待任务结束之后，查看告警是否消除。 是，操作结束。 否，执行5。 收集故障信息
simultaneous queries. Maximum: 100 处理步骤 登录ClickHouse客户端节点，连接报错的服务端，具体请参考ClickHouse客户端使用实践。 执行如下命令查看正在执行的SQL任务，查看当前的并发数： select count(*) from system
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。
metadata失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 ECS底层接口异常，导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
是，进程正常，等待告警自动清除。若告警清除，操作结束，若告警未清除，执行8。 否，进程异常，执行4。 以omm用户登录到异常主机节点，执行如下命令查看crontab守护任务是否设置正常： crontab -l 用户角色同步进程的crontab守护任务正常设置信息如下： */5 * * *
HBase服务安装时可选部署RESTServer实例，可通过访问HBase REST服务的形式调用HBase相关操作，包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。 前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。
HDFS样例程序开发思路 场景说明 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为： HDFS初始化
Manager首页，选择“运维 > 备份恢复 > 备份管理”，查看任务名称为“default”的备份任务或者其他执行成功的用户自己配置的HBase元数据备份任务是否有执行成功的记录。 是，执行3。 否，执行4。 使用最近一次备份的元数据，对HBase服务的元数据进行恢复操作。 收集故障信息 在主备集群的FusionInsight
接口失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 IAM 服务异常。 处理步骤 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
/syslog 仅支持Hadoop 1.X。 callback 在MR任务执行完的回调地址，使用$jobId，将任务ID嵌入回调地址。在回调地址中，任务ID替换该$jobId。 返回结果 参数 描述 id 任务ID，类似“job_201110132141_0001” 例子 curl
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
