检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站：http://spark.apache.org/docs/2.2.2/。
同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。
是，执行9 否，11 按照ALM-12016 CPU使用率超过阈值告警处理文档，处理该告警。 处理完12016告警后，等待10分钟，查看该告警是否自动消除。 是，处理结束。 否，执行11 查看NameNode节点的内存是否设置过小。
图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ IDEA工具。同时完成JDK、Maven等初始配置。
图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Kafka的客户端程序当前推荐使用java语言进行开发，可使用IntelliJ IDEA工具开发。
参考ALM-12006 NodeAgent进程异常文档步骤处理该告警。 在告警列表中查看“JobGateway服务不可用”告警是否清除。 是，处理完毕。 否，执行6。 收集故障信息 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。
是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行3。 否，执行2。
使用文档查看、导入、导出在Hue页面上操作的任务，例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。
图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念
本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示，即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点，传感器层的每一个节点为叶子节点。
本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示，即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点，传感器层的每一个节点为叶子节点。
图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念
图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。
使用文档查看、导入、导出在Hue页面上操作的任务，例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。
按照ALM-12016 CPU使用率超过阈值告警处理文档，处理该告警。 处理完12016告警后，等待10分钟，查看14022告警是否自动消除。 是，处理结束。 否，执行11。 查看NameNode节点的内存是否设置过小。
表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。
集群管理 支持补丁在线推送及更新。
索引在线变更 支持索引在线创建、删除和修改状态，不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时，可以触发索引修复，保障最终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。
其他样例项目配置文件放置及样例代码执行注意事项指导，请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA，选择“Configure”。
管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
