检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念
本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示，即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点，传感器层的每一个节点为叶子节点。
本文档内容仅适用于MRS 3.2.0及之后版本。 常用概念 以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示，即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点，传感器层的每一个节点为叶子节点。
使用文档查看、导入、导出在Hue页面上操作的任务，例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。
按照ALM-12016 CPU使用率超过阈值告警处理文档，处理该告警。 处理完12016告警后，等待10分钟，查看14022告警是否自动消除。 是，处理结束。 否，执行11。 查看NameNode节点的内存是否设置过小。
索引在线变更 支持索引在线创建、删除和修改状态，不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时，可以触发索引修复，保障最终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。
表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。
集群管理 支持补丁在线推送及更新。
步骤3：创建并运行Flink作业 方式1：在控制台界面在线提交作业。 登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 单击“作业管理”，进入“作业管理”页签。
联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警，参考ALM-12014 设备分区丢失（2.x及以前版本）进行处理，处理完成后，本告警即可自动消除。 参考信息 无。 父主题： MRS集群告警处理参考
表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志，日志中主要字段含义如下： result：策略校验结果，0表示拒绝，1表示允许。
管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。
其他样例项目配置文件放置及样例代码执行注意事项指导，请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA，选择“Configure”。
原因：创建UDF后，Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景，Spark所在线程的FunctionRegistry对象未保存新创建的UDF，那么删除UDF时就会出现错误。
原因：创建UDF后，Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景，Spark所在线程的FunctionRegistry对象未保存新创建的UDF，那么删除UDF时就会出现错误。
文档中提供的示例代码，其运行依赖包在客户端lib中已存在。 SparkLauncher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。
联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警，参考ALM-12014 设备分区丢失进行处理，处理完成后，本告警即可自动消除。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”，在日志中查看具体告警原因，并进行处理。
在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][HDFS]”，在日志中查看具体告警原因，并进行处理。
文档中提供的示例代码，其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
