检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 加载空的part文件时，app无法显示在JobHistory的页面上
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
Manager关键特性 Manager关键特性：统一监控告警 Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。 对系统的影响 第一次访问Manager和Flink
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理： 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink We
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志，按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
源版本无法代理HTTPS请求，所以无法通过YARN代理访问Flink的原生页面，用户可以在集群的同一个VPC下，创建windows虚拟机，在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled true
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况，推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Pr
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口，用户可以通过JDBC连接Th
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据，实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作，以确保产品安全使用。适用于以下场景： 首次安装好集群以后，需要更换企业证书。 企业证书有效时间已过期或安全性加强，需要更换为新的证书。
准备Spark本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线，每个生产线
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
