检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
随便进入一个安装节点，cd到sparkResource的安装目录）。 准备好自己的jar包例如xx.jar的x86版本和TaiShan版本。将x86版本和TaiShan版本的xx.jar分别复制到当前目录的x86文件夹和TaiShan文件夹里面。 在当前目录下执行以下命令将jar包打包：
spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster1和cluster2集群Spa
已创建好集群，并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台，选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组” 。 为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则，允许指定来源的数据访问端口“22”。
x及以前版本） 告警解释 系统每30秒周期性检测丢失的NodeManager节点数，并把丢失的节点数和阈值相比较。“丢失的节点数”指标默认提供一个阈值范围。当检测到“丢失的节点数”的值超出阈值范围时产生该告警。 当“丢失的节点数”的值小于或等于阈值范围时，告警自动清除。 告警属性 告警ID
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。 集群外部节点：用户可以将客户端安装在集群外部节点上，详情请参见集群外节点使用MRS客户端章节，登录安装客户端的节点。 使用Spark客户端
已创建好集群，并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台，选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组” 。 为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则，允许指定来源的数据访问端口“22”。
spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。 分别将cluster1和cluster2集群Spa
ght ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码，只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP，端口号按照实际情况修改。
使用“testConnectApacheZk”连接开源ZooKeeper的代码，只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP，端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper的样例，需注释掉main函数中的“testConnectHive”方法。
标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题： 安全
系统每30秒周期性检测异常NodeManager节点数，并把异常节点数和阈值相比较。“非健康的节点数”指标默认提供一个阈值范围。当检测到“非健康的节点数”的值超出阈值范围时产生该告警。 当“非健康的节点数”的值小于或等于阈值范围时，告警自动清除。 告警属性 告警ID 告警级别 可自动清除
用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.SessionbyKerberosExample”类。 在Manager界面，选择“集群 > 服务 > IoTDB > 实例”，查看待连接的IoTDBServer所在的节点IP。
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
workflow.xml 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
r已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体操作请参考添加Ranger权限策略。
xecutor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
xecutor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
