检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 系统添加的安全组规则会在“安全组 > 入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则
如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 系统添加的安全组规则会在“安全组 > 入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则
它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2
ZooKeeper客户端端口号 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper”,在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow.everyone.if.no
LTS版本对应样例工程下载地址: MRS 3.3.0-LTS版本:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.3.0。 MRS 3.2.0-LTS.1版本:https://github.com/huaweiclo
发的特点,对数据访问效率和并行计算深度优化(元数据操作、写入算法优化等),实现性能提升。 MRS支持自研的超级调度器Superior Scheduler,性能更优。 MRS支持自研超级调度器Superior Scheduler,突破单集群规模瓶颈,单集群调度能力超10000节点。Superior
要使用集群中的证书。如果用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。 在这个场景下,需要进行以下操作,将集群中的证书导入第三方JDK或者JRE中。 配置方法 导出集群中的证书: 安装集群客
son -d '{"plainText":"<password>"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt';其中<password>要与签发证书时使用的密码一致,x.x.x.x为集群Manager的浮动IP。 命令中如
单击“Session” 单击“Open”登录云服务器。 如果首次登录云服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 本地使用Linux操作系统 如果您本地使用Linux操作系统登录Linux弹性云服务器,可以按照下面方式登录。下面步骤以私钥文件以kp-123
要使用集群中的证书。若用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。 在这个场景下,需要进行以下操作,将集群中的证书导入第三方JDK或者JRE中。 配置方法 导出集群中的证书: 安装集群客户
参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > Kafka > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。 表1 Kafka服务端传输加密参数
巡检结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表,MRS目前仅支持证书检测脚本,用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 配置巡检参数。 巡检授权时间:运维巡检授权的时长,到期后会自动取消授权。
*-executable.jar --catalog hive --deployment-mode on_yarn --server https://10.112.17.189:24002,10.112.17.228:24002,10.112.17.150:24002?servi
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配
Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。
Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配
在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配