检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI界面。 前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Spark管理操作权限的用户,用户组添加hadoop、hive、supergroup,主组添加hadoop。 操作步骤 使用具有Spark管理操作权限的用户登录Manager页面,选择“集群 > 服务 > Spark”。
41 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
能通过thriftserver1接口连接到HBase。 因此建议客户使用Python直接连接到HBase,具体实现可参考https://github.com/huaweicloud/huaweicloud-mrs-example/blob/mrs-1.8/src/hbase-ex
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 添加Task节点 MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击
37 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”,SQL语句中count
创建MRS IAM自定义权限策略 如果系统预置的MRS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务
38 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
39 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
38 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题:
器的任意目录(例如“ /opt” )下。 版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <ba
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。 当前版本HetuEngine支持对接的数据源如下表所示。 表1 HetuEngine对接数据源一览表 HetuEngine模式 数据源
38 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
38 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题:
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 参考如何判断某个服务是否使用了Ranger鉴权,确认服务是否启用了Ranger鉴权? 是,执行3。 否,编辑角色,根据服务的权限控制类别添加业务开发时需要的权限,参见表1。
38 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s
39 package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" mrs "github.com/huaweicloud/huaweicloud-s