检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
classOf[ImmutableBytesWritable], classOf[Result]) // 遍历hbase table1表中的每一个partition, 然后更新到Hbase table2表 // 如果数据条数较少,也可以使用rdd.foreach()方法
classOf[ImmutableBytesWritable], classOf[Result]) // 遍历hbase table1表中的每一个partition, 然后更新到Hbase table2表 // 如果数据条数较少,也可以使用rdd.foreach()方法
classOf[ImmutableBytesWritable], classOf[Result]) // 遍历hbase table1表中的每一个partition, 然后更新到Hbase table2表 // 如果数据条数较少,也可以使用rdd.foreach()方法
/ 否,清理磁盘空间。 是,检查结束。 检查集群是否已经支持root补丁特性 集群是否已经安装了MRS 3.1.0.0.8及之后版本的任意一个补丁。 是,可以直接安装MRS 3.1.0.0.16补丁,此时安装MRS 3.1.0.0.16补丁会提示需要用户输入root密码或者密钥。
其中版本号8.1.2.2为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export
其中版本号8.1.2.2为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export
物化视图通常基于对数据表进行聚合和连接的查询结果创建。 物化视图支持“查询重写”,这是一种优化技术,即将基于原始表编写的查询语句转换为查询一个或多个物化视图语句的等效请求。如下物化视图的SQL示例: create materialized view mv.default.mv1
classOf[ImmutableBytesWritable], classOf[Result]) // 遍历hbase table1表中的每一个partition, 然后更新到Hbase table2表 // 如果数据条数较少,也可以使用rdd.foreach()方法
权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 SparkSQL权限管理部分集成了Hive权限管理的功能。使用
其中版本号8.1.0.1为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export
"user1", "user2" ], "group_names" : [ "group1" ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
"error_msg" : "终止作业失败", "error_code" : "0175" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls
"key" : "key2", "value" : "value3" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
"error_code" : "MRS.00000000", "error_msg" : "请求标签操作错误" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
在租户资源中添加租户,例如创建租户sparkstatic1,具体请参见添加MRS租户章节。 对于开启了Kerberos认证的集群,需要创建一个业务用户,例如创建用户“sparkuser”,该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。
ThirdKafka数据库的Topic需要能被MRS集群消费,操作步骤请参考ThirdPartyKafka前置准备。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka、supergroup,主组选择“cdladmin”
避免在跨地域有限带宽场景下因流量独占而影响其他业务的正常使用。 跨域功能使用指导 前提条件: 确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。 确保本端和远端集群的HSFabric实例所在节点的网络互通。 操作步骤: 开放本域数据源。通过创建Virtual
权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 SparkSQL权限管理部分集成了Hive权限管理的功能。使用
群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。