检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user
限。(下载客户端的权限仅MRS 3.2.0及之后版本支持) Manager_tenant Manager租户管理员。 可为当前用户所属于的非叶子租户创建子租户并管理。具有“运维 > 告警”页面下“告警”、“事件”的查看权限。 System_administrator 系统管理员,
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”,并在该目录下创建子目录“conf”。 执行mvn package,在样例工程target目录下获取jar包,比如: impala-examples-mrs-2
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”(Linux环境),并在该目录下创建子目录“conf”。 执行mvn package ,在工程target目录下获取jar包,比如: impala-examples-mrs-2
如果该异常是Kudu服务初次安装时出现,可能是KuduMaster没能同时启动,造成数据不一样导致启动失败。可以通过如下步骤清空数据目录,重启Kudu服务解决。如果非初次安装,清空数据目录会造成数据丢失,请先进行数据迁移再进行数据目录清空操作。 查找数据目录fs_data_dir, fs_wal_dir,
c Configs场景,需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限,否则将会鉴权失败。 非安全模式下,KafkaUI对所有操作不作鉴权处理。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面: 登录FusionInsight
em_administrator”角色。 创建子租户的用户,至少需要绑定父租户对应的角色。 管理租户 管理租户目录 恢复租户数据 清除租户非关联队列 删除租户 管理租户是随着业务变化对租户进行的编辑操作。 管理或删除一级租户的用户,以及恢复租户数据的用户,需要绑定“Manager
Spark2x常见问题 Spark Core SQL和DataFrame Spark Streaming 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错
Impala应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录,里面包含通过Java API访问Impala的样例代码。 HiveQL语言
使用代理用户提交Spark作业 本章节仅适用MRS 3.3.0及之后版本。 场景说明 提交Spark任务时,用户可以使用当前实际运行用户提交任务,也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户,登录Manager页面,选择“系统 > 权限 >
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
cation,默认存储在OBS上。 Ranger权限配置 集群已启用Kerberos认证(安全模式)的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式,详细操作请参见添加HetuEngine的Ranger访问权限策略。 父主题: MRS集群服务对接OBS示例
群部署为普通模式,则不需要配置互信。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库,数据表在HDFS的保存位置,以及访问恢复数据的用户清单。 检查ClickHouse备份文件保存路径。 停止ClickHouse的上层应用。
在Windows中调测Impala JDBC应用 运行样例。 导入和修改样例后,即可在开发环境中,右击“JDBCExample.java”,选择“Run 'JDBCExample.main()'”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala,有如下两种方式。
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。