检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark
添加IoTDB数据源 本章节适用于MRS 3.2.0及之后的版本。 本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。 添加IoTDB数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine
BulkLoad和Put应用场景有哪些 问题 HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。 回答 bulkload是通过启动
Hive表中增加分区列后再插入数据显示为NULL 问题现象 执行如下命令创建表 create table test_table( col1 string, col2 string ) PARTITIONED BY(p1 string) STORED AS orc tblproperties
SQL和DataFrame Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
HBase容灾集群主备倒换 操作场景 当前环境HBase已经是容灾集群,因为某些原因,需要将主备集群互换,即备集群变成主集群,主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后,原先主集群将不能再写入数据,原先备集群将变成主集群,接管上层业务。
对系统的影响 修改开关后服务的配置将过期,需要重启对应的服务使配置生效。 关闭HDFS鉴权 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”。 单击“全部配置”。
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原
配置Hive业务使用其他组件的用户权限 操作场景 Hive业务还可能需要关联使用其他组件,例如HQL语句触发MapReduce任务需要设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作
数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性能可以达到JavaSerializer
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性能可以达到
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限,本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户
使用DBeaver访问Phoenix 本章节以DBeaver 6.3.5版本为例,讲解如何访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 前提条件 已安装DBeaver 6.3.5,DBeaver软件下载链接为:https:
使用Hue提交提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下,用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。
BulkLoad和Put应用场景有哪些 问题 HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。 回答 bulkload是通过启动