检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PARTITIONPATH_FIELD_OPT_KEY, "partitionpath"). option(TABLE_NAME, tableName). mode(Overwrite). save(basePath); "obs://testhudi/cow_table/"是OBS路径,testhudi是并行文件系统名称
hoodie.insert.shuffle.parallelism = 100; set hoodie.upsert.shuffle.parallelism = 100; set hoodie.delete.shuffle.parallelism = 100; 重置(Reset): RESET 系统响应
对系统的影响 部分ClickHouseServer实例不可用。 可能原因 安装或扩容过程中,实例数或分配方式不能满足拓扑要求。
添加IoTDB数据源 本章节适用于MRS 3.2.0及之后的版本。 本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。 添加IoTDB数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine
BulkLoad和Put应用场景有哪些 问题 HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。 回答 bulkload是通过启动
静态服务资源概述 静态服务资源简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源
使用DBeaver访问Phoenix 本章节以DBeaver 6.3.5版本为例,讲解如何访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 前提条件 已安装DBeaver 6.3.5,DBeaver软件下载链接为:https:
可列出文件系统上“huawei”目录下所有目录和文件的详细信息。 LISTSTATUS将在一个请求中返回所有子文件和文件夹的信息。
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark
StormSupervisorMemAverageUsagePercentage 百分比 Storm组件Supervisor进程使用的内存占系统总内存的平均百分比。 取值范围[0 ~ 100]。
对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务,集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例,该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。
用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 父主题: Ranger权限策略配置示例
配置Hive业务使用其他组件的用户权限 操作场景 Hive业务还可能需要关联使用其他组件,例如HQL语句触发MapReduce任务需要设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作
Hive表中增加分区列后再插入数据显示为NULL 问题现象 执行如下命令创建表 create table test_table( col1 string, col2 string ) PARTITIONED BY(p1 string) STORED AS orc tblproperties
SQL和DataFrame Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限,本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户
对系统的影响 修改开关后服务的配置将过期,需要重启对应的服务使配置生效。 关闭HDFS鉴权 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”。 单击“全部配置”。
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下