检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。
初始化存量表的分区 命令功能 计算每个历史分区的最后修改时间,以“lastUpdateTime=最后修改时间”的格式将每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。TTL会依据“当前系统时间 - 分区最后修改时间”来判断每个分区是否老化。
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
数据管理维护 Hudi Clustering操作说明 Hudi Cleaning操作说明 Hudi Compaction操作说明 Hudi Savepoint操作说明 父主题: 使用Hudi
Hudi Schema演进及语法说明 ADD COLUMNS ALTER COLUMN DROP COLUMN RENAME SET RENAME COLUMN 父主题: Hudi Schema演进
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序
导入并配置ClickHouse springboot样例工程 操作场景 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。 该章节内容适用于MRS
开启HetuEngine自适应查询执行 本章节适用于MRS 3.2.0及以后版本。 HetuEngine自适应查询介绍 一般来说,大任务的SQL语句(例如在从整个表中扫描大量数据的情况)会占用大量的资源,在资源紧张的情况下,会影响其他任务的负载。这不仅导致用户体验不佳,也会提高运
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(
Kafka应用开发常见问题 Kafka接口介绍 运行Producer.java样例运行获取元数据失败如何处理 父主题: Kafka开发指南
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
HetuEngine DML SQL语法说明 INSERT DELETE UPDATE LOAD 父主题: HetuEngine常见SQL语法说明
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题: 使用Yarn
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用