检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData故障处理 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
配置场景 当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP,可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实
使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
ALTER TABLE 修改表结构时,针对聚合模型和非聚合模型的修改方式不同;针对Key列和Value列的修改方式也不同。其中: 建表时指定AGGREGATE KEY时,为聚合模型;其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics
${table_name}_ro; 读优化视图读取(Spark dataSource API为例):和读普通的dataSource表类似。 必须指定查询类型QUERY_TYPE_OPT_KEY为QUERY_TYPE_READ_OPTIMIZED_OPT_VAL spark.read.format("hudi")
创建IoTDB用户自定义函数(UDF) IoTDB UDF概述 运行IoTDB UDF样例程序 父主题: 使用IoTDB
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark/Spark2x
CarbonData查询流程 当CarbonData首次收到对某个表(例如表A)的查询任务时,系统会加载表A的索引数据到内存中,执行查询流程。当CarbonData再次收到对表A的查询任务时,系统则不需要再加载其索引数据。 在CarbonData中执行查询时,查询任务会被分成几个扫
rbonScanRdd: CarbonScanRDD[InternalRow]): Array[String]; 使用方法 使用如下方法从查询语句中获得CarbonScanRDD: val df=carbon.sql("select * from table where age='12'")
为什么创建Hive表失败? 问题 为什么创建Hive表失败? 回答 当源表或子查询具有大数据量的Partition时,创建Hive表失败。执行查询需要很多的task,此时输出的文件数就会很多,从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
Hudi CALL COMMAND语法说明 CHANGE_TABLE CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES SAVE_POINT ROLL_BACK CLUSTERING Cleaning Compaction SHOW_COMMIT_FILES
ClickHouse开发指南(普通模式) ClickHouse应用开发简介 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(安全模式)
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题: Flink开发指南(普通模式)