检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
max_memory_usage = 128000000000; #128G 如果没有上述大小内存可用,ClickHouse可以通过如下设置将“溢出”数据到磁盘。建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。 set
Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题: 使用Spark(MRS 3.x之前版本)
使用OpenTSDB 使用MRS客户端操作OpenTSDB指标数据 使用curl命令操作OpenTSDB
ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题: 使用ClickHouse
与新生代的比值为2:1,新生代占整个堆空间的1/3,老年代占2/3。 开发Flink应用程序时,优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时,需要考虑优化分区。 避免非并行度操作,有些对DataStream的操作会导致无法并行,例如WindowAll。 keyBy尽量不要使用String。
查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka
Doris企业级能力增强 配置Doris高可用功能 配置Doris支持多源数据 父主题: 使用Doris
MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题: 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT失败的问题。 spark解析zlib时出错,出现java.io.IOException:
MyGenericUDAFEvaluator implements Closeable { 表分区优化建议 当数据量较大,且经常需要按天统计时,建议使用分区表,按天存放数据。 为了避免在插入动态分区数据的过程中,产生过多的小文件,在执行插入时,在分区字段上加上distribute by。 存储文件格式优化建议
--savepoint 20210318155750 若commit写入导致元数据冲突异常,执行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。 commit rollback只能回
--savepoint 20210318155750 如果commit写入导致元数据冲突异常,执行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。 commit rollback只能回
UDF功能的权限控制机制 由于Kafka配置的限制,导致Spark Streaming应用运行失败 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试
taOutputStream对象:out,使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:out,使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStrea
新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败 使用Phoenix创建HBase表后,向索引表中加载数据报错 在MRS集群客户端无法执行hbase shell命令 HBase shell客户端在使用中有INFO信息打印在控制台导致显示混乱
Hudi读操作 读取Hudi数据概述 读取Hudi cow表视图 读取Hudi mor表视图 父主题: 使用Hudi
Hudi读操作 读取Hudi数据概述 读取Hudi cow表视图 读取Hudi mor表视图 父主题: 使用Hudi
examples.FemaleInfoCollection: object FemaleInfoCollection { //表结构,后面用来将文本数据映射为df case class FemaleInfo(name: String, gender: String, stayTime:
examples.FemaleInfoCollection: object FemaleInfoCollection { //表结构,后面用来将文本数据映射为df case class FemaleInfo(name: String, gender: String, stayTime:
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase
Hive常见SQL语法说明 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题: 使用Hive