检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此配置控制“存储桶”的大小,该大小可跟踪对单个文件进行的记录键检查的次数,并且是分配给执行布隆过滤器查找的每个分区的工作单位。 较高的值将分摊将布隆过滤器读取到内存的固定成本。
1GB hoodie.logfile.data.block.max.size LogFile数据块的最大值。这是允许将单个数据块附加到日志文件的最大值。 这有助于确保附加到日志文件的数据被分解为可调整大小的块,以防止发生OOM错误。此大小应大于JVM内存。
ClickHouse常用SQL语法 CREATE DATABASE创建数据库 CREATE TABLE创建表 INSERT INTO插入表数据 SELECT查询表数据 ALTER TABLE修改表结构 ALTER TABLE修改表数据 DESC查询表结构 DROP删除表 SHOW显示数据库和表信息
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse
lastmodified:最后的修改时间,追加last-value指定的日期之后的记录。 --last-value 指定一个值,用于标记增量导入 --input-null-string 替换null字符串,如果没有指定,则字符串null将被使用。
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select
ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题: 使用ClickHouse
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题: 使用Spark2x(MRS 3.x及之后版本)
Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题: 使用Spark2x(MRS 3.x及之后版本)
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase
Hive运维管理 Hive常用常用配置参数 Hive日志介绍 父主题: 使用Hive
Hive故障排除 如何对insert overwrite自读自写场景进行优化 Hive SQL运行变慢阶段如何排查 父主题: 使用Hive
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题: 使用Kafka
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO
加载空的part文件时,app无法显示在JobHistory的页面上 Spark2x导出带有相同字段名的表,结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印