正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数目。 支持日志在线检索和日志收集。 支持在线检索ClickHouse日志内容。 登录FusionInsight Manager界面,访问“运维 > 日志 > 在线检索”,在“服务”中选择“ClickHouse”,“检索内容”填写日志检索关键字,通过“检索”在线检索ClickHouse日志内容。
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器,旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器,旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS
Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts Studio,用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业,完成MRS与其他20多种异构数据源之间的数据迁移和数据集成;通过强大
tuple() ORDER BY tuple(); 其中,字段a是原生字符串,字段a_low_card基于a做了低基维编码。 数据存储的对比 查询性能对比 查询性能有5倍的提升。 父主题: ClickHouse宽表设计
替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。 解决办法 属于正常现象。
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。 Storm有如下几个特点: 适用场景广泛 易扩展,可伸缩性高
开启物化视图能力,提高查询的响应效率 配置HetuEngine物化视图改写能力 配置物化视图推荐能力 自动学习并推荐对业务最有价值的物化视图SQL,使在线查询效率获得倍数提升,同时有效降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQ
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
通常不建议使用本地文件加载数据到hive表。 建议先将本地文件放入HDFS,然后从集群中加载数据。 Hive对load data local inpath命令有如下权限要求,请对照下述要求是否满足: 由于所有的命令都是发送到主HiveServer上去执行的,所以要求此文件在HiveServer节点上。 HiveSer
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
告警”页面,找到“ALM-29104 Tserver进程内存占用率超过阈值”告警,查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”,找到该告警的阈值,再对比集群Kudu实例的内存监控项,看是否超过阈值,处理内存使用率过高的问题,或修改阈值。 在“运维 > 告警”页签,查看该告警是否恢复。 是,处理完毕。
据一致性保证。维度表保存时间比较长,当前Flink on Hudi能力可以针对Hudi作为维度表单独设置TTL时长。 表2 维度表实现方式对比 维度 内存维度表(hive/hudi表) 外置维度表(HBase) 状态维度表 性能 非常高(毫秒内) 中(毫秒级) 高(毫秒内~毫秒级)
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
int compaction.async.enabled 否 true 是否开启在线压缩 compaction.schedule.enabled 否 true 是否阶段性生成压缩plan,即使关闭在线压缩的情况下也建议开启 compaction.tasks 否 10 压缩Hudi表task并行度