检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除
因为ClickHouse数据迁移工具是基于表的分区进行数据迁移,在创建表时如果不携带PARTITION BY创建表分区,则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。
对系统的影响 Flush任务超时,会阻塞写数据操作,导致写数据操作的性能下降。 可能原因 该节点IoTDB Flush较慢,需要进一步分析日志查看。 处理步骤 收集故障信息。
因为ClickHouse数据迁移工具是基于表的分区作数据迁移,在创建表时如果不携带PARTITION BY创建表分区,则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。
配置HetuEngine对接MemArtsCC 操作场景 本章节介绍在存算分离场景下如何配置HetuEngine任务中集成MemArtsCC缓存,MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络
REFRESH TABLE 语法 REFRESH TABLE table_name 描述 用于刷新TABLE元数据缓存。 示例 refresh table fruit; REFRESH 父主题: HetuEngine辅助命令语法
Flink应用开发简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。
分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段,若需使用需联系技术支持申请白名单开通。
OpenTSDB应用开发简介 OpenTSDB简介 OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。
扩容后,集群内节点已安装的客户端无需更新,集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后,如需对HDFS数据进行均衡操作,请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作,请参考Kafka均衡工具使用说明。
操作场景 在传统的HDFS中,当客户端请求读取数据时,它会与NameNode交互以确定数据块所在的DataNodes,并选择其中一个进行连接和数据传输。如果所选DataNode的响应速度较慢或者发生故障,客户端必须等待一段时间后才会尝试从其他副本中获取数据,将会导致读取延迟。
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取数据,然后把数据经过分析后,找到对应的HBase表记录,再写到HBase表。
Spark从Hive读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序开发思路 Spark从Hive读取数据再写入HBase样例程序(Java) Spark从Hive读取数据再写入HBase样例程序(Scala) Spark从Hive读取数据再写入
使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表 问题 使用Spark SQL删除MOR表后重新建表写入数据不能实时同步ro、rt表,报错如下: WARN HiveSyncTool: Got runtime exception when hive syncing
表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型 请参见配置OpenTSDB参数 2 写入指标数据 请参见写入OpenTSDB数据 3 根据指标项进行数据查询 请参见查询OpenTSDB数据 4 删除指定范围的数据 请参见删除OpenTSDB
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。