检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。
选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“HetuEngine”。 配置“HetuEngine配置”,参数配置请参考表1。
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
建议少或不增删数据列 业务提前规划列个数,如果将来有更多列要使用,可以规划预留多列,避免在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 父主题: ClickHouse常用SQL语法
建议少或不增删数据列 业务提前规划列个数,如果将来有更多列要使用,可以规划预留多列,避免在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 父主题: ClickHouse常用SQL语法
设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在恢复任务列表,可以查看刚创建的恢复任务。
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。
Flume数据写入组件失败 问题现象 Flume进程启动后,Flume数据无法写入到对应组件(本示例以服务端写入到HDFS为例)。 原因分析 HDFS未启动或故障。
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。
配置Doris对接Hudi数据源 在MRS集群元数据存储在Hive MetaStore的场景中,Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源,支持对接Hudi所有的数据字段类型。
OpenTSDB应用开发简介 OpenTSDB简介 OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。
配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 ha.health-monitor.rpc-timeout.ms zkfc对NameNode健康状态检查的超时时间。
在大多数实际情况下,会需要查询列值为XXX的数据。HBase提供了Filter功能来查询具有特定列值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值进行匹配,直到找到所需的数据。过滤器功能会scan一些不必要的数据以获取所需的数据。
COW的Archive可以在写数据时自动判断是否执行。 父主题: Hudi数据表管理操作规范
版本元数据查询 查询对应版本元数据 父主题: API V1.1
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库
表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中写入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题: 开发
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。