检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。
群的创建。可以选择计算存储分离架构和计算资源动态调整,尽可能为用户降低成本。 管理集群:对创建的集群进行管理。 指标监控:集群运行中,收集各项监控数据,上报云监控(Cloud Eye),向用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过消息通知用户和管理员,及时人工介入。
格。 集群查看:在CloudTable集群管理界面可以查看集群详情。 集群管理:对创建的集群进行管理。 集群监控指标查看:对接CES服务,可以查看Doris集群相关的监控指标,用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过消息通知用户和管理员,及时人工介入。 重启集群
查看HBase集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数
力集中在单节点,造成业务侧可感知的性能下降甚至请求失败。 HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供一定的热点问题
冷热分离场景下,热盘不支持缩容。 背景 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。 原理介绍 CloudTable HBase支持对同一张表的数据进行冷热分离存
成本。 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。 父主题: 开发HBase冷热分离应用
据等结构化、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入吞吐量、ms级查询,用于在线应用和报表展现。 生态丰富 基于Hadoop生态组件丰富,与华为云产品有高度的整合能力。 画像数据存储和查询
哪些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过
StarRocks是一款全托管分析型数据仓库,可以灵活创建和管理集群以及数据。使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各种实时和离线的数据源高效导入数据,同时支持直接分析数据湖上各种格式的数据。 StarRocks兼容
了解更多CTS的相关信息,请参见云审计服务。 云监控服务CES CloudTable使用云监控服务CES监控集群中的多项性能指标,从而集中高效地呈现状态信息。云监控支持发送自定义告警,用户可第一时间获取异常通知。 了解更多CES的相关信息,请参见云监控服务。 云日志服务LTS CloudTable用户可以在云日志服务(Log
户关联企业项目。 创建时间 集群创建的时间。 计费模式 集群的计费模式,有按需和转包周期。 操作 查看监控信息:单击“查看监控信息”,进入“云服务监控 > 表格存储服务”的监控图表页面。 删除:单击删除,删除一个集群。 重启:单击重启,集群重启。 转包周期:集群的计费模式转为包年/包月。
操作 删除:单击“更多 > 删除”,删除集群(按需集群)。 重启:单击“更多 > 重启”,集群重启。 查看监控信息:单击“查看监控信息”,进入“云服务监控 > 表格存储服务”的监控图表页面。 扩容:扩容集群中的计算规格(规格变更)、存储规格(磁盘扩容)、节点数量(节点扩容)。具体操作,请参见扩容集群。
计费模式 集群的计费模式分为按需和包年/包月。 ZK链接地址(内网) Zookeeper地址。 操作 查看监控信息:单击“查看监控信息”,进入“云服务监控 > 表格存储服务”的监控图表页面。 节点扩容:扩容集群中的计算单元。具体操作,请参见HBase集群节点扩容。 更多 磁盘扩容:单
Doris用户指南 Doris集群管理 Doris监控集群
ClickHouse用户指南 ClickHouse集群管理 ClickHouse监控集群
HBase用户指南 HBase集群管理 HBase数据批量导入 HBase监控集群 HBase热点自愈 使用全局二级索引
删除集群 HBase监控集群 HBase审计日志 使用Doris 使用MySQL客户端访问集群 重启集群 删除集群 集群扩容 Doris参数配置 Doris用户管理 Doris角色管理 Doris慢SQL查询 Doris连接管理 Doris安全通道 Doris监控集群 使用ClickHouse
典型场景说明 通过典型场景,我们可以快速学习和掌握标签索引的开发过程,并且对关键的接口函数有所了解。 场景说明 某在线付费学习APP给会员打上各种属性标签,以方便后续的资源投放和精准定位营销。例如,需要ms级统计拥有学士和硕士学位的用户数量是多少?以及是哪些用户? 用户信息表字段如下:
通过典型场景,我们可以快速学习和掌握Doris的开发过程,并且对冷热分离的应用场景有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code error_msg op_id op_time