检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不然大量FE上数据传输将占用FE资源,影响集群稳定性。 如果是交互式查询,建议使用分页方式(offset limit),分页要加Order by。 如果是数据导出提供给第三方使用,建议使用 outfile或者export 方式。
数据导入 使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 使用DLI Flink作业实时同步MRS Kafka数据至CloudTable ClickHouse集群
使用CDM迁移数据到CloudTable HBase集群 通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。
步骤一:创建CloudTable ClickHouse集群 登录表格存储服务控制台,创建非安全ClickHouse集群。 下载客户端和客户端校验文件。 准备弹性云服务。 安装客户端并校验客户端。 建立flink数据库。
了解DLI请参见数据湖探索产品介绍。 了解Kafka请参见MRS产品介绍。 图1 数据同步流程图 使用限制 MRS集群未开启Kerberos认证。 为了确保网络连通,MRS集群必须与CloudTable集群的安全组、区域、VPC、子网保持一致。
在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 在集群的“云服务监控”页面中,单击集群ID前的按钮展开计算单元列表,选择对应节点查看监控信息。
查看ClickHouse集群监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 进入集群管理页面,在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。
ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。
数据导入 Doris集群导入数据频繁报错E-235
创建MRS Hive连接 使用catalog连接非安全认证hive on hdfs 使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs
CloudTable服务支持标签索引能力,您只需要创建CloudTable集群,就可以在弹性云服务器(ECS)上开发客户端应用进行多维标签查询。 父主题: 开发标签索引应用
您可根据业务需要,定制相应计算能力和存储空间的CloudTable HBase集群。 当前支持创建的集群无需通过Kerberos认证,就可以访问HBase集群。如果对集群访问的安全性有要求,推荐使用MRS服务上的HBase组件。
使用CopyTable工具导入数据 准备Linux弹性云服务器作为客户端主机,并在客户端主机上部署CloudTable HBase客户端工具。 具体操作请参见使用HBase Shell访问集群。
/bin/hbase org.apache.hadoop.hbase.mapreduce.Import t1 file:///tmp/sequencefile 父主题: HBase数据批量导入
认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。 用户名 MRS集群的用户名。
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。
认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。 用户名 MRS集群的用户名。
登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。如下图所示: 图2 查看ZK链接地址 “mapreduce.cluster.local.dir”:请先检查是否存在该配置项,如果不存在,请添加该配置项。
重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 删除集群:当用户不再需要集群时,可选择删除集群。
背景 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。