检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
Doris应用场景 应用场景 报表分析 实时看板(Dashboards)。 面向企业内部分析师和管理者的报表。 面向用户或者客户的高并发报表分析(Customer Facing Analytics)。比如面向网站主的站点分析、面向广告主的广告报表,并发通常要求成千上万的QPS ,
create 'TEST','StuInfo','Grades' 返回结果如下:第一行代表表的创建时间和表名,第二行代表创建表所用的时间。 图1 建表 父主题: 连接访问类
Doris集群管理列表简介 登录表格存储服务,在左侧导航树,单击集群管理,集群管理列表中会显示CloudTable所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表 集群管理列表按照集群状态顺序排列,服务中的集群显示在最前端。 表1 集群管理列表参数 参数
native_dataSource_ip_list=ip:9000,ip:9000 表1 配置说明表 配置名称 默认值 含义 iPList - 必填参数,配置为clickhouse节点的集群访问地址列表。 登录cloudtable控制台,单击集群名称,进入集群详情页,拿到集群访问地址。
存储空间的CloudTable Doris集群。 步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。
哪些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过
Doris组件使用规范 本章节介绍Doris组件使用规范。 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般
HTTP连接数 HTTP协议连接个数。 Count 60 number_of_databases 数据库数量 每个节点数据库数量。 Count 60 number_of_tables 表数量 每个节点本地表数量。 Count 60 write_size_per_second 每秒写入大小 每个节点单位时间写入的数据量。
集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群ID
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡住,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
hadoop.hbase.mapreduce.Import <TableName> <InputPath> “TableName”:要导入数据的表名。 “InputPath”:SequenceFile文件的目录。在本地文件系统时必须要以file://开头。 例如: ./bin/hbase
CloudTable HBase存储的是原始数据吗? CloudTable HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题:
相应的“ZK链接地址(内网)”。 在使用CopyTable复制表数据前,需要先确保在CloudTable目标集群中目标表已经存在。如果目标表不存在,请先创建目标表。 创建表的具体步骤,请参考创建HBase集群。 在客户端主机,打开命令行终端窗口,进入客户端工具安装目录的hbase
HBase集群管理列表简介 登录表格存储服务,在左侧导航树,单击集群管理,在集群管理列表中会显示CloudTable所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表 集群管理列表默认按时间顺序排列,时间最近的集群显示在最前端。集群管理列表参数说明如表1和表2所示。
集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态
数据湖分析 多源数据目录 父主题: Doris应用开发指导
使用catalog连接非安全认证hive on hdfs 通过CloudTable集群管理面创建MRS Hive连接。 创建MRS Hive连接步骤 通过访问以下地址登录表格存储服务管理控制台:https://console.huaweicloud.com/cloudtable。 用户在CloudTable集群
多源数据目录 概述 Hive 父主题: 数据湖分析