检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。
创建表 功能介绍 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。
加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。
fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。
如果对集群访问的安全性有要求,推荐使用华为云MRS服务上的HBase组件。 创建集群 通过访问以下地址登录表格存储服务管理控制台:https://console.huaweicloud.com/cloudtable。 单击管理控制台左上角的,选择区域。
样例代码 此章节主要介绍CloudTable ClickHouse冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 创建ClickHouse冷热分离表test_table。
instance 是 Instance object 集群的实例对象。 name 是 String CloudTable集群的名称。 storage_size 否 Integer 存储值的大小。 HBase取值范围: 800GB-10TB。
使用catalog连接非安全认证hive on obs。 使用catalog连接kerberos安全认证hive on obs。
Doris组件使用规范 本章节介绍Doris组件使用规范。 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下
如果当前时间减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。
ClickHouse的冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。
org.apache.zookeeper.security.common.IAMConstants.IAM_USER_NAME, userName); conf.set(org.apache.zookeeper.security.common.IAMConstants.IAM_USER_PASSWORD, userPassword); 参考创建Connection,使用更新后的conf对象创建
Observer Observer主要用于扩展集群的查询并发能力,可选部署。Observer不参与选主,不会增加集群的选主压力。 StarRocks基本概念 在StarRocks中,数据都以表(Table)的形式进行逻辑上的描述。
OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。 SQL命令 创建CATALOG的SQL命令以及参数说明。
在新建“表/文件迁移”类型的作业时,如果待迁移的源端的表/文件在目的端CloudTable集群中不存在相应的HBase表,在作业中为目的端设置表名和字段映射(支持从源端拷贝字段名)后,作业运行时会自动在目的端新建对应的HBase表。
OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。 SQL命令 创建CATALOG的SQL命令以及参数说明。
表1 导入方式说明 导入方式 支持格式 Broker Load parquet、orc、obs Stream Load csv、json、parquet、orc 导入说明 Doris的数据导入实现有以下共性特征,这里分别介绍,以帮助大家更好的使用数据导入功能。
DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。 父主题: Doris冷热分离应用
Byte 60 cmdForUsedStorageRate 已用存储空间比率 统计测量对象所在集群的已用存储空间大小占总配额的比率。 % 60 维度 Key Value cluster_id CloudTable集群ID。