检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许多客户的Hive表数据在OBS或HDFS上,需要Doris对接Hive外表,且Hive集群分为安全集群与非安全集群,所以可以使用以下4种方式进行数据查询:
"的CloudTable集群。 使用CDM迁移数据到CloudTable 登录云数据迁移管理控制台,创建一个CDM集群。 创建的CDM集群需要与CloudTable集群具有相同的区域、可用区、虚拟私有云、子网以及安全组。 详细的操作步骤,请参见《云数据迁移用户指南》中的创建集群章节。
按需转包年/包月 如果您需要长期使用当前按需购买的云数据库,可以将该云数据库转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16成功购买了一个按需计费的CloudT
程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。该环境需要和clickhouse集群处于同一vpc和安全组,以保证网络连通。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致,并设置好Java环境变量。
就可以一直使用服务。 对于包年/包月模式,您在购买时一次性付费,使用过程中不会再额外计费。包周期到期后,资源会依次进入宽限期、保留期,如果需要继续使用,请及时续费。详情请参见资源到期说明。 当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。
建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考
如何在其他云服务中访问CloudTable? 如果需要在其他云服务中访问CloudTable,请确保该云服务与CloudTable集群在相同的区域、可用区、虚拟私有云、子网和安全组内。 父主题: 连接访问类
创建新表的时候会显示在返回结果中。 连接集群,使用HBase Shell访问集群,具体操作请参见《用户指南》手册中的“使用HBase Shell访问集群”章节。 输入create命令,新建表。 create 'TEST','StuInfo','Grades' 返回结果如下:第一行代表表的创建时间和表名,第二行代表创建表所用的时间。
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题: 数据读写类
如何访问CloudTable集群? CloudTable服务基于弹性云服务器(Elastic Cloud Server。简称ECS)提供服务,用户需要在与CloudTable集群相同子网内创建ECS主机,并同步配置提供的集群zk地址,通过客户端或接口访问集群。 父主题: 连接访问类
插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。 通常,写入数据的时候,我们需要指定要写入的列(含列族名称和列名称)。 HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 public
</property> 其中:value中的值为ZooKeeper集群的域名。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址”。 父主题: 样例代码说明
数据从热存储到冷存储、从冷存储到热存储,需要执行Major Compaction。 数据写入 冷热分离的表与普通表的数据写入方式完全一致,数据会先存储在热存储(超高IO)中。随着时间的推移,如果一行数据满足当前时间-时间列值>COLD_BOUNDARY设置的值条件,则会在执行Compaction时被归档到冷存储(普通IO)中。
able,多个任务并行缓慢 问题现象 访问CloudTable HBase数据表,多个任务并行缓慢。 分析原因 集群节点存在GC内存泄漏,需要对节点进行灰度重启。 另外分析问题是否存在负载过高的问题,联系相关工作人员处理。 解决办法 重启实例regionserver,此操作请联系维护人员操作。
</property> 其中:value中的值为ZooKeeper集群的域名。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 父主题: 样例代码说明
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
</property> 其中:value中的值为ZooKeeper集群的域名。登录表格存储服务管理控制台,在左侧导航树单击“集群管理”,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 父主题: 样例代码说明
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。
Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count( * ) 查询很不友好。同时因为固定了Value列上的聚合方式,在进行其他类型的聚合查询时,需要考虑语意正确性。 Aggregate Key相