检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 表格存储服务 表格存储服务(CloudTable)为用户提供专属集群,即开即用,适合业务吞吐量大,时延要求低的用户。轻松运行HBase、Doris、ClickHouse等大数据组件。 产品介绍 立即使用 立即使用 成长地图 由浅入深,带您玩转CloudTable
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
连接管理概述 Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许多客户的
与其他云服务的关系 统一身份认证IAM CloudTable使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证功能。 了解更多IAM的相关信息,请参见统一身份认证服务。 弹性云服务器ECS CloudTable使用弹性云服务器(
使用客户端访问集群 用户在弹性云服务器里可以通过手动安装客户端的方法,使用SQL访问集群。 创建集群的虚拟私有云、安全组需要和公网ECS保持一致,否则客户端无法访问集群。 ClickHouse手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 下载客户端,
典型场景说明 通过典型场景,我们可以快速学习和掌握Doris的开发过程,并且对冷热分离的应用场景有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code error_msg
典型场景说明 通过典型场景,我们可以快速学习和掌握ClickHouse冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code
应用背景 CloudTable作为大数据存储服务,提供高效的kv随机查询能力。在此基础上,CloudTable服务引入自研的分布式多维标签索引能力,存储格式与计算基于位图进行。用户可以根据自身业务需求来定义HBase表中的哪些字段需要构建标签索引,用户写入数据时将自动生成标签数据。
创建表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region,随着数据量的增加会自动分裂成多个
创建表 功能介绍 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名、冷热时间线。 创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Region
Doris组件使用规范 本章节介绍Doris组件使用规范。 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下
购买折扣套餐 CloudTable同时提供折扣套餐的计费方式,根据服务购买时长,一次性支付费用。最短时长为1个月,最长时长为1年。这种购买方式相对比较优惠,对于长期使用者,推荐该方式。请参见以下操作步骤以折扣套餐的方式购买CloudTable服务。折扣套餐购买成功后系统不会自动创建集群
删除表 功能介绍 删除在创建表中创建的副本表和分布式表。 语句1:使用drop table将集群中的本地表删除。 语句2:使用drop table将集群中的分布式表删除。 样例代码 private void dropTable(String databaseName, String
查看审计日志 在开启了云审计服务后,系统开始记录CloudTable服务的操作日志。云审计服务管理控制台保存最近7天的操作记录。 本章节包含如下内容: 开启云审计服务 关闭审计日志 查看CloudTable的云审计日志 开启云审计服务 使用云审计服务前需要开启云审计服务,开启云审计服务后系统会自动创建一个追踪器
创建Doris集群 通过表格存储服务可以集中管理集群,如果需要使用CloudTable服务,首要操作就是创建集群,本章节为您介绍如何在表格存储服务管理控制台创建一个新的集群。 Doris集群目前支持的计费模式有按需付费、包年包月付费。创建集群页面默认采用按需付费方式,即计算单元按实际使用时长计费
准备Windows运行环境 操作场景 CloudTable应用开发的运行环境可以部署在Windows环境下。按照如下操作完成运行环境准备。 操作步骤 确认CloudTable集群已经安装,并正常运行。 准备Windows弹性云服务器。 具体操作请参见准备弹性云服务器章节。 请在Windows
准备开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
创建库 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String
Doris集群导入数据频繁报错E-235 问题现象 集群频繁报错E-235,报错信息如下: PreparedStatementCallback; uncategorized SQLException for SQL [INSERT INTO crowd.crowd_user_bitmap
ClickHouse包周期计费操作 如果您需长期使用当前集群,为节省开支,可以将按需购买的集群转为包年/包月计费模式(也称为包周期计费模式)。按需转包年/包月的具体操作,请参见本章节内容。 按需转包年包月 前提条件:集群计费模式是“按需计费”。 按需转包年/包月操作步骤 登录CloudTable