检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能分解 根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡住,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
HBase Java API HBase采用的接口与Apache HBase保持一致。 详细内容请参见 https://hbase.apache.org/1.2/apidocs/index.html 父主题: 对外接口
开发思路 表1 开发思路 序号 步骤 代码实现 1 创建HBase表时开启标签索引 请参见创建数据表开启标签索引 2 HBase put写入数据 请参见写入数据 3 查询数据 请参见: 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
CloudTable HBase支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。
应用背景 CloudTable Doris支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。主要适用以下场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速
创建MRS Hive连接 使用catalog连接非安全认证hive on hdfs 使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs
角色管理功能提供新增角色、删除角色、查看角色权限、修改角色权限等功能。角色管理支持管理用户对库表数据的权限,包括授权和撤销。 创建角色 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面。 单击左上角的新建角色按钮,弹出新建角色页面。
database:数据库名。 password:创建集群时,创建的密码。 select * from:后面跟数据表。 ./parquet_no_ssl.parquet:代表parquet格式文件导出路径,路径自定义。 config-file ./config.xml:指定配置文件,
v22, v23), ... 对于存在于表结构中但不存在于插入列表中的列,它们将会按照如下方式填充数据: 如果存在DEFAULT表达式,根据DEFAULT表达式计算被填充的值。 如果没有定义DEFAULT表达式,则填充零或空字符串。 接复制表结构创建表示例,插入数据: insert into
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
样例代码说明 配置参数 创建Configuration 创建Connection 创建表 删除表 修改表 插入数据 删除数据 使用Get读取数据 使用Scan读取数据 使用过滤器Filter 父主题: 开发HBase应用
集群。 连通跨区域CloudTable集群与对端集群。 公网访问CloudTable集群。 连通CloudTable集群和线下数据中心。 表1 使用方案 场景 支持组件 方案 约束与限制 连通同区域CloudTable集群与跨VPC对端集群 ClickHouse/Doris VP
集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态
确定费用以及资源配额后,单击确定。 磁盘扩容状态 表1 磁盘扩容任务状态说明 状态 说明 磁盘扩容中(任务状态) 表示集群正在扩容中。 服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。 磁盘扩容失败(任务状态) 表示扩容失败。 查看磁盘扩容信息 单击确定后,集
为“服务中”,任务状态清空。 规格变更状态 表1 规格变更任务状态说明 状态 说明 规格变更中 表示集群正在变更中。 服务中 当集群变更成功并正常提供服务时,其集群状态为服务中。 规格变更失败 表示集群变更失败。 支持变更的规格列表 表2 支持规格数据 参数 规格 计算规格 4U
使用Doris冷热分离 通过CloudTable管理面开启冷热分离特性。 开启冷热分离步骤 登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击左侧“集群管理”,进入集群管理界面。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据
创建集群时,为什么购买按钮一直处于灰色,无法提交? 在创建集群时,如果购买按钮显示为灰色无法提交状态,可能原因如下: 购买的规格已经售罄,或者此区域没有这种规格。 处理方法:建议购买之前先确认该区域已有的规格,再考虑是否购买。 因账户欠费或者受限导致无法创建集群。 处理方法:如果
完毕后,集群状态更新为“服务中”,任务状态清空。 规格变更状态 表1 规格变更任务状态说明 状态 说明 规格变更中 表示集群正在变更中。 服务中 当集群变更成功并正常提供服务时,其集群状态为服务中。 规格变更失败 表示集群变更失败。 父主题: HBase集群扩容
storage_policy:存储策略是使用冷热分离功能的入口,用户在建表或使用Doris过程中,给表或分区关联上Storage policy,即可以使用冷热分离功能。 已存在的数据表关联迁移策略Storage policy。 创建数据表test_tbl2。 CREATE TABLE IF NOT