检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍
ClickHouse集群节点扩容 ClickHouse节点扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持节点扩容。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
mysql> select * from hive_hdfs_test2; ERROR 1105 (HY000): errCode = 2, detailMessage = get file split failed for table: hive_hdfs_test2, err:
mysql> select * from hive_hdfs_test2; ERROR 1105 (HY000): errCode = 2, detailMessage = get file split failed for table: hive_hdfs_test2, err:
应用背景 CloudTable HBase支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,
HBase应用场景 消息日志类数据存储和查询 应用场景: 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入吞吐量
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求
应用背景 CloudTable ClickHouse支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低
冷热分离概述 CloudTable HBase支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 冷热分离特性仅支持HBase 2.4.14及以上版本。 冷热分离场景下,热盘不支持缩容。 背景 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低
应用背景 CloudTable Doris支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。主要适用以下场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应
修改索引状态 索引状态介绍 索引状态反映了索引当前的使用情况,全局二级索引支持以下五种状态: ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成这个索引的索引数据
ClickHouse集群管理 ClickHouse产品介绍 ClickHouse为您提供方便易用、灵活稳定的云端ClickHouse托管服务。只需要几分钟,便可完成海量数据查询数据仓库的搭建,简单轻松地完成对数据的实时查询分析,提升数据价值挖掘的整体效率。云数据仓库ClickHouse
冷热分离概述 CloudTable Doris支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 CloudTable Doris冷热分离特性仅支持Doris 2.0.5及以上版本。 冷热分离场景下,热盘不支持缩容。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求
角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色,role_name:指新建角色名称。 CREATE role IF NOT EXISTS 'role_name' ON CLUSTER default_cluster; 给角色赋予权限。 授予全部创建(
最佳实践 关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但建议在
典型场景说明 通过典型场景,我们可以快速学习和掌握Doris的开发过程,并且对冷热分离的应用场景有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code error_msg
典型场景说明 通过典型场景,我们可以快速学习和掌握ClickHouse冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个网站系统,test_tbl用于实时用户访问网站的记录,记录数据如下表: 表1 原始数据 timestamp type error_code
角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色 CREATE Role role_name; role_name:指新建角色名称。 给角色赋予权限。 授予指定库表的权限给角色。 GRANT LOAD_PRIV ON ctl1.db1.* TO ROLE