检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
toYYYYMM(name5) 分区,示例数据将以月份为分区,每个月份一个文件夹。 ORDER BY 排序字段,支持多字段的索引排序,第一个相同的时候按照第二个排序依次类推。 index_granularity = 8192 排序索引的颗粒度,每8192条数据记录一个排序索引值。 如果被查询的数据存在于分区或排序字段中,能极大降低数据查找时间。
消息日志类数据存储和查询 应用场景: 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入吞吐量、ms级查询,用于在线应用和报表展现。
Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。
的安装和配置。 准备Windows运行环境 准备工程 CloudTable为用户提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个工程。 下载样例工程 配置并导入工程 根据场景开发工程 提供了Java语言的样例工程,包含从建表、写入到删除表全流程的样例工程。
【强制】创建表时的副本数必须至少为2,默认是3,禁止使用单副本。 【建议】单表物化视图不能超过6个。 【建议】对于有大量历史分区数据,但是历史数据比较少,或者不均衡,或者查询概率的情况,使用如下方式将数据放在特殊分区: 对于历史数据,如果数据量比较小我们可以创建历史分区(比如年分区,月分区),将所有历史数据放到对应分区里。
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致云服务器被自动删除。自动续费的规则如下所述: 以云CloudTable集群的到期日计算第一次自动续费日期和计费周期。 CloudTable自动续费周期以您选择的续费时长为准。例如,您选择了3个月,云服务器即在每次到期前自动续费3个月。
使用CopyTable工具导入数据 CopyTable是HBase提供的一个实用工具,可以将部分或全部表复制到同一个集群或另一个集群中。目标表必须预先存在。在CloudTable客户端工具中已经包含了CopyTable工具,用户部署客户端工具后,即可使用CopyTable工具导入数据到CloudTable集群。
Doris集群管理简介 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时数据仓库,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物理隔离且不受其他业务影响,方便用户管理。
s memtable写入磁盘的耗时 累计值通过斜率可以观测写入延迟 ≥0 us 60s SYS.CloudTable doris_be_memtable_flush_total memtable写入磁盘的个数 累计值通过斜率可以计算写入文件的频率 ≥0 60s SYS.CloudTable
cloudtable:表的名称 row1:主键 cf:a:自定义的列 value1:插入的值 扫描记录。 执行“scan”命令扫描表,扫描时需要指定表的名称,即可以全表扫描,也可以指定范围扫描。 hbase(main):001:0> scan 'cloudtable' ROW
后,确认支付。 统一包年/包月资源的到期日 如果您持有多台到期日不同的表格存储服务器,可以将到期日统一设置到一个日期,便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。
使用MySQL客户端访问集群 用户在弹性云服务器里可以通过手动安装客户端的方法,使用MySQL访问集群。 手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 安装客户端,连接集群。 使用SSH登录工具,通过弹性IP远程登录到Linux弹性云服务器。 具体
磁盘扩容过程中,集群业务可能存在抖动。 前提条件 当集群状态处于“服务中”,且没有任何任务操作(如:节点扩容、规格变更、修改参数等)时,可以执行扩容操作。需要注意的是: 扩充目标实例的存储容量,单位:GB。 FE节点的最大扩充后的磁盘容量是2000G。 BE节点的最大扩充后的磁盘容量是10000G。
当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服务中”,且没有任何任务操作(如:节点扩容、规格变更等)时,可以执行扩容操作。 磁盘扩容过程中,集群业务可能存在抖动。 Core节点存储规格为“普通IO”时,不支持磁盘扩容。 磁盘扩容操作步骤 登录CloudTable管理控制台。
使用HBase Shell访问集群 用户在弹性云服务器里可以通过手动安装客户端或一键部署客户端的方法,使用HBase Shell访问集群。如果集群开启了安全通道,连接集群的方法请参考HBase安全集群连接步骤。 一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具
用异步接入,也可以考虑使用Broker load。 数据量。 这里仅讨论单个BE的情况,如果用户集群有多个BE则下面标题中的数据量应该乘以BE个数来计算。比如:如果用户有3个BE,则3G以下(包含)则应该乘以3,也就是9G以下(包含)。 3G以下(包含):用户可以直接提交Broker
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。 前提条件 已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。
当集群处于非均衡或不能正常工作时,可能需要通过重启集群进行恢复。当您修改完配置,例如修改集群安全设置、参数修改相关配置,未立即重启集群的情况下,您也可以通过手动重启集群使配置生效。 如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法
扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 在集群列表中,选定集群的操作列,选择“更多 > 节点扩容”,进入扩容页面。 节点扩容操作也可以在集群详情页面单击“节点扩容”,跳转节点扩容页面。