检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于磁盘负载是计算垃圾文件,所以一次性删除过多的垃圾文件,容易造成磁盘不均。 问题现象 Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 问题分析 频繁写入数据、删除过多垃圾文件,导致磁盘不均衡。 解决办法 尽量一次性写入数据,避免磁盘负载频繁变化。
的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统。 创建。 Hive On OBS CREATE CATALOG
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客
ClickHouse集群节点扩容 ClickHouse节点扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持节点扩容。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 在集群列表中,选定集群的操作列,单击“更多
8个字节,用64位二进制描述。 Decimal类型 Decimal Decimal 有符号的定点数,可在加、减和乘法运算过程中保持精度。支持几种写法: Decimal(P, S) Decimal32(S) Decimal64(S) Decimal128(S) 说明: P:精度,有
深度优化。 易使用:支持二级索引,满足数据非主键查询需求,简单易用。 低成本:支持冷热分离,满足数据归档、访问频率较低历史数据存储需求,降低存储成本。 稳定可靠:支持热点诊断和自愈,提升系统稳定性。 可视化监控运维:提供常用的监控信息和自定义告警规则,简化系统运维。 父主题: 集群管理功能简介
法请参考HBase安全集群连接步骤。 一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具,建议Linux弹性云服务器的操作系统类型为EulerOS,CentOS,Ubuntu和SUSE。具体操作请参见准备弹性云服务器。 下载客户端一键部署工具。 使用SSH登录工
冷热分离概述 CloudTable Doris支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 CloudTable Doris冷热分离特性仅支持Doris 2.0.5及以上版本。 冷热分离场景下,热盘不支持缩容。 背景 在数据分析的实际场景中,冷热数据面临着不同
Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。FE记录这些
某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考
myqcloud.com/jdbc_driver/mysql-connector-java-5.1.47.jar。系统会从这个http地址下载Driver文件。仅支持无认证的http服务。 only_specified_database: 在jdbc连接时可以指定链接到哪个dat
HBase快速入门 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导:通过HBase Shell命令实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管
询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案,可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load 支持的数据格式 不同的导入方式支持的数据格式不同。 表1 导入方式说明 导入方式 支持格式 Broker
用户销户,删除用户信息表中该用户的数据。 请参见删除数据。 7 A业务结束后,删除用户信息表。 请参见删除表。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统,RowKey的设计对性能影响很大,具体的RowKey设计请考虑与业务结合。 父主题: 开发HBase应用
请参见使用Get读取数据。 5 根据城市、局域、时间范围进行查询。 请参见使用Scan读取数据。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统,RowKey的设计对性能影响很大,具体的RowKey设计请考虑与业务结合。 父主题: 开发HBase冷热分离应用
Doris集群规格变更 Doris集群目前不支持计算节点CPU、内存规格升、降配,因此需要对Doris集群增加纵向扩容功能。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(BE、FE),且变更完成后只生效所选类型的节点规格。
BLOCKCACHE => 'true', BLOCKSIZE => '65536'} 冷热分离场景下,热盘不支持缩容。 磁盘不支持缩容。 ClickHouse不支持JSON以及Object('json')数据类型。
基于访问集群的时延要求,请选择合适的区域创建CloudTable集群。 创建CloudTable集群时,请根据业务负载确定计算单元数量。在集群创建后,不支持计算单元缩容,并根据计算单元数量收费。如果集群处理业务的时延超出建议值,请考虑扩容增加计算单元数量。 父主题: 通用类
准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 安装JDK,版本为1
用于市场决策、推荐以及广告系统中。 优势 稀疏矩阵 HBase的稀疏矩阵模型,天然适合非结构化数据的存储,数据表无需预先定义schema,行与行之间不需要严格的列定义。 支持任意更新 支持行的任意更新,无性能损耗。而且利用HBase自身的多版本机制,支持保存数据的多个历史版本。 通用海量KeyValue数据存储与查询