检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
架构精简:系统只有两个Frontend(FE)和Backend(BE)两个模块,其中FE节点负责用户请求的接入、查询计划的解析、元数据存储及集群管理等工作,BE节点负责数据存储和查询计划的执行,自身就是一个完备的分布式数据库管理系统,用户无需安装任何第三方管控组件即可运行起Doris集
用方法。 图3 场景示例 SDK列表 表1提供了CloudTable服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
数据分区和分桶 Doris支持两层的数据划分。第一层是Partition(分区),支持Range(按范围)和List(按枚举值)的划分方式。第二层是Bucket(分桶),仅支持Hash的划分方式。分区和分桶都是对数据进行横向分隔。 也可以仅使用一层分区。使用一层分区时,只支持Bu
个表的数据的划分规则。 分桶列可以是多列,Aggregate和Unique模型必须为Key列,Duplicate模型可以是Key列和Value列。分桶列可以和Partition列相同或不同。 分桶列的选择,是在查询吞吐和查询并发之间的一种权衡: 如果选择多个分桶列,则数据分布更均
入一个分片,这样将能提高数据导入的并发度和吞吐量,减少数据导入和Compaction导致的写放大问题,保障集群的稳定性。 复合分区与单分区 复合分区。 第一级称为Partition,即分区。用户可以指定某一维度列作为分区列(当前只支持整型和时间类型的列),并指定每个分区的取值范围。
管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内
HBase应用场景 消息日志类数据存储和查询 应用场景: 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据均可以存储和查询。 优势: 海量存储 支持离线、在线海量KeyValue数据存储,存储容量可扩展。 高性能读写 亿级写入
用,计算和存储分离保证高可靠,内核深度优化。 易使用:支持二级索引,满足数据非主键查询需求,简单易用。 低成本:支持冷热分离,满足数据归档、访问频率较低历史数据存储需求,降低存储成本。 稳定可靠:支持热点诊断和自愈,提升系统稳定性。 可视化监控运维:提供常用的监控信息和自定义告警规则,简化系统运维。
ce语义。如果结合上游系统的At-Least-Once语义,则可以实现导入数据的Exactly-Once语义。 同步和异步 Doris目前的导入方式分为两类,同步和异步。如果是外部程序接入Doris的导入功能,需要判断使用导入方式是哪类再确定接入逻辑。 同步 同步导入方式即用户创
对象存储服务OBS CloudTable使用对象存储服务(Object Storage Service,简称OBS)存储集群数据的备份和快照,实现安全、高可靠和低成本的存储需求。 了解更多OBS的相关信息,请参见对象存储服务。 云数据迁移CDM CloudTable使用云数据迁移(Cloud
将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
方法二:如果使用HTTPS连接,请参见ClickHouse安全通道>HTTPS连接步骤。 方法三:在集群的详情页面打开安全和非安全通道,请参见ClickHouse安全通道>打开安全通道和非安全通道步骤。 安全与非安全端口请参见ClickHouse快速入门>表3。 父主题: 连接访问类
Doris应用场景 应用场景 报表分析 实时看板(Dashboards)。 面向企业内部分析师和管理者的报表。 面向用户或者客户的高并发报表分析(Customer Facing Analytics)。比如面向网站主的站点分析、面向广告主的广告报表,并发通常要求成千上万的QPS ,
HBase/Doris/ClickHouse计费项 计费项 计费项说明 适用的计费模式 计费公式 计算规格 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 按需计费、包年/包月 集群节点规格单价 * 购买时长 * 节点数量 实例规格单价请参见表格服务器价格详情中的“规格价格”。
分析、订单分析等应用。 ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。
shell执行“help”命令,将会返回所有命令信息,以及基本命令的说明和使用方法。 hbase(main):001:0> help 创建表。 执行“create”命令创建一张表,创建表时必须指定表的名称和ColumnFamily名称。 hbase(main):007:0> create
、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX和PREFIX_TREE四种编码算法 hcd
Shell访问集群”章节。 输入create命令,新建表。 create 'TEST','StuInfo','Grades' 返回结果如下:第一行代表表的创建时间和表名,第二行代表创建表所用的时间。 图1 建表 父主题: 连接访问类
正常情况下,建表语句会在几秒或十几秒内返回。如果超过一分钟,建议直接取消掉这个操作,前往FE或BE的日志查看相关错误。 父主题: 数据分区和分桶
集群管理列表默认按时间顺序排列,时间最近的集群显示在最前端。集群管理列表参数说明如表1和表2所示。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群的运行状态信息。集群状态包括创建中、服务中、亚健康、创建失败和冻结。 任务状态 集群任务的状态信息。请参见表4。 引擎类型