检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KEY”只是用以明确表示所用的数据模型。在DUPLICATE KEY的选择上,我们建议适当地选择前2-4列就可以。 这种数据模型适用于既没有聚合需求,又没有主键唯一性约束的原始数据的存储。更多使用场景,可参见聚合模型的局限性。 聚合模型的局限 Aggregate模型&Unique模型。 这里我们
HASH(orderid) BUCKETS 10; Duplicate模型。 Duplicate模型相同的行不会合并,适合任意维度的Ad-hoc查询。虽然无法利用预聚合的特性,但是不受聚合模型的约束,可以发挥列存模型的优势(列裁剪、向量执行等)。 CREATE TABLE session_data
Doris数据表和数据模型 数据表 数据模型 最佳实践 父主题: 建表
数据表 在Doris中,数据以表的形式进行逻辑上的描述。表是具有相同模式的同质数据的集合。 一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段,可以根据实际情况采用不同的数据类型(如整型、字符串、布尔型等)。 从OLAP场
HBase集群报错,hmaster域名不识别? 问题现象 访问CloudTable HBase集群报错,hmaster域名不识别。 原因分析 运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名,链接异常。 处理方法 在运行程序机器的host文件中,配置CloudTable
分桶 根据分桶列的Hash值将数据划分成不同的Bucket。 如果使用了Partition,则DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用Partition,则描述的是对整个表的数据的划分规则。 分桶列可以是多列,Aggregate和Uniq
热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 冷热分离场景下,热盘不支持缩容。 图1 开启冷热分离 修改冷热分离策略 登录表格存储服务管理控制台。
添加租户 Doris的多租户管理,目的是为了多个用户在同一Doris集群内进行数据操作时,减少相互之间的干扰,能够将集群资源更合理的分配给各用户。且集成了租户生命周期管理、租户资源配置和租户资源使用统计等功能,为企业提供了成熟的多租户管理模型,实现集中式的租户和业务管理。 新建租户步骤
询时所需要处理的数据,提升查询效率。 更新模型 建表时,支持定义主键和指标列,查询时返回主键相同的一组数据中的最新数据。相对于明细模型,更新模型简化了数据导入流程,能够更好地支撑实时和频繁更新的场景。 主键模型 主键模型支持分别定义主键和排序键。数据导入至主键模型的表中时,先按照
查看集群的监控信息 操作场景 云平台提供的云监控服务,可以对Doris集群的运行状态进行日常监控。您可以通过管理控制台,直观的查看Doris的各项监控指标。通过查看集群的监控信息可以快速掌握集群的健康状态并及时获取系统的关键信息。 监控功能 集群监控功能整体分为FE指标监控和BE
未开启加密通道的HBase集群 在开发环境中(例如Eclipse中),右击“TestMain.java”,单击“Run as > Java Application”运行对应的应用程序工程。 开启加密通道的HBase集群 在开发环境中(例如Eclipse中),右击“TestMain.java”,单击“Run
获取帐号ID 在调用接口的时候,部分URL中需要填入帐号ID(domain-id),所以需要先在管理控制台上获取到帐号ID。帐号ID获取步骤如下: 登录CloudTable控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看帐号ID。 图1 账号ID 父主题:
时列进行分组。 Domains数据类型 Domains Domains Domains类型是特定实现的类型: IPv4是与UInt32类型保持二进制兼容的Domains类型,用于存储IPv4地址的值。它提供了更为紧凑的二进制存储的同时支持识别可读性更加友好的输入输出格式。 IPv
数仅查询热存储中的数据,则只返回更新的字段。如果要返回整行的数据,则必须在不指定HOT_ONLY或TimeRange参数的情况下执行查询,或者确保TimeRange指定的时间范围涵盖从插入行的时间点到最后更新行的时间点的时间段。因此,建议您不要更新存储在冷存储中的数据。 随机查询Get。
partition,因为如前文所述,Doris会为没有指定Partition的表创建一个不可更改的默认的Partition。 当遇到这个错误时,通常是BE在创建数据分片时遇到了问题。可以参照以下步骤排查: 在fe.log中,查找对应时间点的Failed to create partition日志。在该
一个节点上都创建一个本地表。 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。 use demo; 创建表test。 CREATE
持有读锁的线程数 持有读锁的线程数。 Count 60 number_of_threads_waiting_to_be_read 等待读的线程数 等待读的线程数。 Count 60 number_of_threads_waiting_to_be_written 等待写的线程数 等待写的线程数。
支持的关键操作审计日志 CloudTable使用云审计服务,可以记录与CloudTable服务相关的操作事件,便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志,详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称
建表 Doris数据表和数据模型 数据分区和分桶 数据分布 父主题: Doris应用开发指导
查看集群监控信息 操作场景 云平台提供的云监控服务,可以对ClickHouse集群的运行状态进行日常监控。您可以通过管理控制台,直观的查看ClickHouse的各项监控指标。通过查看集群的监控信息可以快速掌握集群的健康状态并及时获取系统的关键信息。 监控功能 集群监控功能整体分为