检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最佳实践 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类:AGGREGATE KEY,UNIQUE KEY,DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 Aggregate模型。
StarRocks集群管理 StarRocks简介 StarRocks是一款全托管分析型数据仓库,可以灵活创建和管理集群以及数据。使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各种实时和离
【建议】不建议表使用Nullable列,可以考虑使用字符串“NA”。 Nullable类型的列在做查询条件判断时,会进一步做判空等处理,防止造成额外的计算开销。根据现网的历史经验,Nullable类型的字符串查询性能比String慢20%至30%左右,从性能方面考虑,非必要不使用Nullable类型。
使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方
最佳实践 关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但
60 否 long 未更改 s (0,9223372036854775807) 60 对于不同的调度优先级,我们会延迟不同的时间后开始修复。以防止因为例行重启、升级等过程中,产生大量不必要的副本修复任务。此参数为一个基准系数。对于HIGH优先级,延迟为基准系数 * 1;对于NORMAL优先级,延迟为基准系数
使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 使用前提 需要Kerberos客户端、keytab
HBase Shell命令简介 本节介绍常用的HBase Shell命令。 启动HBase shell。 进入HBase目录下执行如下命令,进入HBase shell。 ./bin/hbase shell 获取帮助。 在HBase shell执行“help”命令,将会返回所有命令信息,以及基本命令的说明和使用方法。
Doris组件使用规范 本章节介绍Doris组件使用规范。 建表规范 【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般
分桶 根据分桶列的Hash值将数据划分成不同的Bucket。 如果使用了Partition,则DISTRIBUTED ... 语句描述的是数据在各个分区内的划分规则。如果不使用Partition,则描述的是对整个表的数据的划分规则。 分桶列可以是多列,Aggregate和Uniq
ker服务监听的PLAINTEXT协议端口号)。 建议properties.bootstrap.servers参数添加多个ip:port,防止kafka实例网络不稳定或其他原因宕机,导致作业运行失败。 SQL语句示例: CREATE TABLE IF NOT EXISTS `lineorder_hbase`
ker服务监听的PLAINTEXT协议端口号)。 建议properties.bootstrap.servers参数添加多个ip:port,防止kafka实例网络不稳定或其他原因宕机,导致作业运行失败。 SQL语句示例: CREATE TABLE IF NOT EXISTS `lineorder_ck`
Doris集群管理 Doris产品介绍 Doris是基于MPP架构的高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联
label。label是用户在导入命令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-O
冷热分离命令简介 此章节主要介绍CloudTable HBase冷热分离命令的使用,HBase集群基本命令使用请参见HBase Shell命令简介。 设置表的冷热分界线 Shell 创建冷热分离表。 hbase(main):002:0> create 'hot_cold_table'
一般用户的环境可能达不到10M/s的速度,所以建议超过500G的文件都进行文件切分,再导入。 作业调度 系统会限制一个集群内正在运行的Broker Load作业数量,以防止同时运行过多的Load作业。 首先,FE的配置参数:desired_max_waiting_jobs会限制一个集群内未开始或正在运行(作业
数据模型 Doris的数据模型主要分为3类: Aggregate模型。 Unique模型。 Duplicate。 Aggregate模型 以实际的例子来说明什么是聚合模型,以及如何正确的使用聚合模型。 示例1:导入数据聚合 假设业务有以下模式: 表1 参数说明 ColumnName