检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 JDBC Connector 如果使用mysql jdbc connector来连接Doris,可以使用jdbc的自动重试机制: private
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客
为了提升系统的计算能力、存储能力,用户可以通过水平扩容来扩容集群。水平扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。 如果扩容失败,“任务状态”将显示为“水
扩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能,数据均衡会自动进行,集群会在几个小时到一天不等的时间内恢复到负载均衡的状态。Doris集群目前不支持纵向扩容,而Doris本身有多种方式可以实现纵向扩容,因此需要对Doris集群增加纵向扩容服务。 新增节点按照当前集群的计费模式进行计费。
那些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 那些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过
存在正在运行的业务,所有数据都已经保存。 扩容集群:用户根据实际需要或业务情况,动态的增加计算单元的个数,保证读写性能。集群自适应的实现负载均衡,保证业务不中断,平滑扩容。 产品优势 性能优异:自带高效的列式存储引擎,减少数据扫描量的同时还实现了超高的数据压缩比例。同时Doris
开启ThriftServer”,等待完成后,即可进行使用。 ThriftServer当前不具备负载均衡的能力,用户需要避免在代码里面同时访问同一个ThriftServer实例,避免单实例过载。 用户需要在应用代码里面增加重试机制,保证单ThriftServer实例故障或者重启时,可以重试其他ThriftServer实例。
Doris集群回收站数据处理 那些场景会产生回收站数据? 数据均衡时,仅仅是将高负载磁盘上的tablet拷贝一份到低负载的磁盘,并将原有tablet放入垃圾回收站,并不会物理删除原有tablet,因此产生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
它们在SELECT表达式与INSERT中的名称可以是不同的。需要对它们进行对应的类型转换。 除了VALUES格式之外,其他格式中的数据都不允许出现诸如now(),1+2等表达式。VALUES格式允许您有限度的使用这些表达式,但是不建议您这么做,因为执行这些表达式很低效。 父主题:
HBase的架构和详细原理介绍,请参见:https://hbase.apache.org/book.html 当前CloudTable HBase暂无安全认证机制,如果需使用认证鉴权机制的HBase服务,建议使用MapReduce服务。 集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的K
到10:1的压缩比,大幅降低存储成本和读取开销,提高查询性能。 副本机制:ClickHouse利用Zookeeper,通过ReplicatedMergeTree引擎(Replicated系列引擎)实现了副本机制。用户在创建表时,可指定存储引擎,选择该表是否进行复制。 简单易用:通
集群节点仅用于运行CloudTable集群,其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。 当前CloudTable暂无安全认证机制,如果需使用认证鉴权机制的HBase服务,建议使用MapReduce服务。 Doris创建表声明:为了保证Doris数据的可靠性,不建议创建单副本的表
数据表无需预先定义schema,行与行之间不需要严格的列定义。 支持任意更新 支持行的任意更新,无性能损耗。而且利用HBase自身的多版本机制,支持保存数据的多个历史版本。 通用海量KeyValue数据存储与查询 应用类型 消息数据、报表数据、推荐类数据、风控类数据、日志数据、订
名称、客户端配置krb5.conf文件。 原理结构图 Kerberos原理架构图如下图所示,详细介绍请参见MRS服务的安全认证原理以及认证机制章节。 图1 原理架构图 表1 参数说明 参数 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。
Label是用于保证对应的导入任务,仅能成功导入一次。一个被成功导入的Label,再次使用时,会被拒绝并报错Label already used。通过这个机制,可以在Doris侧做到At-Most-Once语义。如果结合上游系统的At-Least-Once语义,则可以实现导入数据的Exactly-Once语义。
Index) 和列级索引,能够快速找到目标行所在数据块的起始行号。 加速处理 StarRocks通过预先聚合、分区分桶、物化视图、列级索引等机制实现数据的加速处理。 数据模型 StarRocks支持四种数据模型,分别是明细模型(Duplicate Key Model)、聚合模型(Aggregate
开启Thrift Server后,用IP连接集群节点Thrift Server进程故障会影响业务。 Thrift Server不支持对接ELB。 父主题: HBase Thrift Server
使用CloudTable服务时需要关注什么? 在CloudTable服务控制台,检查集群状态和任务状态,如果存在集群状态为“创建失败”或“亚健康”,请及时提交工单联系技术工程师解决;如果任务状态存在失败任务,请及时提交工单联系技术工程师解决。 在CloudTable服务控制台,单