云服务器内容精选

  • Doris产品介绍 Doris是基于MPP架构的高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。因此,Doris能够较好的满足报表分析、即席查询、统一数仓构建、 数据湖 联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris最早是诞生于广告报表业务的Palo项目。目前Doris社区已经聚集了来自不同行业近百家企业的300余位贡献者,并且每月活跃贡献者人数也接近100位。2022年6月,Doris成功从Apache孵化器毕业,正式成为Apache顶级项目(Top-Level Project,TLP),Doris如今在中国乃至全球范围内都拥有着广泛的用户群体,截止目前,Doris已经在全球超过500家企业的生产环境中得到应用,在中国市值或估值排行前50的互联网公司中,有超过80%长期使用Doris。同时在一些传统行业如金融、能源、制造等领域也有着丰富的应用。
  • 产品优势 性能优异:自带高效的列式存储引擎,减少数据扫描量的同时还实现了超高的数据压缩比例。同时Doris还提供了丰富的索引结构来加速数据读取与过滤,利用分区分桶裁剪功能,Doris可以支持在线服务业务的超高并发,单节点最高可支持上千QPS。更进一步,Doris结合了向量化执行引擎来充分发挥现代化CPU并行计算能力,辅以智能物化视图技术实现预聚合加速,并可以通过查询优化器同时进行基于规划和基于代价的查询优化。 简单易用:支持标准ANSI SQL语法,包括单表聚合、排序、过滤和多表Join、子查询等,还支持窗口函数、Grouping Set等复杂SQL语法。除此之外,Doris还实现了MySQL协议兼容,用户可以通过各类客户端工具来访问Doris,并支持与BI工具的无缝对接。 架构精简:系统只有两个Frontend(FE)和Backend(BE)两个模块,其中FE节点负责用户请求的接入、查询计划的解析、元数据存储及集群管理等工作,BE节点负责数据存储和查询计划的执行,自身就是一个完备的 分布式数据库 管理系统,用户无需安装任何第三方管控组件即可运行起Doris集群。同时,任一模块都可以支持横向拓展,集群最高可以拓展到数百个节点,支持存储超过10PB的超大规模数据。 稳定可靠:支持数据多副本存储,集群具备自愈功能,自身的分布式管理框架可以自动管理数据副本的分布、修复和均衡,副本损坏时系统可以自动感知并进行修复。 生态丰富:提供丰富的数据同步方式,支持快速加载来自本地、Hadoop、Flink、Spark、Kafka、SeaTunnel等系统中的数据,也可以直接访问MySQL、PostgreSQL、Oracle、S3、Hive、Iceberg、Elasticsearch等系统中的数据而无需数据复制。同时存储在Doris中的数据也可以被Spark、Flink读取,并且可以输出给上游数据应用进行展示分析。
  • 集群管理功能 集群创建:在CloudTable集群管理界面完成集群的创建。支持用户创建Doris集群时选择Frontends\Backends的计算规格、存储规格。 集群查看:在CloudTable集群管理界面可以查看集群详情。 集群管理:对创建的集群进行管理。 集群监控指标查看:对接 CES 服务,可以查看Doris集群相关的监控指标,用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过 消息通知 用户和管理员,及时人工介入。 重启集群:因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 删除集群:当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,因此在执行删除操作之前,请确认不存在正在运行的业务,所有数据都已经保存。 扩容集群:用户根据实际需要或业务情况,动态的增加计算单元的个数,保证读写性能。集群自适应的实现负载均衡,保证业务不中断,平滑扩容。
  • HBase产品简介 HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式 云存储 系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 HBase适用场景有: 海量数据存储。 适用于TB~PB级以上的数据存储,提供动态伸缩能力,方便用户在性能或容量需要改变时,改变集群资源,轻松构建企业海量数据存储系统。 实时查询。 HBase的列式KeyValue存储机制,适用于企业用户明细数据即时查询,基于主键的低时延点查,响应时延一般为秒级或毫秒级,方便用户对数据的实时分析。 HBase的架构和详细原理介绍,请参见:https://hbase.apache.org/book.html 当前CloudTable HBase暂无安全认证机制,如果需使用认证鉴权机制的HBase服务,建议使用华为云 MapReduce服务
  • 集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的KeyValue数据存储服务。CloudTable提供Web官网服务界面,CloudTable HBase集群管理的具体功能如下: 创建集群:在CloudTable服务界面完成集群的创建。支持按照用户创建集群时选择的计算单元个数、实际使用存储容量计费。用户可以自主地选择服务提供的高级特性,独立安装、独立收费。扣费时余额不足先提醒用户续费,在保留期冻结集群资源,续费后再解冻。通过计算存储分离架构和计算资源动态调整,尽可能的为用户降低成本。 扩容集群:支持集群扩容计算单元。 扩容计算单元:用户根据实际需要或业务情况,动态的增加计算单元的个数,保证读写性能。集群自适应的实现负载均衡,保证业务不中断,平滑扩容。扩容计算单元将会产生额外的费用。 管理集群:对创建的集群进行管理。 指标监控:集群运行中,收集各项监控数据,上报 云监控 (Cloud Eye),向用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过消息通知用户和管理员,及时人工介入。 删除集群:当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,因此在执行删除操作之前,请确认不存在正在运行的业务,所有数据都已经保存。 重启集群:当修改完集群HBase参数后,或者因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。 日志查询:记录用户对集群操作信息,便于集群运行异常时定位分析问题原因。
  • 集群管理功能 CloudTable服务是华为云提供的一项分布式、可扩展的KeyValue数据存储服务。CloudTable提供Web官网服务界面,CloudTable HBase集群管理的具体功能如下: 创建集群:在CloudTable服务界面完成集群的创建。支持按照用户创建集群时选择的计算单元个数、实际使用存储容量计费。用户可以自主地选择服务提供的高级特性,独立安装、独立收费。扣费时余额不足先提醒用户续费,在保留期冻结集群资源,续费后再解冻。通过计算存储分离架构和计算资源动态调整,尽可能的为用户降低成本。 扩容集群:支持集群扩容计算单元。 扩容计算单元:用户根据实际需要或业务情况,动态的增加计算单元的个数,保证读写性能。集群自适应的实现负载均衡,保证业务不中断,平滑扩容。扩容计算单元将会产生额外的费用。 管理集群:对创建的集群进行管理。 指标监控:集群运行中,收集各项监控数据,上报云监控(Cloud Eye),向用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过消息通知用户和管理员,及时人工介入。 删除集群:当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,因此在执行删除操作之前,请确认不存在正在运行的业务,所有数据都已经保存。 重启集群:当修改完集群HBase参数后,或者因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。 日志查询:记录用户对集群操作信息,便于集群运行异常时定位分析问题原因。
  • 产品优势 低成本 时间戳采用delta编码进行压缩,数据值采用XOR进行压缩。 存储与计算解耦,为IoT场景海量数据、动态热点的数据特征量身打造,方便按照并发度和存储量按需独立扩容。 企业级 分布式架构,横向水平扩展。 高压缩率算法,节约成本的同时,提升查询速度。 兼容性 兼容OpenTSDB社区2.3.0版本。 兼容OpenTSDB原生接口,业务迁移应用“0”改动。 时序数据计算 插值,缺失的数据点,支持线性插值数据补全。 降精度,支持预降精度和实时降精度计算,满足高效查询需求。 空间聚合,支持按照不同的Tag进行空间聚合和分组计算。 丰富的聚合函数,提供AVG、SUM、MAX、MIN等聚合函数。
  • OpenTSDB适用场景 OpenTSDB支持海量时间序列数据的存储、索引和查询,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的监控和分析。 对于运维工程师而言,OpenTSDB可以获取基础设施和服务的实时状态信息,展示集群的各种软硬件错误,性能变化以及性能瓶颈。 对于管理者而言,OpenTSDB可以存储和分析系统监控数据,衡量系统的SLA,理解复杂系统间的相互作用,展示资源消耗情况。集群的整体作业情况,可以用以辅助预算和集群资源协调。 对于开发者而言,OpenTSDB可以通过存储和分析系统监控数据,发现集群的主要性能瓶颈。 何时开启OpenTSDB 当需要存储和查询时间序列数据时,可开启OpenTSDB。