检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
统一数仓构建 :一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。Doris构建的统一数仓,替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构,架构大大简化。 数据湖联邦查询:通过外表的方式联邦分析位于Hive中的数据,在避免数据拷贝的前提下,查询性能大幅提升。
创建和使用CloudTable集群。 使用更多的功能,并查看其相关操作指导 如果您是一个CloudTable集群使用人员,可以参考用户指南完成集群创建、参数配置、查看告警等操作。 如果您是一个开发者,可以参考CloudTable提供的开发指南操作指导及样例工程开发并运行调测自己
l Project,TLP),Doris如今在中国乃至全球范围内都拥有着广泛的用户群体,截止目前,Doris已经在全球超过500家企业的生产环境中得到应用,在中国市值或估值排行前50的互联网公司中,有超过80%长期使用Doris。同时在一些传统行业如金融、能源、制造等领域也有着丰富的应用。
开发流程 本文档主要介绍在CloudTable集群模式下如何调用HBase开源接口进行Java应用程序的开发。 开发流程中各阶段的说明如图1和表1所示。 图1 应用程序开发流程 表1 应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。
Doris集群管理列表简介 登录表格存储服务,在左侧导航树,单击集群管理,集群管理列表中会显示CloudTable所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表 集群管理列表按照集群状态顺序排列,服务中的集群显示在最前端。 表1 集群管理列表参数 参数
ClickHouse磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 当集群状态处于“服务中”,且没有任何任务操作
Hadoop类型 Doris支持hadoop组件,目前支持的可选:MRS。 集群名称 MRS集群名称。 说明: Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS
二级索引特性后,应用侧代码无需特殊修改,简单易用。 HBase全局二级索引支持以下重点特性: 复合索引 支持指定多个列作为索引列(支持跨列族)。 覆盖索引 支持指定多个列/列族作为覆盖列/列族冗余存储到索引表中,用于支持索引查询中对非索引列的快速查询。 索引TTL 支持索引表TT
使用率、磁盘使用率、磁盘使用量、磁盘总量。 ClickHouse集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个ClickHouse集群 进入详情页面,详情页面显示监控页面的指标。 图1 ClickHouse监控页面 单击详情页面的监控小图标,可以跳
集群详情页面主要展示每个节点的CPU使用率、内存使用率、磁盘使用率、磁盘使用量、磁盘总量。 HBase集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个HBase集群 进入详情页面,详情页面显示监控页面的指标。 图1 HBase监控页面 单击详情页面的监控小图标,可以跳转CES云服务监控查
要高。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
集群详情页面主要展示Doris每个节点的CPU使用率、内存使用率、磁盘使用率。 详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个Doris集群 进入详情页面,详情页面显示监控页面的指标。 图1 监控页面 单击详情页面的监控小图标,可以跳转CES云服务监控查看Dori
API、参数、示例以及调用方法。 API文档 API概述 如何调用API CloudTable集群管理接口V2 05 开发指南 主要介绍了在CloudTable集群模式下如何调用HBase、Doris、ClickHouse。 HBase应用开发 开发HBase应用 Doris应用开发
Hadoop类型 Doris支持hadoop组件,目前支持的可选:MRS。 集群名称 MRS集群名称。 说明: Doris只能对接一个kerberos集群中的一个用户。 Manager IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS
udtable Administrator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限。 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择表格存储服务,进入CloudTable主界面,单击右上
old。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。 冷热分离:数据存储在热存储上,随着容量或时间的推移往冷存储上迁移。ClickH
极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 父主题: 通用类
add='idx2=>cf1' -Dindexspecs.covered.to.add='idx1=>cf1:[c3],[c4]' -Dindexspecs.coveredallcolumn.to.add='idx3=>true' -Dindexspecs.splitkeys.to.set='idx1=>[\x010
登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 在集群的“云服务监控”页面中,单击集群ID前的按钮展开
Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制云资源的访问。 通过IAM,您可以在云账号中给员工创建IAM用户,并授权控制他们对云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有CloudTable的使用