检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris集群管理简介 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时数据仓库,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物理隔离且不受其他业务影响,方便用户管理。
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 在Windows环境运行样例代码时会出现下面的异常,但是不影响业务: java.io.IOException: Could not locate executable null\bin\winutils.exe
通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang 2017/7/1 00:00:00
Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。本章节提供从零开始使用Doris操作指导:通过MySQL命令实现创建表,往表中插入数据
ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。 产品优势 丰富场景:兼容HBase、Doris、ClickHouse等多种引擎。 高可靠:架构高可用,内核深度优化,提升系统稳定性。 高性价比:支持冷热分离,不同压缩算法,存储成本低。 简单易用:
户端实现A业务操作流程如下: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 用户销户,删除用户信息表中该用户的数据。 A业务结束后,删除用户信息表。 表1 用户信息 编号 姓名 性别 年龄 地址
对于按需计费方式,系统会按小时扣减费用,只要您账户上有足够余额,就可以一直使用服务。 对于包年/包月模式,您在购买时一次性付费,使用过程中不会再额外计费。包周期到期后,资源会依次进入宽限期、保留期,如果需要继续使用,请及时续费。详情请参见资源到期说明。 当您的账户余额不足导致系统扣费失败时
支持的关键操作审计日志 CloudTable使用云审计服务,可以记录与CloudTable服务相关的操作事件,便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志,详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称
'998756','2024-03-25 12:08:00'); -- cold data 查询插入的数据。 查询数据。 select * from test_table FORMAT CSV; 查询数据表分区存储的分区字段名、分区和存储路径。 SELECT name,partition
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 父主题: 使用前必读
如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。
如果集群欠费,可能会导致该功能被限制不可用,请及时充值确保集群可正常使用。 对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。
ClickHouse集群节点扩容 ClickHouse节点扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持节点扩容。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率,考虑查询吞吐是为了利用查询SQL的分桶剪裁优化避免全桶扫描提升查询性能,所以优先考虑哪些数据较为均匀且常用于查询条件的列适合做分桶列。 【强制】2000kw
Doris集群节点扩容 节点扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 节点扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 查询单条记录。 执行“get”命令查询单条记录,必须指定查询表的名称和主键。 hbase(main):001:0>
表格存储服务的管理员权限。 系统角色 依赖Tenant Guest和Server Administrator角色,在同项目中勾选依赖的角色。 表2列出了CloudTable常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 CloudTable操作与系统策略关系 模式 操作
查看Doris集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。
查看HBase集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数