正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次
添加租户 Doris的多租户管理,目的是为了多个用户在同一Doris集群内进行数据操作时,减少相互之间的干扰,能够将集群资源更合理的分配给各用户。且集成了租户生命周期管理、租户资源配置和租户资源使用统计等功能,为企业提供了成熟的多租户管理模型,实现集中式的租户和业务管理。 新建租户步骤
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月CloudTable集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景:
资源停止服务或逾期释放说明 用户在华为云构买产品后,如果没有及时续费或充值,将进入宽限期。如果宽限期满仍未续费或充值,将进入保留期。在保留期内资源停止服务。保留期仍未续费或充值,存储在云服务中的数据将删除、云服务资源将被释放。 宽限期是指客户的包年/包月资源到期未续订或按需资源欠
准备开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
连接管理概述 Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许
ClickHouse集群支持的监控指标 功能说明 监控是保持CloudTable服务可靠性、可用性和性能的重要部分,通过监控,用户可以观察CloudTable服务器的运行状态。本章节定义了表格存储服务上报云监控服务的监控指标的命名空间、监控指标列表和维度定义。 命名空间 SYS.CloudTable
查看HBase集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数
查看ClickHouse集群的基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。
总览 导入(Load)功能就是将用户的原始数据导入到Doris中。导入成功后,用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案,可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load
INSERT INTO 本章节介绍如何插入数据。 基本语法 标准格式插入数据。 INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 对于存在于表结构中但不存在于插入列
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。
Doris慢查询管理 慢SQL页面中包含“运行中的慢查询”和“已完成的慢查询”两个标签页,默认展示当前集群中“运行中的慢查询”耗时500ms以上的慢SQL。对于正在运行中的SQL,提供了“结束查询”功能,您可手动选择是否结束正在运行的SQL。 运行中的慢SQL查询操作步骤 登录表格存储服务管理控制台。
查看Doris集群基本信息 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。
ClickHouse慢查询管理 慢SQL页面中包含“运行中的慢查询”和“已完成的慢查询”两个标签页,默认展示当前集群中“运行中的慢查询”耗时500ms以上的慢SQL。对于正在运行中的SQL,提供了“结束查询”功能,您可手动选择是否结束正在运行的SQL。 运行中的慢SQL查询操作步骤
数据类型 此章节描述ClickHouse的数据类型。 数据类型表 表1 数据类型表 分类 关键字 数据类型 描述 整数类型 Int8 Int8 取值范围:【-128,127】 Int16 Int16 取值范围:【-32768,32767】 Int32 Int32 取值范围:【-2
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
最佳实践 关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。
怎么查看catalog指定数据库下的列表? catalog是外部数据目录。下面以JDBC Catalog通过标准JDBC协议,连接其他数据源为例。 语法 CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES ("key"="value"