检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率,考虑查询吞吐是为了利用查询SQL的分桶剪裁优化避免全桶扫描提升查询性能,所以优先考虑哪些数据较为均匀且常用于查询条件的列适合做分桶列
导入任务会被异步执行,用户在创建成功后,需要通过轮询的方式发送命令查看导入作业的状态。如果创建失败,则可以根据失败信息,判断是否需要再次创建。 无论是异步还是同步的导入类型,都不应该在Doris返回导入失败或导入创建失败后,无休止的重试。
Resource Not Found 998756 2024-03-21 15:39:00 2024-03-20 19:35:00 1 404 Resource Not Found 998756 2024-03-20 20:35:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低
27 09:10:00 1 200 ok 998756 2024-03-27 10:10:00 2024-03-25 11:08:00 1 404 Resource Not Found 998756 2024-03-25 12:08:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低
创建后,可以通过SHOW CATALOGS命令查看已创建的Catalog。 切换Catalog 用户登录Doris后,默认进入Internal Catalog,因此默认的使用和之前版本并无差别,可以直接使用SHOW DATABASES,USE DB等命令查看和切换数据库。
HBase集群管理简介 CloudTable集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统,它提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。
INSERT INTO Test VALUES (4324182021466249494, 5, 146, -1),(4324182021466249494, 6, 185, 1); 查看数据。 SELECT * FROM Test; 查询结果。
查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。 父主题: ClickHouse冷热分离应用
数据查询 由于冷热数据都在同一张表中,因此用户所有的查询操作都只需在一张表内进行。在查询时,建议通过配置TimeRange来指定查询的时间范围,系统将会根据指定的时间范围决定查询模式,即仅查询热存储、仅查询冷存储或同时查询冷存储和热存储。
在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 图1 查看项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。
分桶列的选择,是在查询吞吐和查询并发之间的一种权衡: 如果选择多个分桶列,则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件,那么该查询会触发所有分桶同时扫描,这样查询的吞吐会增加,单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。
开发思路 表1 开发思路 序号 步骤 代码实现 1 创建HBase表时开启标签索引 请参见创建数据表开启标签索引 2 HBase put写入数据 请参见写入数据 3 查询数据 请参见: 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
根据索引字段查询,能快速过滤数据,减少数据的读取,大大提升查询性能。 【建议】明确数据查询的范围。 增加条件过滤和查询数据周期过滤,缩小数据查询范围。例如查询指定分区,通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能。
自定义查询条件。 可在“手动续费项、自动续费项、到期转按需项、到期不续费项”页签查询全部待续费资源,对资源进行手动续费操作。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费章节。 手动续费资源。
如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。 操作步骤 登录表格存储服务管理控制台。
如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。 操作步骤 登录表格存储服务管理控制台。
ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。
样例代码说明 配置参数 创建Configuration 创建数据表开启标签索引 写入数据 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
CloudTable集群管理接口V2 创建CloudTable集群 查询CloudTable集群详情 查询CloudTable集群列表 删除CloudTable指定集群 重启集群API入口 查询集群配置 修改集群配置 扩容组件 开启opentsdb组件
CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高吞吐的复杂分析场景。