检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CloudTable集群 功能介绍 创建一个CloudTable集群。 使用接口前,您需要先获取如下资源信息。 通过VPC创建或查询VPC、子网。 通过安全组创建或查询可用的security_group_id。 本接口是一个同步接口,当创建CloudTable集群成功后会返回集群id。 调试
filename] [FORMAT format] 示例: 查看ClickHouse集群信息。 select * from system.clusters; 显示当前节点设置的宏。 select * from system.macros; 查看数据库容量。 select sum(rows) as
报表,并发通常要求成千上万的QPS ,查询延时要求亚秒级响应。电商公司在广告报表中使用Doris ,每天写入100亿行数据,查询并发QPS上万,99分位的查询延时150ms。 即席查询(Ad-hoc Query):面向分析师的自助分析,查询模式不固定,要求较高的吞吐。Doris构建了增长分析平台(Growing
使用Get读取数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void
Resource Not Found 998756 2024-03-20 20:35:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发Doris冷热分离应用
Resource Not Found 998756 2024-03-25 12:08:00 数据规划 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发ClickHouse冷热分离应用
load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。 基本原理 下图展示了Stream
概述 多源数据目录(Multi-Catalog)是Doris 1.2.0版本中推出的功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。 在之前的Doris版本中,用户数据只有两个层级:Database和Table。当我们需要连接一个外部数据目录时,
在企业经营分析中,把规模庞大的业务数据导入到云数据仓库ClickHouse,对数亿记录或更大规模的大宽表和数百维度的查询,都能在亚秒级内响应,得到查询结果。让客户随时进行个性化统计和不间断的分析,辅助商业决策。 访客来源分析展示。 通过批量离线计算对用户访问日志中的用户行为进行关联,生成用户行为路径大宽表同步
uota cluster 创建数据迁移任务 copierCreateTask cluster 枚举数据库信息 copierListDatabaseInfo cluster 枚举集群节点信息 copierListNodeInfo cluster 数据迁移任务详情 copierTaskDetaile
load的任务的。 在创建导入的时候自定义当前导入任务的timeout时间。 这时候不推荐用户将导入最大超时时间直接改大来解决问题。单个导入时间如果超过默认的导入最大超时时间4小时,最好是通过切分待导入文件并且分多次导入来解决问题。主要原因是:单次导入超过4小时的话,导入失败后重试的时间成本很高。
表格存储服务(CloudTable)是基于HBase、Doris、ClickHouse、StarRocks提供的全托管数据存储和分析服务。CloudTable提供GB~PB级数据存储和分析能力,用于在线查询、数据仓库、数据集市、实时分析等场景。可被广泛应用于互联网、物联网、车联网、金融、政府、物流、制造、零售等行业。
果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热分离一般适用于以下需求场景:
一步的聚合。 数据查询阶段。在数据查询时,对于查询涉及到的数据,会进行对应的聚合。 数据在不同时间,可能聚合的程度不一致。例如一批数据刚导入时,可能还未与之前已存在的数据进行聚合。但是对于用户而言,用户只能查询到聚合后的数据。即不同的聚合程度对于用户查询而言是透明的。用户需始终认
“起始时间”、“结束时间”:可通过选择时间段查询操作事件。 单击“查询”,查看对应的操作事件。 在需要查看的事件左侧,单击展开该记录的详细信息。 图1 事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 图2 查看事件 关于云审计服务事件结构的关键
limit 10。 数据导入 【建议】在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。 【建议】建议低频攒批导入数据,平均单表导入批次间隔需大于30s,推荐间隔60s,一次导入10000~100000行数据。
在运行程序机器的host文件中,配置CloudTable HBase的内网域名和ip映射。修改步骤请参见准备弹性云服务器章节。 父主题: 数据读写类
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 您可以从地区和终端节点中查询所有服务的终端节点。 父主题: 使用前必读
并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。 父主题:
使用CDM迁移数据到CloudTable 通过云数据迁移(Cloud Data Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。 使用C