检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用场景 源数据在Broker可以访问的存储系统中,如HDFS、OBS。 数据量在几十到百GB级别。 基本原理 用户在提交导入任务后,FE会生成对应的Plan并根据目前BE的个数和文件的大小,将Plan分给多个BE执行,每个BE执行一部分导入数据。 BE在执行的过程中会从Broke
区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号。 分区数量理论上没有上限。 当不使用Partition建表时,系统会自动生成一个和表名同名的,全值范围的Partition。该Partition对用户不可见,并且不可删改。 创建分区时不可添加范围重叠的分区。 Range分区
将索引添加到有数据的表中。此方法将用户指定的索引添加到表中,并会对已经存在的用户数据创建对应的索引数据,也可先调用该方法生成索引再在存入用户数据的同时生成索引数据。当数据表中存在大量数据时,不建议使用此接口。 删除索引 dropIndices() 仅删除索引,索引元数据与索引数
操作步骤 导出Jar包。 右击样例工程,选择导出。 图1 导出Jar包 选择JAR file,单击“Next”。 图2 选择JAR file 勾选“src”和“conf”目录,导出Jar包到指定位置。单击两次“Next”。 图3 选择导出路径 单击“Finish”,完成导出Jar包。
预分区每个splitkey必须由\x01开头。 indexspecs.to.addandbuild(可选):表示创建时同时生成索引数据,数据表数据量较大时不建议使用,建议使用索引数据生成工具完成索引数据生成。 上述命令中的参数描述如下: idx1、idx2、idx3:表示索引名称。 cf1、cf2:表示列族名称。
创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。 冷热分离:数据存储在热存储上,随着容量
单击左侧的服务列表图标,选择“计算 > 弹性云服务器 ECS”。 单击“购买弹性云服务器”。 配置弹性云服务器参数。 选择CPU架构和规格。 图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。
单击左侧的服务列表图标,选择“计算 > 弹性云服务器 ECS”。 单击“购买弹性云服务器”。 配置弹性云服务器参数。 选择CPU架构和规格。 图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 如果已有VPC和安全组,则选择已有的VPC和安全组。
必须一致,否则无法创建相关索引。 不支持自定义索引表其他属性。 索引写入约束 索引数据生成仅支持Put/Delete接口,使用其他方式(Increment、Append等)写入数据表时不会生成对应索引。 索引列数据定义为String类型时,要避免写入\x00和\x01两个特殊字符(特殊不可见字符)。
数据库的名称,默认为当前选择的数据库。 view_name 视图名。 [ON CLUSTER ClickHouse集群名] 在每一个节点上都创建一个视图,固定为ON CLUSTER ClickHouse集群名。 SELECT ... SELECT子句。当数据写入视图中SELECT子句所指定的源表时,插入
响应速度要求不高。 原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件系统相关功能,生成文件到本地数据目录下。 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件
查询结果。让客户随时进行个性化统计和不间断的分析,辅助商业决策。 访客来源分析展示。 通过批量离线计算对用户访问日志中的用户行为进行关联,生成用户行为路径大宽表同步到ClickHouse,基于ClickHoue构建交互式访客来源探索分析可视化系统。 BI报表。 利用ClickHo
装包。 使用Thrift命令将HBase Thrift定义文件生成对应语言的接口文件,支持的语言有C++,Python等。参考命令如下: thrift --gen <语言> hbase.thrift <语言>为要生成的目标语言,支持cpp(C++)、py(Python)等。 以P
> 费用账单”,进入费用账单页面。 选择“流水和明细账单 > 明细账单”,在筛选条件中选择“资源名称”,并输入实例名称,单击图标即可搜索该资源的账单。 图1 账单明细 场景示例:核对资源用量是否与实际相符 假设用户在2023/07/24 14:20:00购买了按需计费的Cloud
同时,每个导入任务都会有一个Label。这个Label在数据库(Database)中是唯一的,用于唯一标识一个导入任务。Label可以由用户指定,部分导入功能也会由系统自动生成。 Label是用于保证对应的导入任务,仅能成功导入一次。一个被成功导入的Label,再次使用时,会被拒绝并报错Label already
开发流程 本文档主要介绍在CloudTable集群模式下如何调用HBase开源接口进行Java应用程序的开发。 开发流程中各阶段的说明如图1和表1所示。 图1 应用程序开发流程 表1 应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。
storage_resource:指定策略使用的storage resource名称,且值指定为hot_to_cold。 cooldown_ttl:热数据持续时间。从数据分片生成时开始计算,经过指定时间后转为冷数据。支持的格式: 1d:1天、 1h:1小时、 50000:50000秒、0:0秒,表示数据立即转为冷数
单击左侧的服务列表图标,选择“计算 > 弹性云服务器 ECS”。 单击“购买弹性云服务器”。 配置弹性云服务器参数。 选择CPU架构和规格。 图1 规格图 选择镜像和磁盘规格。 图2 选择镜像和磁盘规格 单击下一步:网络配置。 选择VPC和安全组。 图3 VPC图 选择购买弹性公网IP,公网带宽选择“按流量计费”。
POPULATE关键字。如果创建物化视图时指定了POPULATE关键字,则在创建时将SELECT子句所指定的源表数据插入到物化视图中。不指定POPULATE关键字时,物化视图只会包含在物化视图创建后新写入源表的数据。 说明: 一般不推荐使用POPULATE关键字,因为在物化视图创建期间写入源表的数据将不会写入物化视图中。
相关参数介绍如下: tablename.to.show:表示需查看相关索引定义的数据表名称。 查询结果如图1所示,会打印索引列定义、覆盖列定义、TTL、预分区信息、索引状态等: 图1 索引查询结果 父主题: 使用全局二级索引工具