检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-Once。当label对应的导入作业状
在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内网不互通。通过在不同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用
【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜
HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 HBase适用场景有: 海量数据存储。 适用于TB~PB级以上的数据存储,提供动态
CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法? 问题现象 查询CluodTable表内的数据,出现count值和list数据条数不一致的情况,频繁出现数据丢失的问题,项目运行中,还有许多链接超时的情况。 分析原因 删除数据后,导致索引表和数据表不对应,导致异常。 处理方法 短期:通过离线流进行批处理,在第二天补数据。
据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database demo; 使用数据库demo。
配额说明 表格存储服务用户默认的基础资源如下: 实例数 CPU数量 内存容量(GB) 磁盘数 磁盘容量(GB) 上述资源的配额查看及修改,请参见关于配额。
HBase集群要准备什么? 基于访问集群的时延要求,请选择合适的区域创建CloudTable集群。 创建CloudTable集群时,请根据业务负载确定计算单元数量。在集群创建后,不支持计算单元缩容,并根据计算单元数量收费。如果集群处理业务的时延超出建议值,请考虑扩容增加计算单元数量。
访问ThriftServer操作表 操作场景 用户根据指定的host和port访问对应的ThriftServer实例,进行HBase表的创建,删除等操作。 前提条件 集群已启用ThriftServer并从集群详情页面获取到ThriftServer IP。 已下载Thrift安装包,安装包下载地址:链接。
Doris集群节点扩容 节点扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 节点扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
lipse的JAVA工程。如图1所示。 图1 样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包,也可以替换成开源的HBase jar包访问表格存储服务,支持1.X.X版本以上的开源HBase API。如果需要在应用中引入表格存储服务的HBase
模式下如何调用HBase开源接口进行Java应用程序的开发。 开发流程中各阶段的说明如图1和表1所示。 图1 应用程序开发流程 表1 应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。 HBase 准备开发环境
-ppassword 内网地址:所连接集群的内网地址。 path:证书存放的路径。 端口:FE上的mysql server端口9030。 password:指创建集群时设置的密码。 {path}/certificate.crt:存放下载证书的路径。 开启https后需要使用mysql8及以上客户端。
单击“查询”,查看对应的操作事件。 在需要查看的事件左侧,单击展开该记录的详细信息。 图1 事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 图2 查看事件 关于云审计服务事件结构的关键字段详解,请参见《云审计服务用户指南》的事件结构章节。 父主题:
、规格变更、修改参数等)时,可以执行扩容操作。需要注意的是: 扩充目标实例的存储容量,单位:GB。 FE节点的最大扩充后的磁盘容量是2000G。 BE节点的最大扩充后的磁盘容量是10000G。 扩充后的磁盘容量都是100G的倍数。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase冷热分离的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于实时记录和查询城市的气象信息,记录数据如下表: 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
创建库 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String
时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count( * ) 查询很不友好。同时因为固定了Value列上的聚合方式,在进行其他类型的聚合查询时,需要考虑语意正确性。 Aggregate Key相同时,新旧记录进行聚合,目前支持的聚合函数有
为什么要选择CloudTable服务? CloudTable服务是基于公有云实现的全托管服务,为用户提供专属集群,即开即用,适合业务吞吐量大,时延要求低的用户。选择CloudTable服务,可以免部署、免运维,按需申请,减低成本,能够获取专业指导。 父主题: 通用类
冷热分离场景下,热盘不支持缩容。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数