检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 使用限制 当所有的Core节点磁盘占用90%时,集群异常且读写不可用。 当集群状态处于“服
ClickHouse磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 当集群状态处于“服务中”,且没有任何任务操作
热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 冷热分离场景下,热盘不支持缩容。 图1 开启冷热分离 修改冷热分离策略 登录表格存储服务管理控制台。
oding.FAST_DIFF); //设置文件压缩方式,HBase默认提供了GZ和SNAPPY两种压缩算法 //其中GZ的压缩率高,但压缩和解压性能低,适用于冷数据 //SNAPPY压缩率低,但压缩解压性能高,适用于热数据 //建议默认开启SNAPPY压缩 hcd
数据迁移同步 数据导入导出 ClickHouse访问RDS MySQL服务 父主题: ClickHouse应用开发指导
说明 db 数据库的名称,默认为当前选择的数据库。 view_name 视图名。 [ON CLUSTER ClickHouse集群名] 在每一个节点上都创建一个视图,固定为ON CLUSTER ClickHouse集群名。 SELECT ... SELECT子句。当数据写入视图中S
API概览 CloudTable提供的符合RESTful API的设计规范的接口,如表1所示。 表1 接口 接口 功能 API URI 集群管理 创建CloudTable集群 POST /v2/{project_id}/clusters 查询CloudTable集群详情 GET
控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。 原理介绍 CloudTable HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后,HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随
Doris支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。主要适用以下场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。
将会清空所有与该集群相关的资源及数据,且无法恢复,请谨慎操作。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 选中需要删除的集群名,在对应的操作列单击“更多 > 删除”。
单击“Finish”,完成导出Jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“lib”和“conf”。将样例工程中“lib”的Jar包,以及1导出的Jar包,上传到Linux的“lib”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。
ClickHouse集群将会清空所有与该集群相关的资源及数据,且无法恢复,请谨慎操作。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 选中需要删除的集群名,在对应的操作列单击“更多 > 删除”。
样例代码说明 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发程序
单击“Finish”,完成导出Jar包。 执行Jar包。 在Linux客户端下执行Jar包的时候,先将应用开发环境中生成的Jar包拷贝上传至客户端安装目录的“lib”目录中,并确保Jar包的文件权限与其它文件相同。 用安装用户切换到客户端目录的“bin”目录下,然后运行如下命令使Jar包执行: [Ruby@
HBase数据批量导入 使用CDM迁移数据到CloudTable 使用Import工具导入数据 使用CopyTable工具导入数据 数据表复制样例代码 父主题: HBase用户指南
数据湖分析 多源数据目录 父主题: Doris应用开发指导
SQL语法参考 数据类型 CREATE DATABASE CREATE TABLE DESC查询表结构 CREATE VIEW CREATE MATERIALIZED VIEW INSERT INTO SELETC ALTER TABLE修改表结构 DROP删除表 SHOW显示数据库和表信息
规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(计算节点、ZooKeeper节点),且变更完成后只生效所选类型的节点规格。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更过程中系统不可用。
数据分区和分桶 Doris支持两层的数据划分。第一层是Partition(分区),支持Range(按范围)和List(按枚举值)的划分方式。第二层是Bucket(分桶),仅支持Hash的划分方式。分区和分桶都是对数据进行横向分隔。 也可以仅使用一层分区。使用一层分区时,只支持Bu