检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储引擎体系架构概述 静态编译架构 通用数据库服务层 父主题: 存储引擎体系架构
扩容实例协调节点(分布式) 操作场景 随着实例部署时间及业务的增长,数据库在运行性能及存储上逐渐会达到瓶颈。此时,需要通过增加主机来提升实例的性能及存储能力。GaussDB分布式独立部署形态支持扩容节点操作。 扩容时长与业务数据量有关,默认扩容操作超时时间为7天,扩容中实例可正常
schema名称。 relname name 表名称。 attname name 列名称。 attfdwoptions text[] 外部数据封装器的属性选项,使用“keyword=value”格式的字符串。 父主题: Information Schema
project_id String 专属分布式存储池归属的project_id。 capacity Integer 申请的专属分布式存储容量,单位TB。 type String 专属分布式存储池的存储类型。 SAS:高IO专属分布式存储池。 SSD:超高IO专属分布式存储池。 status String
每一个表或者分区对应的FSM结构存放在一个独立的FSM文件中,该FSM文件与表数据放在相同的目录下。例如,假设表t1对应的数据文件为32181,则其对应的FSM文件为32181_fsm。FSM内部同样是以数据块的格式存储,这里称为FSM block,FSM block之间的逻辑结构组成了一
通过消息幂等实现消息去重 方案概述 在RocketMQ的业务处理过程中,如果消息重发了多次,消费者端对该重复消息消费多次与消费一次的结果是相同的,多次消费并没有对业务产生负面影响,那么这个消息处理过程是幂等的。消息幂等保证了无论消息被重复投递多少次,最终的处理结果都是一致的,避免了因消息重复而对业务产生影响。
消费者根据messageID对消息进行幂等处理,示例代码如下: //创建一个以messageID为主键的数据库表,利用数据库主键去重的方式来处理RabbitMQ幂等。 //在消费者消费前先去数据库查询这条消息是否存在,如果存在表示消息已被消费,无需处理;如果不存在表示消息未被消费,执行消费操作
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
步骤4:初始化数据盘 初始化数据盘场景及磁盘分区形式介绍 使用脚本初始化Windows数据盘 使用脚本初始化Linux数据盘 初始化Windows数据盘(Windows 2008) 初始化Windows数据盘(Windows 2019) 初始化Linux数据盘(fdisk) 初始化Linux数据盘(parted)
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
存储引擎更新说明 GaussDB Kernel 503版本 GaussDB Kernel R2版本 父主题: 存储引擎体系架构
进行顺序访问控制。这就需要分布式锁登场了。 分布式锁的思路是:在整个系统提供一个全局的、唯一的分配锁的“东西”,当每个系统需要加锁时,都向其获取一把锁,使不同的系统获取到的内容可以认为是同一把锁。 当前分布式加锁主要有三种方式:(磁盘)数据库、缓存数据库、Zookeeper。 使
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。 报错 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时
挂载已有数据的磁盘 挂载已有数据的系统盘 挂载已有数据的非共享磁盘 挂载已有数据的共享磁盘 父主题: 磁盘管理
分布式身份(DID)管理 企业身份注册(带有service) 注册DID 更新DID 查询DID 父主题: 分布式身份(公测)
数据类型转换 数据库中允许有些数据类型进行隐式类型转换(赋值、函数调用的参数等),有些数据类型间不允许进行隐式数据类型转换,可尝试使用GaussDB提供的类型转换函数,例如CAST进行数据类型强转。 GaussDB数据库常见的隐式类型转换,请参见表1。 GaussDB支持的DAT