检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
适用Kafka实时入库。 使用CDM迁移数据到GaussDB(DWS) 数据库、NoSQL、文件系统、大数据平台 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
数据页复制 GS_121030084 错误码: invalid message header. 解决方案:您可能需要重新启动实例。 level: PANIC GS_121201135 错误码: no replication connection config information
customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/
可能 如果数据库服务器要求使用,则可以使用SSL安全加密连接,但不验证数据库服务器的真实性。 prefer 可能 如果数据库支持,那么首选使用SSL安全加密连接,但不验证数据库服务器的真实性。 require 是 必须使用SSL安全连接,但是只做了数据加密,而并不验证数据库服务器的真实性。
导出数据库 GaussDB(DWS)支持使用gs_dump工具导出某个数据库级的内容,包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息: 导出数据库全量信息,包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库,且库中数据也与当前库相同。 仅导
数据类型 子类型 包中的自定义类型无法被转换。 SUBTYPE error_msg IS sad_products_t.exception_description%TYPE; SUBTYPE AR_FLAG IS SAD_RA_LINES_TI.AR_FLAG%TYPE; SUBTYPE
SSB数据生成 下载ssb工具包并编译。 git clone http://github.com/vadimtk/ssb-dbgen.git cd ssb-dbgen && make 生成数据。 文件生成路径最好符合安装和启动GDS中SSB所使用的路径,否则需要修改安装和启动GDS中GDS的启动路径。
数据类型 数据类型 输入 输出 数值类型 BIGINT BIGINT BYTEINT SMALLINT DECIMAL [(n[,m])] DECIMAL [(n[,m])] DOUBLE PRECISION DOUBLE PRECISION FLOAT DOUBLE PRECISION
集群ID。获取方法,请参见获取集群ID。 ext_data_source_id 是 String 数据源配置ID。获取方法,请参见查询数据源。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 描述 job_id String 更新数据源的任务ID。 请求示例 DELETE https://{Endpoint}/v1
缓存个数以及数据缓存区大小。 如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。 目标表的
target_vw_name)返回字段 名称 类型 描述 src_vw_name text 生产者VW名称,通常作为写入数据的VW。 target_vw_name text 消费者VW名称,通常作为读取数据的VW。 示例: 1 2 3 4 5 SELECT pgxc_group_add_subscription('write_group'
列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型,暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数,别名为INT2。 2 integer 常用的整数,别名为INT4。 4 bigint 大范围的整数,别名为INT8。
目标表、目标表字段与数据源字段对应关系及其它参数。“DWS表输出”控制对应的数据源只支持PostgreSQL。 保存转换任务,并启动任务。 查看运行结果,去目标数据表检查搬迁数据总数和明细数据是否与需要搬迁的数据一致。 父主题: 导入数据
数据类型迁移 概述 数据类型是数据的一个基本属性,用于区分不同类型的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在数据表中。数据表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。下表列出了SQL-Serv
OperateAccess权限的委托。 数据库 要创建的OBS数据源连接所在的数据库。 描述 要创建的OBS数据源连接的描述信息。 确认无误后,单击“确认”按钮,提交创建操作,创建过程大约需要10秒钟左右。 更新OBS数据源配置 操作场景 当OBS数据源连接创建之后,GaussDB(DWS)会定期更新数据源使用的
针对OBS进行设置,可以全局指定OBS桶,在这个桶下面创建一个文件目录后,脚本默认会保存到该OBS桶的文件夹下面,无需再选择。可以设置数据库和schema权限过滤,开启开关后,根据当前的数据库用户过滤数据库的create权限以及过滤schema的usage权限。 确认无误后,单击“确认”。 父主题: 使用SQ
连接数据库 在创建数据库连接之后,才能使用它来执行SQL语句操作数据。 如果您使用的是开源的JDBC驱动程序,应确保数据库参数password_encryption_type取值设置为1,如果参数值不为1,可能会出现连接失败,典型的报错信息比如:“none of the server's
的逻辑集群可以查询或修改表的数据。 图1 跨逻辑集群实现数据查询 图2 跨逻辑集群实现数据写入 操作步骤 参见创建GaussDB(DWS)存算分离集群,集群创建后默认会转换成逻辑集群v3_logical。 通过节点扩容方式增加3个节点到弹性集群,再添加逻辑集群lc2。 创建用户u