检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
数据源 查询数据源 创建数据源 更新数据源 删除数据源 父主题: API说明
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。
数据在GaussDB(DWS)中是否安全? 安全。在大数据时代,数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用,下不碰数据”的承诺,保证用户核心资产的安全。这是对用户和社会的承诺,也是公有云及其伙伴商业成功的保障和基石。
导出数据库 GaussDB(DWS)支持使用gs_dump工具导出某个数据库级的内容,包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息: 导出数据库全量信息,包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库,且库中数据也与当前库相同。
如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。
执行导入数据 完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。
数据页复制 GS_121030084 错误码: invalid message header. 解决方案:您可能需要重新启动实例。
数据库连接管理 执行gsql连接数据库命令提示gsql:command not found 通过gsql客户端无法连接数据库 连接GaussDB(DWS)数据库时,提示客户端连接数太多 无法ping通集群访问地址 业务执行中报错:An I/O error occurred while
数据类型 数字类型 日期和时间类型 字符串类型 空间数据类型 大对象类型 集合类型 布尔类型 二进制类型 JSON类型 父主题: MySQL语法迁移
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。
数据类型 数据类型 输入 输出 数值类型 BIGINT BIGINT BYTEINT SMALLINT DECIMAL [(n[,m])] DECIMAL [(n[,m])] DOUBLE PRECISION DOUBLE PRECISION FLOAT DOUBLE PRECISION
数据类型 子类型 包中的自定义类型无法被转换。
任务示例 示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。
创建数据源 功能介绍 该接口用于创建一个数据源。 调用方法 请参见如何调用API。
HIVE 0.11) 日期类型 DATE DATE 时间类型 TIMESTAMP TIMESTAMP BOOLEAN类型 BOOLEAN BOOLEAN Char类型 CHAR(n) CHAR (n) VarChar类型 VARCHAR(n) VARCHAR (n) 字符串(文本大对象
hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。
hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。