检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源 查询数据源 创建数据源 更新数据源 删除数据源 父主题: API说明
数据库 在MySQL中,DATABASE 是一种模式对象,等同于Oracle、GaussDB(DWS)数据库的SCHEMA概念。DSC工具迁移时考虑了以下两个场景。
数据页复制 GS_121030084 错误码: invalid message header. 解决方案:您可能需要重新启动实例。
图1 跨逻辑集群实现数据查询 图2 跨逻辑集群实现数据写入 操作步骤 参见创建GaussDB(DWS)存算分离集群,集群创建后默认会转换成逻辑集群v3_logical。 通过节点扩容方式增加3个节点到弹性集群,再添加逻辑集群lc2。
隐私和安全管理当局PSA的官方认证:该认证满足欧盟对数据安全和隐私的要求。 业务数据安全 数据仓库服务构建在公有云的基础软件设施之上,包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。
如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。
导出数据库 GaussDB(DWS)支持使用gs_dump工具导出某个数据库级的内容,包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息: 导出数据库全量信息,包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库,且库中数据也与当前库相同。
数据类型 数据类型 输入 输出 数值类型 BIGINT BIGINT BYTEINT SMALLINT DECIMAL [(n[,m])] DECIMAL [(n[,m])] DOUBLE PRECISION DOUBLE PRECISION FLOAT DOUBLE PRECISION
在左侧导航栏中,选择“数据 > SQL编辑器”。 切换至“数据源”面板,数据源连接成功后,右键数据库名称,再单击“创建数据库”按钮。 图2 创建数据库 页面右边弹出“新增数据库”页面,可根据需求填写。 数据库名称:设置数据库名称。 所有者:下拉框选择新增数据库所有者。
数据仓库系统会备份数据,生成索引、临时缓存文件、运行日志等内容,并占用存储容量。每个节点实际存储的数据,大致为总存储容量的一半。 父主题: 数据迁移
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。
功能描述 清理表数据,TRUNCATE在清理表数据时,可以快速地从表中删除所有行。它和在目标表上进行无条件的DELETE有同样的效果,由于TRUNCATE不做表扫描,在大表上操作效果更明显,效率会提升很多。
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。
假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。
target_vw_name text 消费者VW名称,通常作为读取数据的VW。
数据类型 数字类型 日期和时间类型 字符串类型 空间数据类型 大对象类型 集合类型 布尔类型 二进制类型 JSON类型 父主题: MySQL语法迁移
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题: GaussDB
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。