检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 1. 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
连接命令是否正确,用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因: 弹性云服务器是否与集群在相同可用分区、虚拟私有云、子网和安全组。 安全组的出入规则是否正确。 如果是在互联网环境无法连接,还需要检查以下可能导致异常的原因:
设置同步策略,参见表5。 表5 同步策略 参数项 取值 流速模式 不限速 同步对象类型 同步数据 增量阶段冲突策略 覆盖 数据同步拓扑 一对一 增量支持DDL 默认值 同步对象 表级同步。 从源数据库中勾选要同步的表,本实践为rds_demo下的rds_t1。 并填写同步到DWS的数据库名:rds_demo
快照同步函数 快照同步函数是导出当前快照的标识符。 create_wdr_snapshot() 描述:创建性能数据快照。 返回值类型:text 该函数只有数据库管理员SYSADMIN才可以执行,非管理员执行会提示无权限。 该函数只能在CN上执行,在DN上执行会返回:“WDR snapshot
快照同步函数 快照同步函数是导出当前快照的标识符。 create_wdr_snapshot() 描述:创建性能数据快照。 返回值类型:text 该函数只有数据库管理员SYSADMIN才可以执行,非管理员执行会提示无权限。 该函数只能在CN上执行,在DN上执行会返回:“WDR snapshot
family(inet) 描述:抽取地址族,4为IPv4,6为IPv6。 返回类型:int 示例: 1 2 3 4 5 SELECT family('::1') AS RESULT; result -------- 6 (1 row) host(inet) 描述:将主机地址类型抽出为文本。
GaussDB(DWS)优先推荐的导入方式。 并行拉取方式,性能好,横向扩展。 使用GDS从远端服务器导入数据 Servers(即远端服务器) 使用GaussDB(DWS)提供的GDS工具,利用多DN并行的方式,将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高,适用于大批量数据入库。
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
网络地址类型 GaussDB(DWS)提供用于存储IPv4、IPv6、MAC地址的数据类型。 网络地址类型提供输入错误检查和特殊的操作和功能(请参见网络地址函数和操作符),比纯文本类型更适合存储IPv4、IPv6、MAC地址的数据类型。 表1 网络地址类型 名字 存储空间 描述 cidr
foreign_product_info; 删除手动创建的外部服务器 如果执行了手动创建外部服务器,请按照以下步骤删除外部服务器、数据库和用户。 使用创建外部服务器的用户通过GaussDB(DWS)提供的数据库客户端连接到外部服务器所在的数据库。 例如,使用gsql客户端的用户可以通过以下两种方法中的一种进行连接:
B服务。 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建Kafka实例 登录华为云控制台,服务列表选择“应用中间件
其他操作 GDS管道文件常见问题 查看数据倾斜状态 分析表
实时入库 使用DRS将数据导入GaussDB(DWS) Kafka实时入库到GaussDB(DWS)
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
family(inet) 描述:抽取地址族,4为IPv4,6为IPv6。 返回类型:int 示例: 1 2 3 4 5 SELECT family('::1') AS RESULT; result -------- 6 (1 row) host(inet) 描述:将主机地址类型抽出为文本。
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
family(inet) 描述:抽取地址族,4为IPv4,6为IPv6。 返回类型:int 示例: 1 2 3 4 5 SELECT family('::1') AS RESULT; result -------- 6 (1 row) host(inet) 描述:将主机地址类型抽出为文本。
准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。 ECS与DWS处于同一区域、同一虚拟私有云和子网。 ECS安全组规则需放通DWS集群的访问,即安全组入规则: