检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快照同步函数 快照同步函数是导出当前快照的标识符。 create_wdr_snapshot() 描述:创建性能数据快照。 返回值类型:text 该函数只有数据库管理员SYSADMIN才可以执行,非管理员执行会提示无权限。 该函数只能在CN上执行,在DN上执行会返回:“WDR snapshot
compression 'snappy', version '0.12' ) Write Only; 父主题: 导出ORC数据到OBS
TABLE,表示同步数据的目标表名,带schema。 SCHEMA.FOREIGN_TABLE,表示OBS外表命名,带schema。 LATEST_COMMIT,表示已同步的Hudi数据时间截点。 示例:目标表public.in_rel,已经同步hudi的数据到20220913152131,切换到SQL
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
BIGINT HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 父主题: 导出ORC数据到MRS
规划导出数据 操作场景 在OBS上规划导出数据存放的位置。 规划OBS存储位置和文件 导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。 导出路径的目标目录中不能存在任何文件。
登录MRS管理控制台。 选择“集群列表 > 现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。 图1 在MRS上查看数据存储路径 获取MRS数据源连接的外部服务器信息 使用创
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出CSV、TXT数据到OBS
8000 -r 根据提示输入密码。 创建外部服务器。 例如,执行以下命令创建外部服务器“obs_server”: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6 7 8 CREATE
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
compression 'snappy', version '0.12' ) Write Only; 父主题: 导出ORC数据到MRS
外表:用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 相关原理 下面分别从以下两类表介绍从集群导出数据到OBS的原理。 Hash分布表:在建表语句中指定了DISTRIBUTE BY HASH (Column_Name)的表。 对于Hash分布表
是否使用加密(encrypt),默认为“off”。 字段分隔符(delimiter)为“|”。 根据以上信息,创建的外表如下所示: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6 7
下。ORC格式文件大小最大为128M,Stripe大小最大为64M。 导出完成后会生成_SUCCESS标记文件。 父主题: 导出ORC数据到MRS
hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (1 row) 父主题: 导出ORC数据到MRS
拟专用网络(VPN)”打通网络,请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 (可选)手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 从MRS导入数据到集群
查询表product_info_orc: 1 SELECT * FROM product_info_orc; 如果查询到如数据文件所示的数据,表示已经成功将数据插入到ORC表。 父主题: 从MRS导入数据到集群
修改数据文件目录属主为gdsuser。 1 chown -R gdsuser:gdsgrp /output_data 父主题: 使用GDS导出数据到远端服务器
”命令从外表导入数据到目标表。 示例: 1 INSERT INTO product_info SELECT * FROM foreign_product_info; 若出现以下类似信息,说明数据导入成功。 INSERT 0 20 执行SELECT命令,查看从MRS导入到GaussDB(DWS)中的数据。