检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n),用CDM同步数据到GaussDB(DWS),同样设置长度为varchar(n) ,但是会出现字段超长,数据同步失败的问题。 原因分析 MySQL5.0.3之前varchar(n)这里的n表示字节数。
通过外表查询OBS上的数据 直接查询外表查看OBS上的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到OBS上的数据。 执行以下命令,则可以从外表查询数据。 1 SELECT * FROM product_info_ext_obs; 查询结果显示与原始数据显示相
CopyManager类简介 CopyManager是GaussDB(DWS) JDBC驱动中提供的一个API接口类,用于批量向GaussDB(DWS)集群中导入数据。 CopyManager的继承关系 CopyManager类位于org.postgresql.copy Package中,继承自java
处理导入错误 操作场景 当数据导入发生错误时,请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误,错误表只能记录数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,
关于COPY FROM STDIN导入数据 这种方式适合数据写入量不太大, 并发度不太高的场景。 用户可以使用以下方式通过COPY FROM STDIN语句直接向GaussDB(DWS)写入数据。 通过键盘输入向GaussDB(DWS)写入数据。 通过JDBC驱动的CopyMan
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
txt > foreign_test_pipe.pipe 若需要读取压缩文件到管道文件,执行: gzip -d < out.gz > foreign_test_pipe.pipe 若需要读取hdfs文件到管道文件,执行: hdfs dfs -cat - /user/hive/***/test_pipe
创建GDS外表 外表中配置了数据源格式信息、GDS服务的访问信息,从而GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表导入支持CSV
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
还支持排除一个模式或者多个模式的导出。可根据需要自定义导出如下信息: 导出模式全量信息,包含数据和对象定义。 仅导出数据,即模式包含表中的数据,不包含对象定义。 仅导出模式对象定义,包括:表定义、存储过程定义和索引定义等。 操作步骤 准备ECS作为gsql客户端主机。 请参见下
引。 1 DROP INDEX reasons_idx; 将数据源文件中的数据通过外表“foreign_tpcds_reasons”导入到表“reasons”中。 1 INSERT INTO reasons SELECT * FROM foreign_tpcds_reasons
具导出某个数据库级的内容,包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息: 导出数据库全量信息,包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库,且库中数据也与当前库相同。 仅导出所有对象定义,包括:库定义、函数定义、模式定义、表定义、索引定义和存储过程定义等。
仅导出数据,即导出每个数据库中的数据,且不包含所有对象定义和公共的全局对象信息。 仅导出所有对象定义,包括:表空间、库定义、函数定义、模式定义、表定义、索引定义和存储过程定义等。 使用导出的对象定义,可以快速创建与当前集群相同的一个集群,拥有相同的数据库和表空间,但是库中并无原数据库的数据。
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据
或者,您也可以先SSH远程登录到需要安装gsql的Linux主机,然后在Linux命令窗口,执行以下命令下载gsql客户端: wget https://obs.myhuaweicloud.com/dws/download/dws_client_8.x.x_redhat_x64.zip --no-check-certificate
human_resource -t 指定导出的表(或视图、序列、外表),可以使用多个-t选项来选择多个表,也可以使用通配符指定多个表对象。当使用通配符指定多个表对象时,注意给pattern打引号,防止shell扩展通配符。 单个表:-t schema.table 多个表:多次输入-t schema
添加/删除逻辑集群 添加逻辑集群 注意事项 在初次进入到“逻辑集群管理”页面时,若有从后台创建的逻辑集群,则会进行前后台的逻辑集群元数据同步。同步之后可以在前台页面看到之前在后台创建的逻辑集群信息,但不支持同名大小写不同的逻辑集群同步,如lc1和LC1。 在从物理集群转换为逻辑集群的
CREATE BARRIER 功能描述 创建一个新集群节点间的同步点。该同步点可用于数据恢复。 注意事项 在创建同步点之前,首先要确认集群中CN和DN的gtm_backup_barrier和enable_cbm_tracking参数都已设置为on。 语法格式 1 CREATE BARRIER
CREATE BARRIER 功能描述 创建一个新集群节点间的同步点。该同步点可用于数据恢复。 注意事项 在创建同步点之前,首先要确认集群中CN和DN的gtm_backup_barrier和enable_cbm_tracking参数都已设置为on。 语法格式 1 CREATE BARRIER
无法连接GaussDB(DWS)集群时怎么处理? 检查原因 基本原因可能有以下几种: 集群状态是否正常。 连接命令是否正确,用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因: