检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
判断自动创建的管道文件是否存在,且是否为管道文件类型。 GDS管道文件的导入导出任务结束后会自动删除管道文件,但是手动终止任务时,管道文件的删除会有延迟,直到到达超时时间后才会被删除。 常见问题和定位方法: 问题1:"/***/postgres_public_foreign_test_pipe_tr
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
character varying 出现数据格式错误的数据源文件名。 当GDS导入时,同时会包括对应GDS服务端的IP地址端口信息。 rownum bigint 在数据源文件中,出现数据格式错误的行号。 rawrecord text 在数据源文件中,出现数据格式错误的原始记录。 detail text
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
其中DN0和DN1上分配了两个文件,其他DN分配了1个文件。 如果OBS上文件大小都相同时,OBS上的文件数与DN节点数的比例为1:1时导入性能为最好,因为每个DN分配的任务都相同。因此建议将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量以DN的整数倍更适合。 图1
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id),所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录
获取网卡状态 功能介绍 该接口用于获取主机监控网卡状态。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/net 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。
以root用户登录数据服务器。 创建数据文件存放目录“/input_data”。 mkdir -p /input_data 将数据源文件上传至上一步所创建的目录中。 GDS并行导入支持CSV、TEXT格式的数据导入。请确保数据源文件符合格式要求。 父主题: 使用GDS从远端服务器导入数据
product_info; 查询结果显示如数据文件中所示的数据,表示导入成功。查询结果的结尾将显示以下信息: (20 rows) 错误处理 数据导入过程中,对于如下错误信息,表示GaussDB(DWS)期望读取ORC数据文件,但实际却是*.txt类型的数据文件。请先参见在MRS集群上创建Hive
header(仅支持CSV,FIXED格式):确认数据文件是否包含标题行。 delimiter:确认数据文件中,字段间的分隔符。例如,以英文逗号分隔的。 encoding:数据源文件的数据编码格式。例如,为UTF-8。 eol:确认数据文件中,行间的换行符。例如,默认的换行符,如0x0D
ORC表作为示例,完成上述准备工作。在MRS集群上创建Spark ORC表的大致流程和SQL语法,同Hive类似,在本文中不再展开描述。 数据文件 假设有数据文件product_info.txt,示例数据如下所示: 100,XHDK-A-1293-#fJ3,2017-09-01,A,2017
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
DN(Datanode):GaussDB(DWS)数据节点。接收CN下发的导入任务,将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件:存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器:数据源文件所在的服务器称为数据服务器。基于安全考虑,建议数据服务器和GaussDB(DWS)集群处于同一内网。
当前容灾对象列表文件路径 不涉及 不涉及 --current-disaster-file /home/userA/current.txt --config-file 不涉及 字符串 双集群容灾配置文件存放路径。 说明: 该路径操作系统用户omm必须拥有读权限。 关于配置文件如何配置,请参见生成配置文件命令。
)数据库。 gsql创建连接时,会有5分钟超时时间。如果在这个时间内,数据库未正确地接受连接并对身份进行认证,gsql将超时退出。 针对此问题,可以参考常见问题处理。 执行SQL语句:支持交互式地键入并执行SQL语句,也可以执行一个文件中指定的SQL语句。 执行元命令:元命令可以
的用户名。 执行以下命令删除用户: 1 DROP USER dbuser; 可使用\du命令查询用户,确认用户是否已经删除。 父主题: 从MRS导入数据到集群
以UTF-8无BOM格式编码”。 选择“文件 > 另存为”。 在弹出的对话框中输入文件名后,将文件后缀设为.csv,单击“保存”。 以root用户登录GDS服务器。 创建数据文件存放目录“/input_data”。 1 mkdir -p /input_data 使用MobaXterm将数据源文件上传至上一步所创建的目录中。
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
生成配置文件命令 功能 generate-config命令用于生成细粒度容灾的双集群容灾配置文件和主备集群倒换配置文件的初始化设置,用户可生成后自己修改。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t generate-config