检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细操作请参考本地Windows主机使用FTP上传文件到Windows/Linux云服务器。 使用OBS上传文件 OBS可供用户存储任意类型的数据。将图片、视频等数据存储至OBS后,在ECS上可以访问OBS,下载桶中的图片或视频等数据。
详细操作请参考本地Windows主机使用FTP上传文件到Windows/Linux云服务器。 使用OBS上传文件 OBS可供用户存储任意类型的数据。将图片、视频等数据存储至OBS后,在ECS上可以访问OBS,下载桶中的图片或视频等数据。
本地Linux主机使用FTP上传文件到Linux云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务,将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。
本地Linux主机使用FTP上传文件到Linux云服务器 操作场景 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务,将文件从本地上传到云服务器中。 前提条件 已在待上传文件的云服务器中搭建 FTP 服务。
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持CSV、TEXT、O
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器的步骤如下: 创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中,将使用(可选)新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase
本地Windows主机使用FTP上传文件到Windows/Linux云服务器 操作场景 本节操作介绍如何在Windows操作系统的本地主机上使用FTP上传文件到云服务器。 前提条件 云服务器已绑定弹性公网IP,且安全组入方向开启TCP协议的21端口。
创建外部服务器 创建HDFS外部服务器的操作步骤如下: 手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如:通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接: 可以通过以下两种方法中的一种进行连接:
本地Linux主机使用SCP上传文件到Linux云服务器 操作场景 本节操作介绍本地Linux操作系统主机通过SCP向Linux云服务器传输文件的操作步骤。 操作步骤 登录管理控制台,在ECS列表页面记录待上传文件的云服务器的弹性公网IP。
本地Linux主机使用SCP上传文件到Linux云服务器 操作场景 本节操作介绍本地Linux操作系统主机通过SCP向Linux云服务器传输文件的操作步骤。 操作步骤 登录管理控制台,在ECS列表页面记录待上传文件的云服务器的弹性公网IP。
创建用户和数据库并授予外表权限 手动创建外部服务器 需要注意的是,当您不再需要从该MRS数据源读取数据时,通过GaussDB(DWS)管理控制台删除MRS数据源,仅会删除在默认数据库postgres中自动创建的外部服务器,手动创建的外部服务器需要您手动删除,具体操作请参见删除手动创建的外部服务器中的描述。 创建用户和数据库并授予外表权限
后,将数据导入到表中。 根据错误表中的提示诊断加载错误并更正这些错误。 视频介绍 准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。 以上传SUSE Linux版本的工具包为例
相关概念 数据文件:存储有数据的TEXT、CSV或FIXED文件。文件中保存的是从GaussDB(DWS)数据库导出的数据。 外表:用于规划导出数据文件的数据文件格式、存放位置、编码格式等信息。 GDS:数据服务工具。在导出数据时,需要将此工具部署到数据文件所在的服务器上,使DN可以通过该工具导出数据。
本地Linux主机使用SFTP上传文件到Linux云服务器 操作场景 本节操作以CentOS操作系统为例,介绍配置SFTP、使用SFTP上传或下载文件、文件夹的操作步骤。 操作步骤 以root用户登录云服务器。 执行以下命令查看ssh版本,OpenSSH版本大于等于4.8p1。
本地Linux主机使用SFTP上传文件到Linux云服务器 操作场景 本节操作以CentOS操作系统为例,介绍配置SFTP、使用SFTP上传或下载文件、文件夹的操作步骤。 操作步骤 以root用户登录云服务器。 执行以下命令查看ssh版本,OpenSSH版本大于等于4.8p1。
上传文件到云服务器缓慢怎么办? 上传文件到云服务器时,您可能会遇到上传速度慢的问题。该问题可能是由于网络带宽限制、文件大小和类型、服务器负载过高、上传方式和工具以及优化网络连接等原因所致。 本文介绍上传文件慢的可能原因与处理措施,帮助您提高云服务器的上传速度,提升用户体验。
Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建数据文件存放目录“/output
n”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为5000,设置的导出后文件存放目录为“/output_data/”。
发送端服务器 wal_keep_segments 参数说明:Xlog日志文件段数量。设置“pg_xlog”目录下保留事务日志文件的最小数目,备机通过获取主机的日志进行流复制。 参数类型:SIGHUP 取值范围:整型,2 ~ INT_MAX 默认值:128 设置建议: 当服务器开启日
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。 1 2 groupadd
on表示备机catchup时用增量catchup方式,即从从备本地数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 off表示备机catchup时用全量catchup方式,即从主机本地所有数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 默认值:on wait_dummy_time
GDS。 cd /opt/bin/dws/gds/bin python3 gds_ctl.py stop 父主题: 使用GDS导出数据到远端服务器
发送端服务器 wal_keep_segments 参数说明:Xlog日志文件段数量。设置“pg_xlog”目录下保留事务日志文件的最小数目,备机通过获取主机的日志进行流复制。 参数类型:SIGHUP 取值范围:整型,2 ~ INT_MAX 默认值:128 设置建议: 当服务器开启日
备服务器 build_backup_param 参数说明:控制增量build过程中用于磁盘备份的最小满足规格。 参数类型:SIGHUP 取值范围:字符串 默认值:(1%,1G,1G) 该参数只会影响增量build过程中是否生成pg_rewind_bak目录,字符串生效需要采用'x%
sh将执行失败。 请确保目标文件夹大小至少为输入文件夹中SQL文件大小的4倍。 例如,输入文件夹中SQL文件大小为100 KB,则目标文件夹至少需要400 KB空间处理SQL文件。 Linux系统中查询目标文件夹的可用磁盘空间: df -P <folder path> Linux系统中查询输入文件的大小,在输入文件所在路径下执行:
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();
on表示备机catchup时用增量catchup方式,即从从备本地数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 off表示备机catchup时用全量catchup方式,即从主机本地所有数据文件扫描获得主备差异数据文件列表,进行主备之间的catchup。 默认值:on wait_dummy_time