检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(DWS)优先推荐的导入方式。 并行拉取方式,性能好,横向扩展。 使用GDS从远端服务器导入数据 Servers(即远端服务器) 使用GaussDB(DWS)提供的GDS工具,利用多DN并行的方式,将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高,适用于大批量数据入库。
流程说明 流程 说明 子任务 上传数据至OBS 在OBS服务器上规划存储路径,并上传数据文件。 详细请参见上传数据到OBS。 - 创建OBS外表 创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名、文件格式、存放位置、编码格式、数据间的分隔符等信息。
1 GB 磁盘空间 1 GB 软件要求 操作系统要求 DataCheck兼容的操作系统如表4所示。 表4 兼容的操作系统 服务器 操作系统 版本 通用x86服务器 SUSE Linux Enterprise Server 11及以上 SUSE Linux Enterprise Server
双机复制 主服务器 父主题: GaussDB(DWS)数据库GUC参数
STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。 使用GDS从远端服务器导入数据到GaussDB(DWS)。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到GaussDB(DWS)时,可以使用GaussDB(DWS)提供的GDS导入数据的功能。
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
放通ECS到DWS之间的网络端口。 由于GDS服务器(即本实验ECS)与DWS需要建立通讯,ECS默认的安全组入方向并没有放通GDS端口5000和DWS端口8000,需执行以下步骤: 回到弹性云服务器ECS的控制台,单击云服务器名称进入详情。 切换到“安全组”页签,单击“配置规则”。 选择“入方向规则”,单击“
填写高级配置参数如下表,单击“立即购买”,等待约15分钟,集群创建成功。 表3 高级配置 参数项 取值样例 标签 test01 主机名前缀 可不填写,用作集群中ECS机器或BMS机器主机名的前缀。 弹性伸缩 保持默认即可。 引导操作 保持默认即可,MRS 3.x版本暂时不支持该参数。 委托 保持默认即可。
通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集
gs_dump和gs_dumpall会使用--role参数指定的角色,完成导出动作。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行
/home/omm/cluster_ssh 系统回显 建立集群用户互信: [perfadm@ecs-env-2988 ~]$ python3 $GPHOME/script/ESLDoTrust.py -f /home/perfadm/cluster_ssh Please enter password
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 其它函数 父主题: 函数和操作符
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 内存管理函数 其它函数 父主题: 函数和操作符
双机复制 主服务器 父主题: GaussDB(DWS)数据库GUC参数
如果数据库服务器要求使用,则可以使用SSL安全加密连接,但不验证数据库服务器的真实性。 prefer 可能 如果数据库支持,那么首选使用SSL安全加密连接,但不验证数据库服务器的真实性。 require 是 必须使用SSL安全连接,但是只做了数据加密,而并不验证数据库服务器的真实性。
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集
从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据
PG_FOREIGN_TABLE字段 名称 类型 描述 ftrelid oid 外部表的OID。 ftserver oid 外部表的所在服务器的OID。 ftwriteonly boolean 外部表是否可写。 ftoptions text[] 外部表的可选项。 父主题: 系统表