检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已准备表1所列的迁移工具:DSC、DataCheck。 DataCheck运行环境满足以下要求: 服务器:Linux或Windows服务器,支持64位操作系统。 JRE或JDK:系统已安装JRE 1.8。 网络环境:安装、运行DataCheck工具的服务器,需要与待连接的数据库的网络互通。 表1 迁移ADB准备工具 工具名
GaussDB(DWS)优先推荐的导入方式。 并行拉取方式,性能好,横向扩展。 使用GDS从远端服务器导入数据 Servers(即远端服务器) 使用GaussDB(DWS)提供的GDS工具,利用多DN并行的方式,将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高,适用于大批量数据入库。
--host=HOSTNAME 指定正在运行服务器的主机名或者Unix域套接字的路径。 如果省略主机名,gsql将通过Unix域套接字与本地主机的服务器相连,或者在没有Unix域套接字的机器上,通过TCP/IP与localhost连接。 -p, --port=PORT 指定数据库服务器的端口号。 可以通过port参数修改默认端口号。
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。 使用GDS从远端服务器导入数据到GaussDB(DWS)。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到GaussDB(DWS)时,可以使用GaussDB(DWS)提供的GDS导入数据的功能。
具将普通文件系统中的数据文件导入到GaussDB(DWS)数据库中,GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 下载客户端 表1 gsql下载地址 操作系统类别 适用操作系统版本 下载地址 校验文件 Windows Windows
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
详细信息请参见表1。 默认值:notice log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 参数类型:SUSET 当client_min_messages和l
流程说明 流程 说明 子任务 上传数据至OBS 在OBS服务器上规划存储路径,并上传数据文件。 详细请参见上传数据到OBS。 - 创建OBS外表 创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名、文件格式、存放位置、编码格式、数据间的分隔符等信息。
最小内存 1 GB 磁盘空间 1 GB 软件要求 操作系统要求 DSC兼容的操作系统如表4所示。 表4 兼容的操作系统 服务器 操作系统 版本 通用x86服务器 SUSE Linux Enterprise Server 11 SP1(SUSE11.1) SP2(SUSE11.2)
GaussDB(DWS),基本流程如下: 准备工作 步骤一:准备DLI源端数据 步骤二:创建GaussDB(DWS)集群 步骤三:获取GaussDB(DWS)外部服务器所需鉴权信息。 步骤四:通过外表导入DLI表数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS)
通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集
加到已有的权限上。 GaussDB(DWS)会将某些类型的对象上的权限授予PUBLIC。默认情况下,对表、表字段、序列、外部数据源、外部服务器、模式或表空间对象的权限不会授予PUBLIC,而以下这些对象的权限会授予PUBLIC:数据库的CONNECT权限和CREATE TEMP
它是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导入导出。 GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 DSC SQL语法迁移工具 DSC(Database Schema Convertor)是一款运行在Li
系统,设计用于在低成本硬件上运行。HDFS提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。 服务器 为客户端提供服务的软硬件的组合。单独使用时,指运行服务器操作系统的计算机,也可以指提供服务的软件或者专用硬件。 高级包 GaussDB(DWS)提供的具有一定逻辑和
双机复制 主服务器 父主题: GaussDB(DWS)数据库GUC参数
tatements,否则可能会导致业务超时失败。 使用前准备 配置两个集群互连。 规划部署GDS服务器,确保所有的GDS服务器可以和上面配置的两个集群所有节点网络连通,即GDS服务器的安全组入方向要放通对应的GDS端口(例如5000)和DWS端口(默认8000)。部署GDS请参考安装配置和启动GDS。
详细信息请参见表1。 默认值:notice log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 参数类型:SUSET 当client_min_messages和l
EIP 弹性公网IP(Elastic IP,简称EIP)提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。 可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 Ring 安全环,集群内部的故障隔离域,主要作用是故障隔离,环内主机出现故障,故障不会扩散到环外。