检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令启动Hive客户端： beeline 在Hive中创建数据库demo。 执行以下命令创建数据库： CREATE DATABASE demo; 在数据库demo中新建了一个Hive TEXTFILE类型的表product_info，并将数据文件（product_info.txt）导入到该表对应的HDFS路径中。
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长，数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n)，用CDM同步数据到GaussDB(DWS)，同样设置长度为varchar(n) ，但是会出现字段超长，数据同步失败的问题。 原因分析 MySQL5
置的语法迁移逻辑解析源数据库应用程序SQL脚本，并迁移为适用于GaussDB(DWS) 数据库的应用程序SQL脚本。DSC不需要连接数据库，可在离线模式下实现零停机迁移。在GaussDB(DWS)中通过执行迁移后的SQL脚本即可恢复数据库，从而实现线下数据库轻松上云。 DSC支持
All things done. 使用gs_dump导出human_resource数据库数据。 用户jack不具备导出数据库human_resource的权限，而角色role1具备该权限，要实现导出数据库human_resource，可以在导出命令中设置--role角色为role1
”为GDS服务管理的数据源文件所在的路径。请根据实际情况替换。 依据数据源文件中的数据情况，设计导入容错机制。 GaussDB(DWS)支持如下的数据容错性处理，相当于数据入库前对数据做初步的简单清洗。 fill_missing_fields：数据入库时，数据源文件中某行的最后一
操作场景 当数据导入发生错误时，请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误，一般分为数据格式错误和非数据格式错误，错误表只能记录数据格式错误。 数据格式错误 在创建外表时，通过设置参数“LOG INTO error_table_name”，将数据导入过程中
从OBS导入CSV、TXT数据 创建访问密钥（AK和SK） 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 OBS导入数据示例 父主题： 从OBS并行导入数据
支持的数据类型 目前大数据领域，主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式，使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析，因此，需要在ORC文件格式支持的数据类型与GaussDB
导出数据库 GaussDB(DWS)支持使用gs_dump工具导出某个数据库级的内容，包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息： 导出数据库全量信息，包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库，且库中数据也与当前库相同。 仅导
Data：对象的数据内容，OBS对于数据的内容是无感知的，即认为对象内的数据为无状态的二进制数据。 外表：用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 相关原理 下面分别从以下两类表介绍从集群导出数据到OBS的原理。
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题： 导出数据
创建并下载访问密钥。 梳理待导入数据的格式信息，确定创建外表时使用的数据格式参数的值。需要收集的主要数据源格式信息如下： format：外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。缺省值为TEXT。 header：指定导出数据文件是否包含标题行，header只能用于CSV格式的文件中。
Remote模式导出 规划数据服务器与集群处于同一内网，数据服务器IP为192.168.0.90，导出数据文件格式为CSV，所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示： 以root用户登录GDS数据服务器，创建数据文件存放目录“/outp
操作场景 当数据导入发生错误时，请根据本文指引信息进行处理，错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误，一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时，通过设置参数“LOG INTO error_table_name”，将数据导入过程中
示例 单表导出操作步骤 通过创建外表，将数据库中的单表导出至OBS的两个桶中。 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/input-data1”“/input-data2”，并创建每个桶下面的data目录“/input-da
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据，改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后，继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表，需要管理员权限。
Warehouse，以下简称VW）共享存储技术，实现不同负载的计算隔离和并发扩展，适用于OLAP分析场景。 GaussDB(DWS)数仓之间暂不支持互相访问，用户可通过创建的OBS外表，将两个数据库关联在同一个数据目录下进行数据查询。 功能特性对比 表1 功能特性对比 功能模块
使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中，将使用（可选）新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase 。用户需要通过GaussDB(DWS)提供的数据库客户端连接数据库。 例如，使用gsql客户端的用户可以通过以下两种方法中的一种进行连接：
“encoding”：外表中数据源文件的编码格式名称，缺省为utf8。对于OBS外表此参数为必选项。 DISTRIBUTE BY： 这个子句是必须的，对于OBS外表，当前只支持ROUNDROBIN分布方式。 表示外表在从数据源读取数据时，GaussDB(DWS)集群每一个节点随机读取一部分数据，并组成完整数据。
GDS是GaussDB(DWS)提供的数据服务工具，通过和外表机制的配合，实现数据的高速导出。 安装配置和启动GDS操作步骤如下，详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前，请先参考教程：使用GDS从远端服务器导入数据中的步骤：“准备ECS作为GDS服务器”、“下载GDS工具包”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
