检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据，改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后，继续使用SQL on Hudi方式同步增量数据。 1. 创建hudi.hudi_sync_state同步状态表，需要管理员权限。
据自动全量、增量备份，提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步，数据资源已经成为企业的核心资源。整合数据资源，构建大数据平台，发现数据价值，成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”，成为助力用户实现预测性分析的关键要素。 图2 大数据融合分析
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP（Massive
V100R008C00版本与DWS 1.3.X版本配套），否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后，请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时，GaussDB(DWS)也会
非数据格式错误 对于非数据格式错误，一旦发生将导致整个数据导入失败。您可以根据执行数据导入过程中，界面提示的错误信息，帮助定位问题，处理错误表。 处理数据导入错误 根据获取的错误信息，请对照下表，处理数据导入错误。 表2 处理数据导入错误 错误信息 原因 解决办法 missing data
纯文本格式 自定义归档格式 目录归档格式 tar归档格式 纯文本格式数据文件导入请参见使用gsql元命令\COPY导入数据。 自定义归档格式、目录归档格式和tar归档格式数据文件导入请参见使用gs_restore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出
么区别？ OBS与GDS外表支持格式文件区别如下： OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式，导出支持ORC、CSV、TEXT文件格式，缺省值为TEXT。 GDS导入导出支持的文件格式：TEXT、CSV和FIXED，缺省值为TEXT。
is %d" SQLSTATE: XX000 错误原因：收到了非法的GDS交互。 解决办法：请检查GDS外表对应的导入文件中是否存在非法数据并对文件进行数据清洗后再次导入。 GAUSS-04622: "%s cannot be executed when enable_show_any_tuples
当前集群上各个节点已经执行结束的导入导出类业务的历史执行情况（包括互联互通集群地址、导入导出业务类型、DN上落盘的最大、最小以及总和的行数与字节数等），从而可以获取导入导出类业务执行的历史信息，辅助进行性能问题排查。 该视图不会记录异常中断的导入导出作业，数据直接从系统表GS_W
复校正，有助于在部署运行GDS时提前发现潜在问题，提高执行成功率。 注意事项 执行脚本前需设置环境变量，可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。 脚本需要在python 3环境下运行。 必须在root用户下执行脚本。 必须指定-t、--host参数。
配置目的端作业参数，根据待导入数据的云服务配置对应参数。 表2 目的端作业参数 参数名 取值样例 模式或表空间 db_user01 自动创表 不自动创建 表名 apex2_dynamic_add_remain_test 导入开始前 清除全部数据 导入模式 COPY 先导入阶段表 否 导入前准备语句
由于管道“读取即删除”的特点，需确保导入或导出过程中除GDS程序外无其他程序读取管道文件，避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出，即GDS的多个线程同时读取管道文件或者同时写入管道文件。 GDS的单个导入导出任务只识别一个管道
查询语句。 address text 当前导入导出外表的location。 query_start timestamp with time zone 导入/导出开始时间。 total_bytes bigint 待处理数据的总大小。 仅GDS普通文件导入时，且该行记录来自CN节点才会显示，否则为空。
如何使用 使用华为云账户登录GaussDB(DWS)管理控制台。 在页面右上角单击“小D助手”进入智能问答页面。 参见表1进行询问。 表1 问题样例 场景 问题样例 产品咨询、购买 DWS怎么购买 DWS的功能有什么 查大功能、大场景、规格、大特性的介绍 DWS支持哪些导入方式 怎么导入数据
查询语句。 address text 当前导入导出外表的location。 query_start timestamp with time zone 导入/导出开始时间。 total_bytes bigint 待处理数据的总大小。 仅GDS普通文件导入时，且该行记录来自CN节点才会显示，否则为空。
查询语句。 address text 当前导入导出外表的location。 query_start timestamp with time zone 导入/导出开始时间。 total_bytes bigint 待处理数据的总大小。 仅GDS普通文件导入时，且该行记录来自CN节点才会显示，否则为空。
装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前，请先参考教程：使用GDS从远端服务器导入数据中的步骤：“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器，创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws
“traffic-data”文件夹中，并给所有华为云用户赋予了该OBS桶的只读访问权限。 视频介绍 操作流程 本实践预计时长40分钟，基本流程如下： 准备工作 步骤一：创建集群 步骤二：使用Data Studio连接集群 步骤三：导入交通卡口样例数据 步骤四：车辆分析 支持区域 当前已上传OBS数据的区域如表1所示。
多样化的数据导入方式 GaussDB(DWS)支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见迁移数据到GaussDB(DWS)章节。 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 使用gsql元命令\COPY导入数据
XX000 错误原因：WIN32平台不涉及。 解决办法：请联系技术支持工程师提供技术支持。 GAUSS-02472: "could not unlock semaphore: error code %d" SQLSTATE: XX000 错误原因：WIN32平台不涉及。 解决办法：请联系技术支持工程师提供技术支持。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
