检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题： 导出数据
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题： 导入数据
当外表参数auto_create_pipe设置为true时，GDS自动创建管道文件可能存在延迟，因此操作管道文件时建议先判断自动创建的管道文件是否存在，且是否为管道文件类型。 GDS管道文件的导入导出任务结束后会自动删除管道文件，但是手动终止任务时，管道文件的删除会有延迟，直到到达超时时间后才会被删除。 常见问题和定位方法：
图17 作业运行状态 步骤七：通过Kafka客户端生产和修改消息 参见ECS文档创建一台ECS，具体创建步骤此处不再赘述。创建时，确保ECS的区域、虚拟私有云保持与Kafka一致。 安装JDK。 登录ECS，进入到/usr/local，下载JDK包。 1 2 cd /usr/local
type_name：字段的数据类型。 多个字段用“,”隔开。 SERVER dfs_server 外表的外部服务器名称，这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数，关键参数如下所示。
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP（Massive
同步IAM用户到数据库 功能介绍 该接口用于同步IAM用户到数据库。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/clusters/{cluster_id}/db-manager/sync-iam-user 表1 路径参数 参数 是否必选
式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在OBS对象存储服务器上，从而提高整体导出性能。 CN只负责任务的规划及下发，数据导出工作由DN负责，并释放CN资源，使其有能力处理外部请求。 每个DN都参与数
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题： 导出数据
customer_address_ext2用于OBS数据服务器接收数据库导出数据。 OBS与集群处于同一区域，需要导出的表为GaussDB(DWS)示例表tpcds.customer_address。 其中设置的导出信息如下所示： 由于OBS数据服务器上的数据源文件存放目录为“/input-data1/data/
流程说明 流程 说明 子任务 上传数据至OBS 在OBS服务器上规划存储路径，并上传数据文件。 详细请参见上传数据到OBS。 - 创建OBS外表 创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名、文件格式、存放位置、编码格式、数据间的分隔符等信息。
在任何gsql客户端登录数据库成功后，可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同，该命令读取/写入的文件是本地文件，而非数据库服务器端文件；所以，要操作的文件的可访问性、权限等，都是受限于本地用户的权限。 说明： \COPY只适合小批量，格式良好的数据导入，容错能力较差。导入数据应优先选择GDS或COPY。
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题： 导入数据
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 父主题： 导入数据
使用DSC工具迁移SQL脚本 DSC（Database Schema Convertor）是一款运行在Linux或Windows操作系统上的命令行工具，致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务，通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本，并迁移为适用于GaussDB(DWS)
password，此处密码需要用户自定义。 -d 连接数据库dbname，并直接将数据导入到该数据库中。 -d backupdb -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀，以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访
使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client
> 38时， STRING 日期类型 DATE TIMESTAMP[(p)] [WITHOUT TIME ZONE] TIMESTAMP 时间类型 TIME [(p)] [WITHOUT TIME ZONE]、TIME [(p)] [WITH TIME ZONE] TEXT STRING
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题： 导出数据到OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
