检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 父主题: 导入数据
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
Server的IP地址和端口,如果有多个地址使用|分割,与GDS外表的location类似。 GaussDB(DWS)会对syncsrv所设置的GDS地址进行网络连接测试: 只能判断本地执行集群与GDS的网络情况,无法判断远端集群与GDS的网络情况,需要注意报错提示。 在移除不可用G
force not null column_list ] ] 在任何gsql客户端登录数据库成功后,可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同,该命令读取/写入的文件是本地文件,而非数据库服务器端文件;所以,要操作的文件的可访问性、权限等,都是受限于本地用户的权限。
指定ORC格式的版本号,此选项为可选项。此语法仅对WRITE ONLY的外表有效。 取值范围:目前仅支持0.12。缺省值为0.12。 “dataencoding” 在数据库编码与数据表的数据编码不一致时,该参数用于指定导出数据表的数据编码。比如数据库编码为Latin-1,而导出的数据表中的数据为UTF-8编码。此选项
影响最终的执行结果。当前受影响的SQL语句包括SELECT,UPDATE,DELETE。 了解更多请参见行级访问控制。 父主题: 身份认证与访问控制
清除资源 当完成本教程的示例后,如果您不再需要使用本示例中创建的资源,您可以删除这些资源,以免资源浪费或占用您的配额。 删除外表和目标表 (可选)如果执行了导入数据后查询数据,请执行以下命令,删除目标表。 1 DROP TABLE product_info; 执行以下命令,删除外表。
执行导出 导出操作语法: 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
使用CDM迁移数据到GaussDB(DWS) 使用云数据迁移服务(Cloud Data Migration,简称CDM),可以将其他数据源(例如MySQL)的数据迁移到GaussDB(DWS) 集群的数据库中。 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种
使用gs_restore导入数据 操作场景 gs_restore是GaussDB(DWS)提供的与gs_dump配套的导入工具。通过该工具,可将gs_dump导出的文件导入至数据库。gs_restore支持导入的文件格式包含自定义归档格式、目录归档格式和tar归档格式。 gs_restore具备如下两种功能。
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
当前快照恢复到新集群时仅支持OBS介质。 GaussDB(DWS)根据快照创建的新集群与生成快照的原始集群具有相同的配置,即节点的数量和规格、内存、磁盘与原集群一致。 根据快照创建新集群时,如果没有指定其他值,则参数默认与生成快照时的备份信息保持一致。 存算一体(单机部署)暂不支持快照功能。 存算分离集群仅9
每个DN都参与数据导出,使各个设备的计算能力及网络带宽得到充分利用。 支持多个hdfs server并发导出,导出的路径可以为空,命名规则需与导出文件一致。 选择MRS服务与集群节点处于联网状态,导出速率会受网络带宽影响。 支持数据文件格式:ORC。 导出文件命名规则 GaussDB(DWS)导出ORC数据的文件命名规则如下:
foreign table in security mode”。 使用只读用户user1进行SCHAMA s1下所有表数据的日常读取。 父主题: 账户与权限
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
type=hdfs} (3 rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的
某个用户被授权获得相应的数据库对象权限后,如果后期不再需要该对象权限或由于权限管控,需要撤销授权,可通过REVOKE语法实现。 了解更多请参见REVOKE。 父主题: 身份认证与访问控制