检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sDB(DWS)的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、ORC、PARQUET、CARBONDATA以及JSON格式的数据导入到集群进行查询。 本教程中以CSV格式为例,进行如下操作:
导出所有数据库 导出所有数据库 导出全局对象 父主题: 使用gs_dump和gs_dumpall命令导出元数据
导入导出 导入数据最佳实践 GDS实践指南 迁移OBS桶数据至GaussDB(DWS)集群 使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 从MRS Hive导入表数据到GaussDB(DWS)集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。
有关更多详情和示例,请参考INSERT章节。 使用COPY命令导入数据 COPY命令用于从本地或其它数据库的多个数据源并行导入数据。COPY导入大量数据的效率要比INSERT语句高很多,而且存储数据也更有效率。 有关如何使用COPY命令的更多信息,请参考使用COPY FROM STDIN导入数据
导出单个数据库 导出数据库 导出模式 导出表 父主题: 使用gs_dump和gs_dumpall命令导出元数据
拥有相同数据库和公共全局对象,且库中数据也与当前各库相同。 仅导出数据,即导出每个数据库中的数据,且不包含所有对象定义和公共的全局对象信息。 仅导出所有对象定义,包括:表空间、库定义、函数定义、模式定义、表定义、索引定义和存储过程定义等。 使用导出的对象定义,可以快速创建与当前集
导出数据库 GaussDB(DWS)支持使用gs_dump工具导出某个数据库级的内容,包含数据库的数据和所有对象定义。可根据需要自定义导出如下信息: 导出数据库全量信息,包含数据和所有对象定义。 使用导出的全量信息可以创建一个与当前库相同的数据库,且库中数据也与当前库相同。 仅导
导出模式 GaussDB(DWS)目前支持使用gs_dump工具导出模式级的内容,包含模式的数据和定义。用户可通过灵活的自定义方式导出模式内容,不仅支持选定一个模式或多个模式的导出,还支持排除一个模式或者多个模式的导出。可根据需要自定义导出如下信息: 导出模式全量信息,包含数据和对象定义。
GaussDB(DWS)的磁盘空间/容量是如何统计的? GaussDB(DWS)的磁盘总容量统计:以3个数据节点为例,假设每个节点320G,总容量为960G。当存入一个1G的数据,GaussDB(DWS)因为副本机制会将这1G的数据在两个节点中都各存一份,共占2G的空间,如果再加
Tomcat加固:在DWS管理面容器镜像中,针对Tomcat基于开源做了功能增强。 JRE加固: 升级HuaweiJre8内核版本为1.8.0_262(这里可能比真实版本低,以实际版本号为准)。 将JRE的PATH设置在原来的PATH后面,规避本地越权问题(PATH=$PATH:$JAVA_HOME/bin)。
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户
快照和自动创建快照。 从快照恢复到集群时,GaussDB(DWS)会根据快照记录的集群信息来创建新集群,然后从快照记录的数据中还原数据库信息。 有关快照的更多内容,请参见管理快照。 EVS快照 云硬盘快照指的是云硬盘数据在某个时刻的完整拷贝或镜像,是一种重要的数据容灾手段,当数据
数据保护技术 数据备份 透明加密 SSL传输加密 数据脱敏 使用函数进行加密 父主题: 安全
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题: 元数据迁移
大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。 本实践演示过程为:以gsql作为数据库客户端,gsql安装在ECS,通过gsql连接DWS,再通过外表方式导入远端DWS的数据。
如何选择公有云GaussDB(DWS)或者公有云RDS? 公有云GaussDB(DWS)和公有云RDS都让您能够在云中运行传统的关系数据库,同时转移数据库管理负载。您可将RDS数据库用于联机事务处理 (OLTP) ,报告和分析,对于大量数据的读(一般是复杂的只读类型查询)支持不足
txt数据文件导入Hive。 Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。 Hive对接HDFS场景:将product_info.txt文件导入到HDFS路径/u
X86 ECS/本地直通 dws2.olap.8xlarge.i3 32 256 X86 ECS/本地直通 dws2.olap.16xlarge.i3 64 512 X86 ECS/本地直通 dws2.olap.4xlarge.ki1 16 64 ARM ECS/本地直通 dws2