检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写
“foldername”:必选参数。数据源文件的OBS路径,此处仅需要填写“/桶名/文件夹目录层级/”。 可以先通过OBS上的数据准备中的2获取数据源文件的完整的OBS路径,该路径为OBS服务的终端节点(Endpoint)。 “totalrows”:可选参数。该参数不是导入的总行数。由于OBS上文件可能很
其他操作 GDS管道文件常见问题 查看数据倾斜状态 分析表
实时入库 使用DRS将数据导入GaussDB(DWS) Kafka实时入库到GaussDB(DWS)
如何与GaussDB(DWS)进行通信? 业务应用与DWS进行通信的基本原则是确保业务应用所在网络与DWS的网络能连通,以下是当前主流连接场景,请根据实际情况进行选择。 表1 如何与DWS进行通信 场景 通信方式 支持的连接方式 云上 业务应用与DWS在同一个区域内同一个VPC下
发布区域:全部 从OBS导入数据 从GDS导入数据 从MRS导入数据 从DRS导入数据 从CDM导入数据 适用gs_restore导入元数据 导出数据 DWS支持三种方式导出数据: • 使用OBS外表导出:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,DWS推荐此方法。
存储介质 数据存储在计算节点的本地磁盘。 列存数据存储在华为云对象存储,本地磁盘主要作为OBS数据的查询缓存,行存仍然存储在计算节点本地磁盘。 产品优势 数据存储在计算节点本地,性能高。 存算分离,计算、存储分层弹性,存储按需使用,计算快速伸缩,无限算力、无限容量。 数据存储在对象
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
GaussDB(DWS)支持数据加密,同时可与数据库安全服务对接,保证云上数据安全。同时GaussDB(DWS)支持数据自动全量、增量备份,提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,构建大数据平台,发现数据价值,成为企业经营的
OPTIONS参数 address 指定OBS服务的终端节点。 address的获取方法如下: 先通过OBS上的数据准备中的2获取OBS路径。 在OBS上查看到的OBS路径,为OBS服务终端节点(Endpoint):obs.example.com。 访问密钥(AK和SK)(必选) G
计算上的倾斜会严重影响系统性能,由于倾斜节点所需要运算的数据量远大于其它节点,导致倾斜节点降低系统整体性能。 数据倾斜还严重影响了MPP架构的扩展性。由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。
STDIN导入数据 这种方式适合数据写入量不太大, 并发度不太高的场景。 用户可以使用以下方式通过COPY FROM STDIN语句直接向GaussDB(DWS)写入数据。 通过键盘输入向GaussDB(DWS)写入数据。 通过JDBC驱动的CopyManager接口从文件或者数据库向G
执行以下命令启动Hive客户端: beeline 在Hive中创建数据库demo。 执行以下命令创建数据库: CREATE DATABASE demo; 在数据库demo中新建了一个Hive TEXTFILE类型的表product_info,并将数据文件(product_info.txt)导入到该表对应的HDFS路径中。
账户与权限 GaussDB(DWS)如何实现业务隔离 GaussDB(DWS)数据库账户密码到期了,如何修改? 如何给GaussDB(DWS)指定用户赋予某张表的权限? 如何给GaussDB(DWS)指定用户赋予某个SCHEMA的权限? 如何创建GaussDB(DWS)数据库只读用户?
TABLE (SQL on OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表,用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC格式数据到HDFS或者OBS上。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储
据也与当前各库相同。 仅导出各数据库中的对象定义,包含表空间、库定义、函数定义、模式定义、表定义、索引定义和存储过程定义等。 使用导出的对象定义,可以快速创建与当前集群相同的一个集群,拥有相同的数据库和表空间,但是库中并无原数据库的数据。 仅导出数据。 纯文本格式 数据文件导入请
计算上的倾斜会严重影响系统性能,由于倾斜节点所需要运算的数据量远大于其它节点,导致倾斜节点降低系统整体性能。 数据倾斜还严重影响了MPP架构的扩展性。由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。
帮助与支持 如果您在使用GaussDB(DWS)产品中遇到任何问题,推荐使用GaussDB(DWS)的智能机器人-小D助手,24小时在线为您服务,解决您的日常问题,当前小D助手能解决日常SQL语法咨询、功能介绍、故障案例、报错信息等Top问题。 如何使用 使用华为云账户登录GaussDB(DWS)管理控制台。
添加与删除列 MySQL添加、删除列语句与GaussDB(DWS)存在差异。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 GaussDB不支持表定义中列序数的变更,工具暂不支持FRIST,AFTER特性的完整迁移。基于当前的临时方案,工具仅仅移除该关键字。 输入示例