检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
delimiter:指定数据文件行数据的字段分隔符,不指定则使用默认分隔符。 外表可以识别的更多参数,详细使用请参见数据格式参数 。 规划并行导入容错性,以控制导入过程中处理错误的方式。 fill_missing_fields:数据入库时,数据源文件中某行的最后一个字段缺失时,请
据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/ ”和“/input-data2/data/
在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。
从OBS导入CSV、TXT数据 创建访问密钥(AK和SK) 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 OBS导入数据示例 父主题: 从OBS并行导入数据
从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据
GaussDB(DWS)提供配套的迁移工具,可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS)。 高性能 云化分布式架构 GaussDB(DWS)采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
式本身存在不精准问题,求和等操作在不同环境下可能产生不同的结果,在高精度要求场景下建议使用DECIMAL类型代替。 兼容Teradata数据库模式下,外表不支持DATE类型。 父主题: 从OBS导入ORC、CARBONDATA数据
场景下并未比单机数据库好 GaussDB(DWS)中由于MPP架构的限制导致少部分PG系统方法、函数无法下推到DN节点来执行,仅能在CN端出现性能瓶颈。 原理解释: 一个操作能够并行执行是有条件的,需要逻辑上能够并行,比如做汇总(SUM),可以各个节点(DN)并行汇总后,最后的汇
mestamp类型的问题? 创建数据库时,可通过DBCOMPATIBILITY参数指定兼容的数据库的类型,DBCOMPATIBILITY取值范围:ORA、TD、MySQL。分别表示兼容Oracle、Teradata和MySQL数据库。如果创建数据库时不指定该参数,则默认为ORA,
使用数仓高质量的查询计划和高效的执行引擎。 使用数仓的负载管理手段,精准控制。 实时写入 提供H-Store存储引擎,微批数据存放在本地,周期合并到OBS存储,支持高吞吐实时写入与更新,同时支持大批量写入场景。 数据实时写入并经实时计算之后,可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持CSV、TEXT、O
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
通过外表查询OBS上的数据 直接查询外表查看OBS上的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到OBS上的数据。 执行以下命令,则可以从外表查询数据。 1 SELECT * FROM product_info_ext_obs; 查询结果显示与原始数据显示相
自动导入、外部表查询加速、内外表关联查询,支持数据湖格式读写,简化数据入湖入仓。 实时写入:提供H-Store存储引擎,对实时写入场景进行了设计优化,支持高吞吐实时写入与更新,同时支持大批量写入场景。 极致弹性:计算资源快速伸缩,存储空间按需使用,同时大幅度降低存储成本。历史数据
读者对象 本手册适用于如下使用DSC的用户: 数据库迁移工程师 数据库管理员 技术支持工程师 DSC用户需了解以下概念: 数据库迁移基本概念和策略 Teradata/MySQL(ADB For MySQL) GaussDB(DWS) 父主题: 前言
like支持使用external schema中的表作为like源表。 外表支持并行导出。 【高可用】 存算分离表和冷热表支持增量备份恢复。 通过并行拷贝优化存算分离场景的备份性能。 【生态兼容】 兼容MySQL的replace into语法,interval时间类型。 pg_get_
使用此参数的默认值。即使存储过程中参数的顺序发生了变更,也不必修改应用程序。目前GaussDB(DWS)数据库的JDBC驱动程序不支持此方法。 GaussDB(DWS)数据库不支持带有输出参数的函数,也不支持存储过程和函数参数默认值。 当游标作为存储过程的返回值时,如果使用JDBC调用该存储过程,返回的游标将不可用。
ussDB(DWS)存储的access层),在Apache Hudi 0.9版本,大数据的Spark,Flink等组件都单独实现各自客户端。Hudi的逻辑存储如下图所示: 写入模式 COW:写时复制,适合更新少的场景。 MOR:读时复制,对于UPDATE&DELETE增量写delta
使用CDM迁移数据到GaussDB(DWS) 使用云数据迁移服务(Cloud Data Migration,简称CDM),可以将其他数据源(例如MySQL)的数据迁移到GaussDB(DWS) 集群的数据库中。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节:
CREATE FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布