检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FOREIGN TABLE IF EXISTS product_info_ext_obs; ---建立不包含分区列的OBS外表,表关联的外部服务器为obs_server,表对应的OBS服务上的文件格式为‘orc’,OBS上的数据存储路径为'/mybucket/data/'。 CREATE
并用日志记录操作过程中发生的错误,便于快速定位问题。 迁移对象 DSC支持迁移Teradata、MySQL数据库的对象有: Teradata、MySQL支持的通用对象:SQL模式,SQL查询 仅Teradata支持的对象:包含BTEQ和SQL_LANG脚本的Perl文件 迁移流程
热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不同,决定了两者的成本、性能、以及适用场景,如表1所示: 表1 冷热数据存储区别 存储名称 读取、写入速度 成本 容量
对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出ORC数据到OBS
存在。 OPTIONS参数 address 指定OBS服务的终端节点。 address的获取方法如下: 先通过OBS上的数据准备中的2获取OBS路径。 在OBS上查看到的OBS路径,为OBS服务终端节点(Endpoint):obs.example.com。 访问密钥(AK和SK)(必选)
PGXC_OBS_IO_SCHEDULER_STATS PGXC_OBS_IO_SCHEDULER_STATS视图显示OBS IO Scheduler读/写请求相关的近期实时统计信息。该系统视图仅9.1.0及以上版本支持。 表1 PGXC_OBS_IO_SCHEDULER_STATS字段
在执行数据导入前,您可以参考以下优秀实践方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。
product_info_ext_obs; 当结果显示为如下信息,则表示删除成功。 1 DROP FOREIGN TABLE 删除创建的外部服务器 使用创建外部服务器的用户连接到外部服务器所在的数据库。 在本示例中,使用的是普通用户dbuser在数据库mydatabase中创建了一个外部服务器。用户需
在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。
想到里面的字段等。 快捷键 在编辑器上操作时可以使用快捷键来快速编写SQL。 用户设置 针对OBS进行设置,可以全局指定OBS桶,在这个桶下面创建一个文件目录后,脚本默认会保存到该OBS桶的文件夹下面,无需再选择。可以设置数据库和schema权限过滤,开启开关后,根据当前的数据库
对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出CSV、TXT数据到OBS
格式错误 字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 从OBS导入CSV、TXT数据
存在。 OPTIONS参数 address 指定OBS服务的终端节点。 address的获取方法如下: 先通过OBS上的数据准备中的2获取OBS路径。 在OBS上查看到的OBS路径,为OBS服务终端节点(Endpoint):obs.example.com。 访问密钥(AK和SK)(必选)
情参见OBS价格详情。 快照服务依赖及部署说明: 快照管理功能依赖于OBS、NFS的备份介质。 备份设备为NFS的备份介质时,使用挂载盘的方式,依赖云上SFS-Tubor服务。具体配置步骤请参见11.1.3.2-自动快照策略配置备份介质。 当前快照恢复到新集群时仅支持OBS介质。
照数据存储空间超过免费空间大小时,超出部分按照对象存储服务(OBS)的变更计费规则进行计费,参见OBS价格详情。 免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小*节点数。 按需转包年/包月 包年/包月转按需 数据仓库服务磁盘存储 变更热数据存储的计费模式: 将Gau
单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中,新建文件夹dli_order,并将下载好的数据文件上传到dli_order目录下。
本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
概述 本章主要介绍关于DSC使用过程中相关的内容,包括DSC工具的安装,工具配置,DSC工具的迁移流程等内容。 请务必使用最新的补丁更新操作系统和相关软件,以防漏洞和其他安全问题。 为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需
概述 背景信息 在SQL语言中,每个数据都与一个决定其行为和用法的数据类型相关。GaussDB(DWS)提供一个可扩展的数据类型系统,该系统比其它SQL实现更具通用性和灵活性。因而,GaussDB(DWS)中大多数类型转换是由通用规则来管理的,这种做法允许使用混合类型的表达式。
PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS视图统计了OBS IO Scheduler不同请求类型(包括读/写/文件操作)下的请求数量、流控信息等内容。该系统视图仅9.1.0及以上版本支持。