检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Data:对象的数据内容,OBS对于数据的内容是无感知的,即认为对象内的数据为无状态的二进制数据。 外表:用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 相关原理 下面分别从以下两类表介绍从集群导出数据到OBS的原理。 H
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4
PostGIS空间数据库扩展 全文检索 SQL语法参考 存储过程 系统表和视图 导入/导出数据 从OBS导入数据到集群 并行导出数据到OBS 使用GDS从远端服务器导入数据 使用GDS导出数据到远端服务器 更多导入数据方式 性能调优 教程:调优表设计 优化查询性能 实际调优案例 10 数据分析实验室
PREPARE 功能描述 创建一个预备语句。 预备语句是服务端的对象,可以用于优化性能。在执行PREPARE语句的时候,指定的查询被解析、分析、重写。当随后发出EXECUTE语句的时候,预备语句被规划和执行。这种设计避免了重复解析、分析工作。PREPARE语句创建后在整个数据库会话期间
PREPARE 功能描述 创建一个预备语句。 预备语句是服务端的对象,可以用于优化性能。在执行PREPARE语句的时候,指定的查询被解析、分析、重写。当随后发出EXECUTE语句的时候,预备语句被规划和执行。这种设计避免了重复解析、分析工作。PREPARE语句创建后在整个数据库会话期间
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
myhuaweicloud.com。 获取创建DLI所使用的账号的特定区域的项目ID。 鼠标悬浮在右上方的账户名,单击“我的凭证”。 左侧选择“API凭证”。 从列表中,找到DLI所属区域,本例为华北-北京四,记录区域名所在的项目ID。 获取账号的AK和SK,参见准备工作。 步骤四:通过外表导入DLI表数据
database为要连接的数据库名称。 host为数据库服务器名称或IP地址,当集群绑定弹性负载均衡(ELB)时,应设置为ELB的IP地址。 port为数据库服务器端口。缺省情况下,会尝试连接到localhost的8000端口的database。 支持多ip端口配置形式,jdbc自动实现了负载均衡
现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。 图1 在MRS上查看数据存储路径 获取MRS数据源连接的外部服务器信息 使用创建外部服务器的用户去连接其对应的数据库。
info.2 为导入用户设置OBS桶的读取权限。 在从OBS导入数据到集群时,执行导入操作的用户需要取得数据源文件所在OBS桶的读取权限。通过配置桶的ACL权限,可以将读取权限授予指定的用户账号。 具体请参见《对象存储服务控制台指南》中的配置桶ACL章节。 父主题: 从OBS导入CSV、TXT数据
gs_restore是GaussDB(DWS)提供的针对gs_dump导出数据的导入工具。通过此工具可由gs_dump生成的导出文件进行导入。 主要功能包含: 导入到数据库 如果连接参数中指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接的密码。 导入到脚本文件 如果未指定导入数据
恢复单表/多表到新集群 操作场景 集群粒度的快照和Schema粒度的快照,可以指定快照备份集中的单表/多表恢复到新集群。通常用户在业务操作中,对某个表中的数据进行了错误操作或者误删,需要对此表找回数据时使用该功能,找到最新包含该表数据的快照,将数据恢复到一个新集群中。在不破坏原集
使用CDM迁移数据到GaussDB(DWS) 使用云数据迁移服务(Cloud Data Migration,简称CDM),可以将其他数据源(例如MySQL)的数据迁移到GaussDB(DWS) 集群的数据库中。 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。
如果已经存在相同名称的表,不会抛出一个错误,而会发出一个通知,告知表关系已存在。 table_name 外表的表名。 取值范围:字符串,要符合标识符的命名规范。 column_name 外表中的字段名。 取值范围:字符串,要符合标识符的命名规范。 type_name 字段的数据类型。 SERVER
OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
录不全。 在某些异常的情况下,历史TopSQL中的状态信息列可能会显示为unknown,其记录的监控信息会导致不准确。 历史TopSQL能够记录的SQL语句的规格与实时TopSQL能够记录的SQL语句的规格一致。请参考实时TopSQL中能够记录的SQL语句的规格。 历史TopSQ
ive参数的设置相关,具体可以表示为:keepalive_time + keepalive_probes * keepalive_intvl。 因为keepalive参数涉及到网络的通信的稳定性,所以可根据具体的业务压力与网络状况进行调整。 如果是Linux环境,使用sysctl命令修改如下参数:
用于协同分析、跨集群互联互通,表示将要连接的远端集群的数据库名字。 username 用于协同分析、跨集群互联互通,表示将要连接的远端集群的用户名。 password 用于协同分析、跨集群互联互通,表示将要连接的远端集群的用户名密码。 对于云下集群迁移到云上的场景,从云下集群导出的server配置中密
用于指定外部服务器的各类参数,详细的参数说明如下所示。 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(NameNode)所在的IP地址以及端口,或者同构其他集群的CN的IP地址以及端口。
导致不准确。 历史TopSQL能够记录的SQL语句的规格与实时TopSQL能够记录的SQL语句的规格一致。请参考实时TopSQL中能够记录的SQL语句的规格。 历史TopSQL侧重于查询性能的定位定界辅助分析,不作为审计功能使用,不记录语法分析报错类语句。 前提条件 GUC参数e