检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
非保留 - - EOL 非保留 - - EQUALS - 保留 - ERRORS 非保留 - - ESCAPE 非保留 保留 保留 ESCAPING 非保留 - - EVERY 非保留 保留 - EXCEPT 保留 保留 保留 EXCEPTION - 保留 保留 EXCHANGE 非保留
数据库加密密钥(可选) 如果集群开启了“数据库加密”功能,并在数据加密服务中购买了加密密钥,在删除集群时,不会同时删除加密密钥,您需要手动退订和删除密钥才能停止计费,否则将继续计费。您可以登录数据加密服务控制台,在“数据加密服务 > 密钥对管理”页面删除相应的密钥。 表2 已停止的集群计费项说明 计费模式
工具简介 本手册介绍数据仓库服务的工具使用,提供了客户端工具和服务端工具,客户端工具如表1所示,服务端工具如表2所示。 客户端工具:参见工具下载获取。 服务端工具:位于安装数据库服务器的$GPHOME/script和$GAUSSHOME/bin路径下。 表1 客户端工具 工具名称
null参数只在TEXT和CSV格式下有效。 取值范围: 在TEXT格式下缺省值是\N。 noescaping TEXT格式下,不对'\'和后面的字符进行转义。 noescaping参数只在TEXT格式下有效。 取值范围:true/on,false/off。缺省值为false/off。
将资源到期时间延长至统一到期日,可能产生额外的续费天数。 返回集群管理页面单击,刷新集群列表。 折扣套餐 请参见以下指导完成自助续费,以确保服务正常使用。 登录GaussDB(DWS)管理控制台,左导航栏单击“资源包管理”。 选择所需续费的折扣套餐订单,单击列表上面“续费”按钮,跳转至续费界面。
计费样例 计费场景 某用户于2023/03/18 15:30:00创建了一个按需计费的GaussDB(DWS)集群,规格配置如下: 节点规格:dwsx2.2xlarge.m7 热数据存储:100GB/节点 节点数量:3 数据盘:SSD云盘 用了一段时间后,用户发现集群当前规格无法满足业务需要,于2023/03/20
基本概念 GaussDB(DWS)的管理概念 集群 表示由多个节点组成的服务器群组。GaussDB(DWS)以集群为单位进行组织,一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。 节点 每个GaussDB(DWS)集群部署节点取值范围为3~256
其中,-d、-H是必选参数,option项是可选参数。gds将DIRECTORY中的文件数据提供给GaussDB(DWS)访问。 在启动GDS服务前, 请确定使用的GDS版本和数据库的版本保持一致,否则数据库会提示错误并终止导入导出操作,因此请注意GDS工具和数据库的版本务必严格匹配。具体版本可通过-V参数进行查看。
基表scan的时间:最快的DN耗时5ms,最慢的DN耗时1173ms。 数据分布情况:某些DN有22831616行,其他DN都是0行,数据有严重倾斜。 通过倾斜检查接口可以发现数据倾斜。 1 SELECT table_skewness('store_sales'); 1 SELECT table_distribution('public'
创建外部服务器 创建外部服务器,用于定义OBS服务器的信息,供外表调用。 (可选)新建用户及数据库并授予外表权限 如果您将使用普通用户在自定义数据库中创建外部服务器和外表,由于普通用户没有外表权限无法创建,所以,您必须参照以下步骤新建用户和数据库,并授予该用户外表权限。 以下示例
Environment。它提供了一个可视化的图形化界面,使用户能够通过拖放和连接组件来设计和配置ETL流程。支持多种数据源和目标,包括关系型数据库、文件、API、Hadoop等。Kettle提供了丰富的转换和清洗功能,可以对数据进行格式转换、数据过滤、数据合并、数据计算等操作。 它的主要功能如下:
pg_delete_audit() 描述:删除指定时间段的审计日志。 返回值类型:void 基于数据库安全考虑,不提供删除指定时间段的审计日志的函数接口,调用该函数将直接报“ERROR: For security purposes, it is not allowed to manually
OT_PRESENT) D0004 已附加调试服务器(DEBUG_SERVER_ALREADY_IS_ATTACHED) D0005 未附加调试服务器(DEBUG_SERVER_NOT_ATTACHED) D0006 已同步调试服务器(DEBUG_SERVER_ALREADY_IN_SYNC)
关于OBS并行导入 对象存储服务OBS(Object Storage Service)是云上提供的一个基于对象的海量存储服务,为客户提供安全、高可靠、低成本的数据存储能力。OBS为用户提供了超大存储容量的能力,适合存放任意类型的文件。 数据仓库服务GaussDB(DWS)使用OB
null参数只在TEXT和CSV格式下有效。 取值范围: 在TEXT格式下缺省值是\N。 noescaping TEXT格式下,不对'\'和后面的字符进行转义。 noescaping参数只在TEXT格式下有效。 取值范围:true/on,false/off。缺省值为false/off。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
使用DataArts Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析