检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Postman调用创建集群接口 场景介绍 本章节指导用户使用Postman创建GaussDB(DWS)集群。该接口为异步接口,创建集群需要10~15分钟。API的调用方法请参考如何调用API。 准备工作 已注册华为云账号并开通华为云,完成实名认证,请参见注册华为账号并开通华为云。
创建快照:通过该接口创建集群的快照。 操作步骤 配置环境。 下载Postman调用创建快照服务,Postman建议使用7.24.0版本。 调用服务。 获取Token,进行认证。 在Postman界面上新建Post请求,选中Body的配置项,填写用户名、用户密码、账号名及项目ID。在我的凭证下,您可以查看账号的用户名
理控制台提供了客户端所需的SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。 服务器配置 GaussDB(DWS)在集群部署完成后,默认已开启SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。 SSL证书和客户端配置 用户需要配置客户端配置。
数据导入/导出 使用COPY FROM导入时报错“invalid byte sequence for encoding "UTF8": 0x00” GDS导入/导出类问题 创建GDS外表失败,提示不支持ROUNDROBIN 通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败
GDS导入/导出类问题 GDS导入/导出容易遇到字符集的问题,特别是不同类型的数据库或者不同编码类型的数据库进行迁移的过程中,往往会导致数据入不了库,严重阻塞数据迁移场景相关业务。 区域支持 区域支持指的是应用遵守文化偏好的问题,包括字母表、排序、数字格式等。区域是在使用init
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
)管理控制台提供了客户端所需的SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。请将该SSL证书下载到客户端所在的主机上,然后在客户端中指定证书所在的路径,操作详情请参见在gsql客户端配置SSL认证相关的数字证书参数,SSL认证及客户端参数介
在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜而造成调整成本高。详细请参见查看数据倾斜状态章节。 为了优化导入速度,建议拆分文件,使用多GDS进行并行导入。单个导入任务可以拆分成多个导入任务并发执行导入;多个导入任务使用同一G
V100R008C00版本与DWS 1.3.X版本配套),否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后,请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时,GaussDB(DWS)也会
建表与数据导入 GDS方式导入 父主题: 测试方法
准,它们加入了数字签名和数字证书来实现客户端和服务器的双向身份验证,保证了通信双方更加安全的数据传输。为支持SSL连接方式,GaussDB(DWS)已经从CA认证中心申请到正式的服务器、客户端的证书和密钥(假设服务器的私钥为server.key,证书为server.crt,客户端的私钥为client
)管理控制台提供了客户端所需的SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。请将该SSL证书下载到客户端所在的主机上,然后在客户端中指定证书所在的路径,操作详情请参见在gsql客户端配置SSL认证相关的数字证书参数,SSL认证及客户端参数介
x。 在实际导入导出数据时,location参数使用建议如下: 导入时“location”建议指定到具体文件名。如果仅指定到OBS桶或目录,则会导入其中的所有文本文件。当数据格式不正确时,则会报错。如果设置了容错,则容错表可能导入大量数据。 支持OBS单桶多文件导入,根据文件名前缀进行匹配,匹配到的文件都会被导入。
非数据格式错误 对于非数据格式错误,一旦发生将导致整个数据导入失败,不会写入错误表。您可以根据执行数据导入过程中,界面提示的错误信息,帮助定位问题,处理错误表。 处理数据导入错误 根据获取的错误信息,请对照下表,处理数据导入错误。 表2 处理数据导入错误 错误信息 错误类型 原因 解决办法 missing
”、导入时的缓存个数以及数据缓存区大小。 如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。
s_key的密钥替换示例中的对应内容。 设置的导入容错性如下所示: 允许每个DN上出现数据格式错误的个数(PER NODE REJECT LIMIT 'value')为unlimited,即接受导入过程中所有数据格式错误。 将数据导入过程中出现的数据格式错误信息(LOG INTO
db/product_info_orc/”目录中。 如果数据文件已经在OBS上了,请执行获取源数据的OBS路径并设置读取权限中的步骤。 本小节以导入ORC格式为例,CARBONDATA数据的导入方法与ORC格式相似。 原始数据 假设您已将2个ORC数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info
导入 GS_142010105 错误码: out of memory. 解决方案:1.请确保CSV文件中的引号是成对的。 2.请检查报价选项是否合理。 3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level: ERROR GS_142050163 错误码: connection
详细请参见创建OBS外表。 - 执行导入数据 在创建好外表后,通过INSERT语句,将数据快速、高效地导入到目标表中。 详细请参见执行导入数据。 - 处理错误表 在数据并行导入发生错误时,请根据错误信息,处理导入错误,以保证导入数据的完整性。 - 优化查询效率 导入数据后,通过ANALYZE
或“虚拟专用网络(VPN)”打通网络,请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 (可选)手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 从MRS导入数据到集群