检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务报错:UNION types %s and %s cannot be matched 问题现象 执行union语句时报错:UNION types %s and %s cannot be matched。 原因分析 该报错的原因是UNION的分支中,相同位置的输出列格式类型不同导致。
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题: 迁移业务数据至GaussDB(DWS)集群
欲要绑定的lakeFormation集群实例。 数据库 要创建的LakeFormation数据源连接所在的数据库。 委托 拥有LakeFormation授权的委托,用于dws系统通过委托token和LakeFormation交互以获取元数据。 描述 要创建的LakeFormation数据源连接的描述信息。 确认无误
OBS导入数据。 如下示例为某普通用户jim通过外表读取OBS上的数据。 参见以上步骤创建OBS数据源,名称为obs_server。 使用系统管理员dbadmin连接数据库,创建普通用户,并授权该普通用户使用OBS server和OBS外表权限。 其中{Password}替换为用
block. 解决方案:使用PG_MODULE_MAGIC宏需要使用扩展库。 level: ERROR GS_208140076 错误码: Permission for current user: %s to operate service table: %s. 解决方案:只有业务表或数据库owner可以调用该函数。
1619720”十分接近,且大于base+min和base+max, 说明系统中老事务不会影响freeze作业,可直接执行步骤4。 如果查询结果中oldestxmin小于base+min,且小很多,说明系统中存在老事务,且导致vacuum freeze执行未产生作用,需继续执行步骤2。
是否被设置,同时排查是否匹配了多行数据,并根据实际情况修改业务逻辑。 解决方案 方案一:设置参数behavior_compat_options为merge_update_multi。 当目标表匹配到多行满足条件时,该方案不会报错,而是会随机匹配一行数据,有数据遗漏风险。 1 2
说明: X86和鲲鹏只是底层架构不一致,应用层不感知,sql语法一致,如果创建集群时提示X86资源不足,可以选择鲲鹏架构。 x86 规格 请根据业务需求合理选择节点规格。 - 存储 单个节点可用存储容量。 - 当前规格 显示集群当前规格。 - 名称 设置数据仓库集群的名称。 集群名称长
管理MRS数据源 MRS数据源使用概述 创建MRS数据源连接 更新MRS数据源配置 父主题: 管理数据源
概述 数据集成围绕GaussDB(DWS),提供了简单易用的迁移能力及多种数据源到DWS的集成能力,降低用户数据源迁移和集成的复杂性,是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2
session_timeout设置导致JDBC业务报错 问题现象 通过JDBC连接集群执行COPY导入时报错: org.postgresql.util.PSQLException: Database connection failed when starting copy at org
MRS数据源连接,作为GaussDB(DWS)集群与MRS集群的数据通道。 对系统的影响 一个GaussDB(DWS)集群在创建MRS数据源连接时,不能同时创建两个连接。 创建MRS数据源连接时,系统默认自动为GaussDB(DWS)集群和MRS集群的安全组增加出规则和入规则,允许相同子网中节点的访问。
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
应用侧使用连接池场景,如使用连接SET设置过参数,当将连接归还连接池前,必须进行参数重置 违反规则的影响: 连接被其他业务复用时,可能会应复用其他业务设置的参数出现业务性能、业务报错等问题。 方案建议: 在将连接归还连接池之前,使用“SET SESSION AUTHORIZATION DEFAULT;RESET
应用侧使用连接池场景,如使用连接SET设置过参数,当将连接归还连接池前,必须进行参数重置 违反规则的影响: 连接被其他业务复用时,可能会应复用其他业务设置的参数出现业务性能、业务报错等问题。 方案建议: 在将连接归还连接池之前,使用“SET SESSION AUTHORIZATION DEFAULT;RESET
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
作业管理 在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。 用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)
数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新MRS数据源连接时,GaussDB(DWS)集群会自动重启并无法提供服务。 操作步骤 在GaussDB(DWS)管理管制台,选择“集群
分析正在执行的SQL以处理GaussDB(DWS)业务阻塞 在开发过程中,开发者常遇到SQL连接数超限、SQL查询时间过长、SQL查询阻塞等问题,您可以通过PG_STAT_ACTIVITY和PGXC_THREAD_WAIT_STATUS视图来分析和定位SQL问题,以下通过PG_S