检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理OBS数据源 GaussDB(DWS)支持以委托方式访问客户OBS上的数据,客户通过创建DWS云服务委托并授予OBS OperateAccess或OBS Administrator权限,然后在创建OBS数据源绑定该委托,便可通过OBS外表的方式访问OBS上的数据。 该特性仅8
说明: X86和鲲鹏只是底层架构不一致,应用层不感知,sql语法一致,如果创建集群时提示X86资源不足,可以选择鲲鹏架构。 x86 规格 请根据业务需求合理选择节点规格。 - 存储 单个节点可用存储容量。 - 当前规格 显示集群当前规格。 - 名称 设置数据仓库集群的名称。 集群名称长
管理LakeFormation数据源 GaussDB(DWS)支持使用LakeFormation管理元数据,通过在控制台上创建LakeFormation数据源访问LakeFormation上的元数据。 该特性受限商用,仅支持DWS 3.0形态9.0.1及以上集群版本或DWS 2.0形态8
执行业务报错could not determine which collation to use for string hashing 问题现象 执行SELECT查询时报错could not determine which collation to use for string hashing。
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题: 迁移业务数据至GaussDB(DWS)集群
t场景,业务最后必须手动执行Commit提交事务。 警告 事务不提交导致长事务,阻塞其他持锁业务和回收操作。 15 针对执行时长超过30分钟的语句,建议优化。 注意 业务效率及性能问题。 16 尽量避免出现执行时长超过2小时的业务,避免长事务、长持锁等影响。 警告 业务性能,长事务阻塞其他持锁业务和回收操作。
t场景,业务最后必须手动执行Commit提交事务。 警告 事务不提交导致长事务,阻塞其他持锁业务和回收操作。 15 针对执行时长超过30分钟的语句,建议优化。 注意 业务效率及性能问题。 16 尽量避免出现执行时长超过2小时的业务,避免长事务、长持锁等影响。 警告 业务性能,长事务阻塞其他持锁业务和回收操作。
业务执行中报错:An I/O error occurred while sending to the backend 问题现象 使用客户端连接GaussDB(DWS)执行业务过程中出现报错“An I/O error occurred while sending to the backend
GaussDB(DWS)业务读写阻塞,如何查看某个时间段的sql执行记录? 当您的数据库集群出现读写阻塞时,可通过TopSQL功能查看某个时间段所执行的sql语句,支持查看当前CN或者所有CN的sql语句。 TopSQL功能包括查看实时sql语句和历史sql语句: 实时sql语句查询请参见:实时TopSQL语句。
数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。 用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)
概述 数据集成围绕GaussDB(DWS),提供了简单易用的迁移能力及多种数据源到DWS的集成能力,降低用户数据源迁移和集成的复杂性,是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2
为什么GaussDB(DWS)使用一段时间后执行SQL很慢? 为什么GaussDB(DWS)的性能在极端场景下并未比单机数据库好 GaussDB(DWS)业务读写阻塞,如何查看某个时间段的sql执行记录? GaussDB(DWS)中“算子下盘”是什么含义? GaussDB(DWS)的CPU资源隔离管控介绍
绍 CPU资源管控概述 在不同的业务场景中,对数据库的系统资源(CPU资源、内存资源、IO资源和存储资源)进行合理的分配,保证执行查询时有充足的系统资源,确保查询性能,可以维持业务稳定性。 GaussDB(DWS)的资源管理功能支持用户根据自身业务将资源按需划分成不同的资源池,不
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
创建MRS数据源连接 操作场景 GaussDB(DWS)从MRS的HDFS读取数据前,需要先创建一个MRS数据源连接,作为GaussDB(DWS)集群与MRS集群的数据通道。 对系统的影响 一个GaussDB(DWS)集群在创建MRS数据源连接时,不能同时创建两个连接。 创建MR
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
作业管理 在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
和可重复读隔离级别。 客户端显式开启事务或手动关闭Autocommit场景,业务最后必须手动执行Commit提交事务。 针对执行时长超过30分钟的语句,建议进行优化。 尽量避免出现执行时长超过2小时的业务,避免长事务、长持锁等影响。 更多开发设计规范参见总体开发设计规范。 事务的概念
集群容量大量闲置的业务低谷期,可通过缩容操作来减少节点数量以实现减少成本的目的。 实时数仓(集群部署)不支持缩容至单机部署集群。 弹性变更规格 仅对现有集群做规格的调整,该功能不会涉及节点数量的改变,只是对节点的CPU、内存等做配置升级或降级,用以实现根据业务量调整集群性能,以实现业务诉求。