检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为两种作业绑定不同资源池以实现GaussDB(DWS)资源负载能力 本实践将演示GaussDB(DWS)的资源管理功能,帮助企业客户解决数据分析过程中,多用户查询作业遇到的性能瓶颈,最终实现多用户执行SQL作业互不影响,节省资源消耗。 本实践预计时长60分钟,基本流程如下: 步骤一:创建集群
DSC配置 DSC的配置包含如下内容: 设置application.properties:用于配置工具的迁移行为,例如,是否要覆盖目标文件夹下的文件,是否对sql文件格式化。 设置Java内存分配:用户配置工具在迁移过程中可使用的内存资源,超出设置的内存,工具将显示错误消息并退出。
以$开头的对象名称迁移 本章节介绍如何迁移以$(美元符号)开头的对象名称。 下表具体描述了这些对象名称的迁移行为。这些行为可以通过tdMigrateDollar参数来设置。 详情请参见IN/NOT IN转换。 表1 以$开头的对象名称的迁移行为 tdMigrateDollar设置
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件,并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
如何调整DWS分布列? 在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,
使用CDM迁移MySQL数据至GaussDB(DWS)集群 本入门提供通过云数据迁移服务CDM将MySQL数据批量迁移到GaussDB(DWS)集群的指导。 本入门的基本内容如下所示: 迁移前数据检查 创建GaussDB(DWS)集群 创建CDM集群 创建连接 新建作业和迁移 迁移后数据一致性验证
UTL_RAW 接口介绍 高级功能包UTL_RAW支持的所有接口请参见表1。 表1 UTL_RAW 接口名称 描述 UTL_RAW.CAST_FROM_BINARY_INTEGER 将INTEGER类型值转换为二进制表示形式(即RAW类型)。 UTL_RAW.CAST_TO_BINARY_INTEGER
UTL_RAW 接口介绍 高级功能包UTL_RAW支持的所有接口请参见表1。 表1 UTL_RAW 接口名称 描述 UTL_RAW.CAST_FROM_BINARY_INTEGER 将INTEGER类型值转换为二进制表示形式(即RAW类型)。 UTL_RAW.CAST_TO_BINARY_INTEGER
ALTER REDACTION POLICY 功能描述 修改应用在指定表的脱敏策略。 注意事项 只有待修改脱敏策略所应用表对象的属主和被授予gs_redaction_policy预置角色的用户才有修改脱敏策略的权限。 语法格式 修改脱敏策略生效表达式。 1 ALTER REDACTION
网络安全 数据库安全设置 账户说明 您在创建DWS集群时,系统会自动为集群创建如下账户,用于给数据库提供完善的后台运维管理服务。 dbadmin:系统管理员账户,首次登录DWS数据库使用,用于业务数据库创建、普通用户创建、权限分配等。 如果开通了三权分立,则除了系统管理员dbad
Linux下配置数据源 将GaussDB(DWS)提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在etc目录下),并在服务器端进行配置。
SELECT 功能描述 从HStore表读取数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
Linux下配置数据源 将GaussDB(DWS)提供的ODBC DRIVER(psqlodbcw.so)配置到数据源中便可使用。配置数据源需要配置“odbc.ini”和“odbcinst.ini”两个文件(在编译安装unixODBC过程中生成且默认放在“/usr/local/etc”目录下),并在服务器端进行配置。
实例资源监控 GaussDB(DWS)提供了监控CN、DN实例资源使用状态(包括内存,CPU,磁盘IO,进程物理IO和进程逻辑IO)的系统表及监控整个集群资源使用状态的系统表。 关于系统表GS_WLM_INSTANCE_HISTORY的详细介绍,请参考GS_WLM_INSTANCE_HISTORY。
SELECT 功能描述 从HStore表读取数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
导出全局对象 GaussDB(DWS)支持使用gs_dumpall工具导出所有数据库公共的全局对象,包含数据库用户和组,表空间及属性(例如:适用于数据库整体的访问权限)信息。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工
ALTER INDEX 功能描述 ALTER INDEX用于修改现有索引的定义。 注意事项 只有索引的所有者有权限执行此命令,系统管理员默认拥有此权限。 对于unlogged表的索引,不能将tablespace设置为pg_unlogged以外的其他表空间。 语法格式 重命名表索引
管理LakeFormation数据源 GaussDB(DWS)支持使用LakeFormation管理元数据,通过在控制台上创建LakeFormation数据源访问LakeFormation上的元数据。 该特性受限商用,仅支持存算分离形态9.0.1及以上集群版本或存算一体形态8.2
创建GaussDB(DWS)数据库和用户 GaussDB(DWS)默认的数据库gaussdb一般不作为客户的业务数据库使用,且考虑业务隔离,一般会规划多个数据库。使用系统管理员dbadmin首次连接gaussdb数据库后,需根据业务实际需求规划相应的业务数据库、用户和角色,包括新