检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移流程 前提条件 准备工作 执行DSC 查看输出文件和日志 故障处理 父主题: 使用DSC
日志参考 日志概述 SQL迁移日志 Perl迁移日志 父主题: 使用DSC
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使
仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
只有在活动连接超过“removeAbandonedTimeout”所指定的秒数内未使用才会被删除(默认为300秒)。 遍历一个结果集并不被统计为被使用,创建一个语句,预处理语句,可调用语句或使用它们其中的一个执行查询(使用执行方法中的某一个)会重新设置其父连接的“lastUsed”属性。 如
除非对点查有极高的性能诉求,否则推荐使用bitmap index替代btree/gin。 优化手段 以一个建表语句为例,描述DWS已有的优化手段。更多内容请参见SQL语法的CREATE TABLE章节。 表2 优化手段 编号 优化手段 使用建议 SQL示例 建表后是否可修改 1
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
进行过数据量较大的增删操作,会导致统计信息不准,该场景下也可能导致查询表时没有使用索引。 优化方法:对表执行ANALYZE更新统计信息。 场景三:过滤条件使用了函数或隐式类型转化 如果在过滤条件中使用了计算、函数、隐式类型转化,都可能导致无法选择索引。 例如创建表,并在a,b,c三列上都分别创建了索引。
在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能
TABLE失败的两种现象: 在使用“SELECT * FROM DBA_TABLES;”语句(或者gsql客户端也可以使用\dt+命令)查看数据库中无相关表;CREATE TABLE时报该表已经存在的错误,使用DROP TABLE语句失败,报不存在该表的错误,导致无法再次创建表。 在使用“SELECT
客户端CPU架构要和集群一致,如果集群是X86规格,则也应该选择X86客户端。 单击“下载”。 使用SFTP工具将下载的客户端(本实验以dws_client_8.2.x_redhat_x64.zip为例)上传至ECS的/opt目录下。 使用root用户登录ECS执行以下命令,进入/opt目录,解压客户端。 1
SQL配置 Teradata Perl配置 MySQL配置 SQL-Server配置 Oracle SQL配置 Netezza配置 父主题: 使用DSC
已注册账号,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 获取此账号的“AK/SK”。 已创建集群,并已使用Data Studio连接集群,参见使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线。 步骤一:导入公司样例数据 使用SQL客户端
Perl文件迁移过程的详细信息。 请使用runDSC.sh或runDSC.bat命令并设置--application-lang=perl,将Perl文件中的Teradata BTEQ或SQL_LANG脚本迁移到兼容Perl文件的GaussDB(DWS)中。迁移Perl文件后,可使用对比工具比较输入和输出文件进行验证。
使用KMS对GaussDB(DWS)集群进行加密 数据库加密简介 轮转加密密钥 转加密集群 父主题: GaussDB(DWS)集群数据安全与加密
参数说明:控制优化器对位图扫描规划类型的使用。 参数类型:USERSET 取值范围:布尔型 on表示使用。 off表示不使用。 默认值:on enable_hashagg 参数说明:控制优化器对Hash聚集规划类型的使用。 参数类型:USERSET 取值范围:布尔型 on表示使用。 off表示不使用。 默认值:on
并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库,通过某个数据转换(ETL)的过程,业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用。同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析,从而产生更大的价值。
good." 使用root账户登录已创建好的ECS,执行以下命令创建数据源文件目录。 mkdir -p /input_data 使用文件传输工具,将以上数据文档上传到ECS的/input_data目录下。 使用GDS导入数据源 使用root账户登录ECS,使用文件传输工具将7下载好的工具包上传到/opt目录下。
集群被冻结了,导致无法使用,如何解冻? 原因分析 当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 处理方法 当集群状态为“已冻结”时,您需要给账户充值以确保账户余额不为0才能解冻,详细操作请参见续费。解冻后,集群状态将恢复为“可用”。