检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL迁移日志 SQL DSC(DSC.jar)支持以下类型的日志记录: 活动日志 错误日志 成功读 成功写 如果用户指定了日志路径,所有日志都会保存在该路径下。 如果未指定日志路径,DSC会在TOOL_HOME路径下创建log文件夹,用于存储所有日志。 为控制磁盘空间用量,日志文件的大小上限为10
Scan:按照表的记录的排列顺序从头到尾依次检索扫描,每次扫描要取到所有的记录。这也是最简单最基础的扫表方式,扫描的代价比较大。 Index Scan:对于指定的查询,先扫描一遍索引,从索引中找到符合要求的记录的位置(指针),再定位到表中具体的Page去获取,即先走索引,再读表数据。 因此,根据两种扫描方式的特点可知,多数情况下,Index
GaussDB(DWS)算子可分为:扫描算子、控制算子、物化算子、连接算子、其他算子等。 扫描算子 扫描算子用来扫描表中的数据,每次获取一条元组作为上层节点的输入, 存在于查询计划树的叶子节点,它不仅可以扫描表,还可以扫描函数的结果集、链表结构、子查询结果集。常见的扫描算子如下表所示: 表1 扫描算子 算子
EXPLAIN 功能描述 显示SQL语句的执行计划。 执行计划将显示SQL语句所引用的表采用的扫描方式,如:简单的顺序扫描、索引扫描等。如果引用了多个表,执行计划还会显示使用的JOIN算法。 执行计划的最关键部分是语句的预计执行开销,即计划生成器估算执行该语句将花费多长的时间。
EXPLAIN 功能描述 显示SQL语句的执行计划。 执行计划将显示SQL语句所引用的表采用的扫描方式,如:简单的顺序扫描、索引扫描等。如果引用了多个表,执行计划还会显示使用的JOIN算法。 执行计划的最关键部分是语句的预计执行开销,即计划生成器估算执行该语句将花费多长的时间。
命令行参考 生成配置文件命令 准备命令 创建发布命令 修改发布命令 取消发布命令 获取当前发布命令 父主题: DisasterFineGrained.py
系统IO长期飙升过高,查询偶发性变慢。 查看偶发慢业务慢时的执行计划信息,慢在cstore scan,且扫描数据量不大但扫描CU个数较多。 如图,一个CU能够存放6W条记录,而计划中7W记录需要扫描2000+ CU,说明当前可能存在小CU较多的情况 。 排查方法 查看相关表CU中数据分布情况,以下操作在DN执行。
SQL时需要将dws-connector-flink包及其依赖放入flink类加载目录,从1.0.3版本开始已经将带有依赖的包发布至maven仓库,使用时可直接在仓库下载使用: 选择匹配flink环境的包。 图1 Flink包 进入软件包详情页面。 图2 Flink包详情页 选择最新版本。 图3 选择下载版本
集群版本。 图1 下载工具 下载客户端软件。 表1 DSC下载地址 适用操作系统 下载地址 校验文件 请参见DSC SQL语法迁移工具操作指导 DSC.zip DSC.zip.sha256 下载到本机后,使用WinSCP工具,将DSC工具上传到一个需安装工具的Linux主机上。
创建发布命令 功能 create-publication命令用于创建细粒度容灾发布。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t create-publication --disaster-object-list-file
取消发布命令 功能 cancel-publication命令用于修改细粒度容灾发布。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t cancel-publication --disaster-object-list-file
默认值 -startup 加载Data Studio所需的.jar文件。各版本所需的文件不同。 不适用 plugins/org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar --launcher.library 加载Data S
DisasterFineGrained.py简介 细粒度容灾启动容灾前会有一些准备工作,例如生成配置文件,设置GUC参数,发布容灾等,为了能够快速启动容灾,DisasterFineGrained.py提供了一键化准备和管理发布的命令。该功能仅8.2.1.210及以上集群版本支持。
前言 读者对象 文档约定 第三方许可 父主题: DSC
DSC 前言 DSC简介 使用DSC Teradata语法迁移 MySQL语法迁移 Oracle语法迁移 Netezza语法迁移 DSC常见问题 故障处理 术语表
生成配置文件命令 功能 generate-config命令用于生成细粒度容灾的双集群容灾配置文件和主备集群倒换配置文件的初始化设置,用户可生成后自己修改。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t generate-config
可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的扫描范围。分区剪枝是指对于分区表或分区索引来说,优化器可以自动从FROM和WHERE子句里根据分区键提取出需要扫描的分区,从而避免全表扫描,减少扫描的数据块,提高性能。 优化前
修改发布命令 功能 alter-publication命令用于修改细粒度容灾发布。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t alter-publication --disaster-object-list-file
可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的扫描范围。分区剪枝是指对于分区表或分区索引来说,优化器可以自动从FROM和WHERE子句里根据分区键提取出需要扫描的分区,从而避免全表扫描,减少扫描的数据块,提高性能。 优化前
DataCheck DataCheck简介 DataCheck基本功能 下载并安装DataCheck 配置DataCheck 使用DataCheck