检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mergeImplementation 设置merge语句迁移方法。 SPLIT:通过将merge语句拆分为单个查询进行优化。 WITH:使用WITH子句来迁移整个merge语句。 WITH SPLIT None WITH mergeImplementation=None RemoveHashPartition
故障处理 迁移问题可分为: 工具执行问题:由于工具部分或全部执行失败导致的无输出或输出不正确的问题。要了解更多遗留问题及其解决方案,请参见故障处理。 迁移语法问题:由于迁移工具无法正确识别或迁移TD语法的问题。要了解更多遗留问题,请参见约束和限制。 父主题: 迁移流程
仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2
并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库,通过某个数据转换(ETL)的过程,业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用。同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析,从而产生更大的价值。
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
直接检查SQL语句的FROM对象,确定是否为视图。若是,则直接获得该视图的名字。 使用已获得的视图的名字和schema,删除该视图。 重新执行SQL语句。对于查询操作,由于对应的分区已经被删除,视图的存在没有意义。 父主题: 数据库使用
在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能
tdMigrateDOLLAR 该参数用于设置迁移工具行为,从而迁移名称以$(美元符号)开头的静态对象。该参数不适用于动态对象,这些对象的名称使用${}格式。 若该参数设为true,则使用英文双引号(")将以$开头的对象名称括起来。 若该参数设为false,则直接迁移以$开头的对象。 说明: 详情请参见以$开头的对象名称。
properties配置文件)将其覆盖。已删除或覆盖的子文件夹或文件无法通过DSC恢复。 如果在同一台服务器上并发进行迁移(由同一个或不同DSC执行),不同的迁移任务必须使用不同的输出文件夹路径和日志路径。 用户可以通过可选参数指定日志存储路径。如果路径未指定,DSC在TOOL_HOME下自动创建log文件夹。详情请参见日志参考。
log文件。 DSC通过调用SQL来迁移Perl文件中的SQL脚本,因此支持以下SQL迁移日志: 活动日志 错误日志 成功读 成功写 日志级别 可以使用logging-level参数来配置perl迁移日志的记录级别。 日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC
深度Hadoop支持。 DWS需要绑定公网IP后才能与Kettle连接使用。 Kettle和云数据迁移(Cloud Data Migration,简称CDM)都适用于批处理场景,当数据量或表数量较小时,推荐使用kettle,反之使用CDM。 支持从数据库导出数据到文件,也支持将数据导入到数据库。
tomer,id等于1、3、6的为重复数据,id为2、5的也是重复数据,删除多余的数据的同时需要保留其中的一条。 方法一:使用聚合函数min(expr) 使用聚合函数通过子查询取出id最小的不重复行,然后通过NOT IN删除重复数据。 查询id最小的不重复行: 1 2 3 4 5
PostGIS概述 PostGIS Extension依赖的第三方软件需要用户进行单独安装,用户如需使用PostGIS功能,请提交工单或联系技术支持人员提交申请。 如果用户在使用中出现“ERROR:EXTENSION is not yet supported.”这种报错,则表示没
DWS_2000000030 DWS集群会话数量使用率超阈值 告警解释 DMS告警模块在指定周期内,检测到集群会话数量使用率超过当前设定阈值,且抑制条件不满足时,DMS告警模块将触发该告警;检测到集群会话数量使用率低于当前设定阈值时,DMS告警模块将消除该告警。 告警属性 告警ID
SQL迁移日志 SQL DSC(DSC.jar)支持以下类型的日志记录: 活动日志 错误日志 成功读 成功写 如果用户指定了日志路径,所有日志都会保存在该路径下。 如果未指定日志路径,DSC会在TOOL_HOME路径下创建log文件夹,用于存储所有日志。 为控制磁盘空间用量,日志文件的大小上限为10
查看输出文件和日志 查看并验证输出文件 迁移流程结束后,用户可使用对比工具(例如BeyondCompare®)将输入文件与输出文件进行比较。为了简化对比过程,也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。
接将一直占用一个线程,如果这样的客户端连接很多,就会出现大量的线程都被空闲的连接占用,从而导致数据库连接满或者资源浪费。 父主题: 数据库使用
good." 使用root账户登录已创建好的ECS,执行以下命令创建数据源文件目录。 mkdir -p /input_data 使用文件传输工具,将以上数据文档上传到ECS的/input_data目录下。 使用GDS导入数据源 使用root账户登录ECS,使用文件传输工具将7下载好的工具包上传到/opt目录下。
除非对点查有极高的性能诉求,否则推荐使用bitmap index替代btree/gin。 优化手段 以一个建表语句为例,描述DWS已有的优化手段。更多内容请参见SQL语法的CREATE TABLE章节。 表2 优化手段 编号 优化手段 使用建议 SQL示例 建表后是否可修改 1
GaussDB(DWS)增加CN和扩容集群分别在什么场景下使用? CN并发介绍 CN全称为:协调节点(Coordinator Node),是和用户关系最密切也是DWS内部非常重要的一个组件。它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执