检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Netezza配置 设置Netezza配置参数可在迁移Netezza数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-netezza.properties文件,并根据实际需要设置表1中的参数。 表1 features-netezza.properties文件中的配置参数
故障处理 迁移问题可分为: 工具执行问题:由于工具部分或全部执行失败导致的无输出或输出不正确的问题。要了解更多遗留问题及其解决方案,请参见故障处理。 迁移语法问题:由于迁移工具无法正确识别或迁移TD语法的问题。要了解更多遗留问题,请参见约束和限制。 父主题: 迁移流程
使用第三方库连接GaussDB(DWS)集群 使用JDBC和ODBC连接GaussDB(DWS)集群 使用Python第三方库psycopg2连接GaussDB(DWS)集群 使用Python第三方库PyGreSQL连接GaussDB(DWS)集群 父主题: 连接GaussDB(DWS)集群
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
使用命令行工具连接GaussDB(DWS)集群 下载客户端 使用Linux gsql客户端连接集群 使用Windows gsql客户端连接集群 使用SSL进行安全的TCP/IP连接 父主题: 连接GaussDB(DWS)集群
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使
的所有SQL脚本复制到输入文件夹中。Linux系统操作如下: 创建输入和输出文件夹。您可以根据用户的首选项在任意位置创建文件夹。用户也可以使用默认的文件夹作为输入、输出,作为包的一部分提供。 1 2 mkdir input mkdir output 由于DSC批量无序地读取输出
<output_filename> -L <log_filename.log> -r 使用Data Studio。 使用Data Studio连接到目标数据库,然后在Data Studio中打开并执行SQL文件。 配置自定义数据库脚本 用户可以使用自定义数据库的SQL脚本从Teradata迁移那些不直接存在于目标数据库的关键字。
mergeImplementation 设置merge语句迁移方法。 SPLIT:通过将merge语句拆分为单个查询进行优化。 WITH:使用WITH子句来迁移整个merge语句。 WITH SPLIT None WITH mergeImplementation=None RemoveHashPartition
并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库,通过某个数据转换(ETL)的过程,业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用。同时支持把多个业务运营系统的数据汇集到一个数据仓库中。这样数据可以被更好地关联和分析,从而产生更大的价值。
仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2
在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能
直接检查SQL语句的FROM对象,确定是否为视图。若是,则直接获得该视图的名字。 使用已获得的视图的名字和schema,删除该视图。 重新执行SQL语句。对于查询操作,由于对应的分区已经被删除,视图的存在没有意义。 父主题: 数据库使用
复操作。避免使用相同的名称创建多个恢复点,因为恢复操作将在第一个匹配(恢复目标)的名称上停止。 pg_current_xlog_location() 描述:获取当前事务日志的写入位置。 返回值类型:text 备注:pg_current_xlog_location使用与前面那些函数
tdMigrateDOLLAR 该参数用于设置迁移工具行为,从而迁移名称以$(美元符号)开头的静态对象。该参数不适用于动态对象,这些对象的名称使用${}格式。 若该参数设为true,则使用英文双引号(")将以$开头的对象名称括起来。 若该参数设为false,则直接迁移以$开头的对象。 说明: 详情请参见以$开头的对象名称。
properties配置文件)将其覆盖。已删除或覆盖的子文件夹或文件无法通过DSC恢复。 如果在同一台服务器上并发进行迁移(由同一个或不同DSC执行),不同的迁移任务必须使用不同的输出文件夹路径和日志路径。 用户可以通过可选参数指定日志存储路径。如果路径未指定,DSC在TOOL_HOME下自动创建log文件夹。详情请参见日志参考。
SQL迁移日志 SQL DSC(DSC.jar)支持以下类型的日志记录: 活动日志 错误日志 成功读 成功写 如果用户指定了日志路径,所有日志都会保存在该路径下。 如果未指定日志路径,DSC会在TOOL_HOME路径下创建log文件夹,用于存储所有日志。 为控制磁盘空间用量,日志文件的大小上限为10
log文件。 DSC通过调用SQL来迁移Perl文件中的SQL脚本,因此支持以下SQL迁移日志: 活动日志 错误日志 成功读 成功写 日志级别 可以使用logging-level参数来配置perl迁移日志的记录级别。 日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC
PostGIS概述 PostGIS Extension依赖的第三方软件需要用户进行单独安装,用户如需使用PostGIS功能,请提交工单或联系技术支持人员提交申请。 如果用户在使用中出现“ERROR:EXTENSION is not yet supported.”这种报错,则表示没
深度Hadoop支持。 DWS需要绑定公网IP后才能与Kettle连接使用。 Kettle和云数据迁移(Cloud Data Migration,简称CDM)都适用于批处理场景,当数据量或表数量较小时,推荐使用kettle,反之使用CDM。 支持从数据库导出数据到文件,也支持将数据导入到数据库。