检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库
Perl迁移日志 perlDSC.log:Perl迁移中所有的活动、预警和错误。 Apache Log4j用于指定DSC记录日志的框架。用户可使用以下Log4j配置文件,也可以根据需要进行自定义: Teradata/Oracle/Netezza/DB2 : config/log4j2
故障处理 迁移问题可分为: 工具执行问题:由于工具部分或全部执行失败导致的无输出或输出不正确的问题。要了解更多遗留问题及其解决方案,请参见故障处理。 迁移语法问题:由于迁移工具无法正确识别或迁移TD语法的问题。要了解更多遗留问题,请参见约束和限制。 父主题: 迁移流程
Netezza配置 设置Netezza配置参数可在迁移Netezza数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-netezza.properties文件,并根据实际需要设置表1中的参数。 表1 features-netezza.properties文件中的配置参数
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
的所有SQL脚本复制到输入文件夹中。Linux系统操作如下: 创建输入和输出文件夹。您可以根据用户的首选项在任意位置创建文件夹。用户也可以使用默认的文件夹作为输入、输出,作为包的一部分提供。 1 2 mkdir input mkdir output 由于DSC批量无序地读取输出
使用第三方库连接GaussDB(DWS)集群 使用JDBC和ODBC连接集群 使用Python第三方库psycopg2连接集群 使用Python第三方库PyGreSQL连接集群 父主题: 连接GaussDB(DWS)集群
mergeImplementation 设置merge语句迁移方法。 SPLIT:通过将merge语句拆分为单个查询进行优化。 WITH:使用WITH子句来迁移整个merge语句。 WITH SPLIT None WITH mergeImplementation=None RemoveHashPartition
<output_filename> -L <log_filename.log> -r 使用Data Studio。 使用Data Studio连接到目标数据库,然后在Data Studio中打开并执行SQL文件。 配置自定义数据库脚本 用户可以使用自定义数据库的SQL脚本从Teradata迁移那些不直接存在于目标数据库的关键字。
使用命令行工具连接GaussDB(DWS)集群 下载客户端 使用Linux gsql客户端连接集群 使用Windows gsql客户端连接集群 使用SSL进行安全的TCP/IP连接 父主题: 连接GaussDB(DWS)集群
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使
在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能
直接检查SQL语句的FROM对象,确定是否为视图。若是,则直接获得该视图的名字。 使用已获得的视图的名字和schema,删除该视图。 重新执行SQL语句。对于查询操作,由于对应的分区已经被删除,视图的存在没有意义。 父主题: 数据库使用
仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2
tdMigrateDOLLAR 该参数用于设置迁移工具行为,从而迁移名称以$(美元符号)开头的静态对象。该参数不适用于动态对象,这些对象的名称使用${}格式。 若该参数设为true,则使用英文双引号(")将以$开头的对象名称括起来。 若该参数设为false,则直接迁移以$开头的对象。 说明: 详情请参见以$开头的对象名称。
properties配置文件)将其覆盖。已删除或覆盖的子文件夹或文件无法通过DSC恢复。 如果在同一台服务器上并发进行迁移(由同一个或不同DSC执行),不同的迁移任务必须使用不同的输出文件夹路径和日志路径。 用户可以通过可选参数指定日志存储路径。如果路径未指定,DSC在TOOL_HOME下自动创建log文件夹。详情请参见日志参考。
SQL迁移日志 SQL DSC(DSC.jar)支持以下类型的日志记录: 活动日志 错误日志 成功读 成功写 如果用户指定了日志路径,所有日志都会保存在该路径下。 如果未指定日志路径,DSC会在TOOL_HOME路径下创建log文件夹,用于存储所有日志。 为控制磁盘空间用量,日志文件的大小上限为10
log文件。 DSC通过调用SQL来迁移Perl文件中的SQL脚本,因此支持以下SQL迁移日志: 活动日志 错误日志 成功读 成功写 日志级别 可以使用logging-level参数来配置perl迁移日志的记录级别。 日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC
-Djdbc.drivers=org.postgresql.Driver jdbctest 上述jdbctest为测试用例程序的名称。 当使用gsjdbc200.jar时,上面的Driver类名相应修改为"com.huawei.gauss200.jdbc.Driver" 父主题:
PostGIS概述 PostGIS Extension依赖的第三方软件需要用户进行单独安装,用户如需使用PostGIS功能,请提交工单或联系技术支持人员提交申请。 如果用户在使用中出现“ERROR:EXTENSION is not yet supported.”这种报错,则表示没