检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用第三方库连接GaussDB(DWS)集群 使用JDBC和ODBC连接集群 使用Python第三方库psycopg2连接集群 使用Python第三方库PyGreSQL连接集群 父主题: 连接GaussDB(DWS)集群
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使
Perl迁移日志 perlDSC.log:Perl迁移中所有的活动、预警和错误。 Apache Log4j用于指定DSC记录日志的框架。用户可使用以下Log4j配置文件,也可以根据需要进行自定义: Teradata/Oracle/Netezza/DB2 : config/log4j2
任何数据库,但当连接成功后,任何用户都只能访问连接请求里声明的那个数据库。 角色(ROLE)本质上是一组权限的集合,通常情况下使用ROLE来组织权限,使用用户进行权限的管理和业务操作。 角色之间的权限可以继承,用户组的所有用户可自动继承对应角色的权限。 数据库中USER与ROLE
登录成功后,选择“服务管理 > 下载客户端”,“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”。单击“确定”。 使用root用户登录主master节点,并更新主管理节点的客户端配置。 cd /opt/client sh refreshConfig.sh /opt/client
使用命令行工具连接GaussDB(DWS)集群 下载客户端 使用Linux gsql客户端连接集群 使用Windows gsql客户端连接集群 使用SSL进行安全的TCP/IP连接 父主题: 连接GaussDB(DWS)集群
故障处理 迁移问题可分为: 工具执行问题:由于工具部分或全部执行失败导致的无输出或输出不正确的问题。要了解更多遗留问题及其解决方案,请参见故障处理。 迁移语法问题:由于迁移工具无法正确识别或迁移TD语法的问题。要了解更多遗留问题,请参见约束和限制。 父主题: 迁移流程
设置Netezza配置参数可在迁移Netezza数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-netezza.properties文件,并根据实际需要设置表1中的参数。 表1 features-netezza.properties文件中的配置参数 参数 说明 取值范围 默认值 样例
databaseAsSchema table.defaultSchema 是否使用数据库名称作为schema名称,如果数据库名称不存在,则使用用户定义schema, 如果用户定义schema为空,则使用默认schema。 true false public true public
的所有SQL脚本复制到输入文件夹中。Linux系统操作如下: 创建输入和输出文件夹。您可以根据用户的首选项在任意位置创建文件夹。用户也可以使用默认的文件夹作为输入、输出,作为包的一部分提供。 1 2 mkdir input mkdir output 由于DSC批量无序地读取输出
<output_filename> -L <log_filename.log> -r 使用Data Studio。 使用Data Studio连接到目标数据库,然后在Data Studio中打开并执行SQL文件。 配置自定义数据库脚本 用户可以使用自定义数据库的SQL脚本从Teradata迁移那些不直接存在于目标数据库的关键字。
设置Oracle配置参数可在迁移Oracle数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-oracle.properties文件,并根据实际需要设置表1中的参数。 表1 features-oracle.properties文件中的配置参数 参数 说明 取值范围 默认值 样例
如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存在数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能。合理的选择分布列,并对已经创建的表,进行分布列的调整,对表查询的性能至关重要。
确定是针对视图对象进行的SQL操作,并获得视图的名字。 直接检查SQL语句的FROM对象,确定是否为视图。若是,则直接获得该视图的名字。 使用已获得的视图的名字和schema,删除该视图。 重新执行SQL语句。对于查询操作,由于对应的分区已经被删除,视图的存在没有意义。 父主题: 数据库使用
tdMigrateDOLLAR 该参数用于设置迁移工具行为,从而迁移名称以$(美元符号)开头的静态对象。该参数不适用于动态对象,这些对象的名称使用${}格式。 若该参数设为true,则使用英文双引号(")将以$开头的对象名称括起来。 若该参数设为false,则直接迁移以$开头的对象。 说明: 详情请参见以$开头的对象名称。
properties配置文件)将其覆盖。已删除或覆盖的子文件夹或文件无法通过DSC恢复。 如果在同一台服务器上并发进行迁移(由同一个或不同DSC执行),不同的迁移任务必须使用不同的输出文件夹路径和日志路径。 用户可以通过可选参数指定日志存储路径。如果路径未指定,DSC在TOOL_HOME下自动创建log文件夹。详情请参见日志参考。
good." 使用root账户登录已创建好的ECS,执行以下命令创建数据源文件目录。 mkdir -p /input_data 使用文件传输工具,将以上数据文档上传到ECS的/input_data目录下。 使用GDS导入数据源 使用root账户登录ECS,使用文件传输工具将7下载好的工具包上传到/opt目录下。
大小设置为压缩后的总数据量大小(压缩比一般按5倍计算),如果表上没有索引(EVS主要做缓存使用),EVS磁盘空间总大小可以设置为总数据量(可以排除掉归档数据的大小)大小的50%或者30%,并调大磁盘缓存的大小(见下文)。 最小容量: 性能客户:保证每个DN主备各挂载的磁盘容量最少
深度Hadoop支持。 DWS需要绑定公网IP后才能与Kettle连接使用。 Kettle和云数据迁移(Cloud Data Migration,简称CDM)都适用于批处理场景,当数据量或表数量较小时,推荐使用kettle,反之使用CDM。 支持从数据库导出数据到文件,也支持将数据导入到数据库。
SQL迁移日志 SQL DSC(DSC.jar)支持以下类型的日志记录: 活动日志 错误日志 成功读 成功写 如果用户指定了日志路径,所有日志都会保存在该路径下。 如果未指定日志路径,DSC会在TOOL_HOME路径下创建log文件夹,用于存储所有日志。 为控制磁盘空间用量,日志文件的大小上限为10