检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
境。 图1 数据迁移示意图 CDM、OBS、MRS、DLI为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。 表1 数据导入方式说明 数据导入方式 数据源 说明 优势 从OBS并行导入数据 OBS 支持将存储在OBS上的TXT、CSV、ORC及CARBO
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表的表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。
Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。 迁移后验证脚本会连接到目标GaussDB数据库(具体信息在配置文件中配置),并执行该脚本。 配置config文件夹下的application
Customer_T ORDER BY customer_state; PARTITION BY中的分析函数 当输入脚本的PARTITION BY子句中包含数值时,迁移脚本将原样保留该数值。 输入:PARTITION BY子句中的分析函数(包含数值) 1 2 3 4 5 6
测试GaussDB(DWS)连通 步骤五:创建DLI Flink作业 登录OBS管理控制台,创建OBS桶,用于保存Flink运行作业,参见OBS用户指南。 关键参数按如下填写,其他参数默认即可。 区域:华北-北京四 桶名称:dli-obs01 (如提示冲突,可以依次递增到02、03) 桶策略:私有
列存表通过指定COLVERSION=3.0创建为OBS存算分离表,用户数据存储在OBS存储,按需收费。 CREATE TABLE OBS存算分离表数据支持异步读、异步写 OBS存算分离表数据支持异步读、异步写。 - OBS存算分离表支持并行analyze OBS存算分离表支持并行analyze,
hash(hphm); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
HASH(ID); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据
由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。 使用gsql连接集群。 执行如
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。
MySQL配置 设置MySQL配置参数可在迁移MySQL数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-mysql.properties文件,并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql
用程序sql脚本迁移,其中,应用程序sql脚本迁移是一个复杂、高风险且耗时的过程。 DSC(Database Schema Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向用户提供简单、快速、可靠的应用程序sql脚本迁移服务,通过内置的语
les 执行DSC迁移Perl脚本,并将db-bteq-tag-name设为BTEQ或db-tdsql-tag-name设为SQL_LANG。 DSC从Perl文件中提取BTEQ或SQL_LANG类型脚本。 BTEQ是标签名称,包含一组BTEQ脚本,可以通过perl-migration
起始快照名称 自定义选择。 说明: 起始快照时间必须早于结束快照时间。 - 结束快照名称 自定义选择。 - OBS桶 桶名称,自定义选择,用于存储报告。 test123 OBS路径 存储目录,自定义填写(多级目录可用“/”进行分隔,不能以“/”开头。取值范围:1~50个字符)。 wdr
UNIQUE (UDF_FIELD_VALUE_ID) ; 建表脚本中,需在所有列声明之后添加约束创建语法。 父主题: 表迁移
as date) + 30 days) 修改为 and (cast('2002-04-01' as date) + 30) 脚本生成方法 建议使用如下脚本直接生成GaussDB(DWS)可用的SQL语句: 1 2 3 4 5 6 7 8 9 10 11 12 13
as date) + 30 days) 修改为 and (cast('2002-04-01' as date) + 30) 脚本生成方法 建议使用如下脚本直接生成GaussDB(DWS)可用的SQL语句: 1 2 3 4 5 6 7 8 9 10 11 12 13
db-bteq-tag-name 指定要在Perl文件中处理的脚本。 BTEQ:仅处理BTEQ标记的脚本。 bteq bteq db-bteq-tag-name=bteq db-tdsql-tag-name 指定待处理的脚本。 SQL_LANG:仅处理SQL_LANG标记的脚本。 sql_lang sql_lang
option_name ' value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示: address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(Nam