检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。
**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+ "{\r\n"+ "\"from-connector-name\": \"generic-jdbc-connector\",\r\n"+ "\"name\": \""+JOB_NAME+"
在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如: alter table test add column t_col varchar(30) not null default '' 3. migration作业产生异常,报错执行
"name_ch" : "主题域L5", "name_en" : "Business Domain L5" }, { "id" : "1141755876370214912", "level" : 6, "name_ch" : "业务对象
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。
OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。
表5 StatisticForCallDetail 参数 参数类型 描述 id String 统计对象编号。 name String 统计对象名称。 call_num Integer 调用总量。 success_num Integer 成功调用量(取数成功)。
//dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"], "desc": "test
SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。
SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。
数据集市 又称为DM(Data Mart),DM面向展现层,数据有多级汇总,由一个特定的分析对象及其相关的统计指标组成的,向用户提供了以统计粒度为主题的所有统计数据。 父主题: 数据架构
当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 linkConfig.accessKey 否 String 访问标识(AK)。obs支持选是时需配置此参数。
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
PostgreSQL/SQLServer连接参数说明 连接PostgreSQL/SQLServer时,相关参数如表1所示,金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。
l3 否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。
目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 图2 作业抽取并发数配置 父主题: 数据集成
export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。
图1 资源迁移 单击“新建导出”,配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”,勾选导出的模块。 图3 勾选导出的模块 单击“下一步”,等待导出完成,资源包导出到所设置的OBS存储位置。