检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
应用。 申请将API授权给应用 使用APP或IAM认证方式的API,在将API授权后,才能进行API调用。授权可以分为API开发者主动授权和API调用者申请授权,本文以API调用者申请授权为例进行介绍。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
(包括当前启动整点),依赖范围内的B实例,在2:15分执行A任务依赖1个B实例(2:10分),2:30执行的A任务依赖两个B实例(2:20和2:30)。它的边界范围为(0分,15分],前开后闭区间。 图3 分钟依赖分钟举例二 分钟依赖小时 规则:分钟级作业依赖自然小时的上一周期作业执行完成后,再执行。
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。
Studio数据连接参数。 数据库 选择数据库。 队列 仅限DLI连接类型,需选择DLI队列。 Schema 下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 更新已有表 在导入时,如果所要导入的表在关系模型中已存在,是否更新已有的表。在导入时,系统将按表编码进行
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
API流量限制(次/min) 用户流量限制(次/min) 获取数据库列表 获取数据库列表。 12000 60 获取schemas 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表
API授权操作(授权/取消授权/申请/续约) API主动授权: API审核人可发起,API主动授权成功后,在有效期内,APP即可访问该API。API授权包含授权和续约两部分功能。 2400 120 查看API发布信息(专享版) 查看API在不同集群上的发布信息。 2400 120 查看API不同操作对应的实例信息(专享版)
的“启动作业”章节。配置RestAPI节点的属性如下 : 节点名称:运行作业。 URL地址:其中project_id、cluster_id和2. 配置“创建作业”节点中的保持一致,作业名需要配置为“dws2obs-${currentTime}”。格式为https://{Endpoint}/cdm/v1
整库迁移作业每次运行,会根据整库作业的配置重建子任务,不支持修改子任务后再重新运行主作业。 支持整库迁移的数据源请参见支持的数据源。 约束限制 配置源端和目的端参数时,字段名不可包含&和%。 前提条件 已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入
数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量?
不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。
2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JD
参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如
步。 由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可以按自身需要创建IAM对应的MRS同名用户从而不进行用户同步。由于DLI数据源直接
从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
schemaName 是 String 数据库模式或表空间。 toJobConfig.tablePreparation 是 枚举 只有当源端和目的端都为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: DO_NOTHING:不自动建表。 CREATE_WHEN_NOT_
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St