检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JD
表。 在质量作业列表,单击“导入”。 图13 批量导入质量作业 在弹出的导入窗口中,选择从旧空间导出的质量作业文件,然后选择数据连接、集群和目录等的映射路径,“重名处理策略”默认选择“终止”,最后单击“导入”。 图14 质量作业导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
可不受每天最多访问1000次的规格限制。 专享版默认发布到数据服务专享版集群上,发布成功后API调用者可以通过内网调用该API。值得一提的是,只有将API发布到专享版集群上,才不存在每天最多可以访问1000次的限制,可自由调用API。 您也可以选择“更多”,将API发布到APIG专享版或ROMA
求: 作业A的调度周期不能比依赖作业B小。例如,作业A和作业B同为分钟/小时调度,A的间隔时间小于B的间隔时间,则作业A不能设置作业B为依赖作业;作业A为分钟调度,作业B为小时调度,则作业A不能设置作业B为依赖作业。 作业A和依赖作业B中不能有任一调度周期为周。例如,作业A的调度
User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 工作空间角色决定了该用户在工作空间内的权限,当前有管理员、开发者、运维者和访客这四种预置角色可被分配,您也可以自定义角色进行更精细化的权限管理。各角色权限的详细说明请参见权限列表章节。 管理员:工作空间管理员,拥有
不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JD
dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts St
图1 作业依赖关系视图 在弹出的“作业依赖关系视图”页面,支持如下操作: 视图右上角支持“显示完整依赖图”、“显示当前作业及其上下游”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。
Agent Agent功能待下线,无需配置。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JD
选择解决方案包含的作业。 单击“确定”,新建的解决方案将在左侧目录中显示。 编辑解决方案 在解决方案目录中,右键单击解决方案名称,选择“编辑”,修改名称和作业。 导出解决方案 在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案
cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。 图1 Rest Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达
cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。 图1 Rest Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达
应用。 申请将API授权给应用 使用APP或IAM认证方式的API,在将API授权后,才能进行API调用。授权可以分为API开发者主动授权和API调用者申请授权,本文以API调用者申请授权为例进行介绍。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量?
不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。
2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JD
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。
API流量限制(次/min) 用户流量限制(次/min) 获取数据库列表 获取数据库列表。 12000 60 获取schemas 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表