检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM
符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。
集群创建成功后,参考管理集群共享将该集群共享给其他工作空间。 可用区 选择数据服务专享集群所在的可用区。 支持单AZ和多AZ两种部署方式。推荐使用多AZ方式。 单AZ:仅可以选择1个AZ,集群节点部署在同一AZ上。 多AZ:可选择2-10个AZ,集群节点部署在不同AZ上,以提升集群的容灾能力。
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 如果作业执行失败,可选择自动重试三次或者不重试。推荐值:不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 说明: 如果通过DataArts
获取当前目录下的API列表 获取当前目录下的API列表。 2400 120 获取当前目录下的目录列表(全量) 获取当前目录下的目录列表(全量数据,不分页,推荐仅用于生成目录树等无法分页的场景)。 2400 120 更新服务目录 更新服务目录。 2400 120 查询服务目录 查询服务目录。 2400
单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。 单个map的错误记录超过设置的最大错误记录数则任务自动结束,已经导入的数据不支持回退。推荐使用临时表作为导入的目标表,待导入成功后再改名或合并到最终数据表。 0 单击“保存”,或者“保存并运行”。 作业任务启动后,每个待迁移的表
如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了定时任务,则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突,推荐您启用数据开发调度即可,无需配置CDM定时任务。 否 抽取并发数 当前任务从源端进行读取最大线程数。 说明: 由于数据源限制,实际执行时并
配置权限集 权限集将用户与权限直接关联,可以新建多个用于给不同使用场景的用户关联不同的权限,可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 配置通用角色 配置通用角色即在数据源上创建新角色,用于承载用户和权限之间的关联关系,可以更加直观地管理权限关系、进行权限管控。
DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 分组设置 否 当“资源类型”选择“DLI程序包”时,才需要配置该参数。 将Spark程序资源包上传到指定的分组中,主Jar包和依赖包会上传到同一个分组中。
支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作业执行时,不会上传资源包文件到DLI资源管理,文件的OBS路径会作为启动作业消息体的一部分,推荐使用该方式。 DLI程序包:作业执行前,会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时,需要设
见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需要通过
可以根据自身需求选择需要同步的DDL类型。 分库分表场景下,执行重命名列操作,必须停业务操作,不然会有数据不一致的风险。 分库分表场景下,推荐只同步新增列DDL,其他的DDL同步可能会因为目标表被修改而导致任务失败或数据不一致。 分库分表场景下,执行新增列时,需保证每张表加列的类型一致,否则有可能导致任务失败。
选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 数据表不区分大小写:对于选中的连接类型,在发布相应类型的表时,同步技术资产时名称将不区分大小写,找到相同的即认为已存在。 物
控制台购买的CDM集群,不支持DataArts Studio工作空间级别的资源隔离,所有DataArts Studio工作空间均可使用。 推荐您在DataArts Studio控制台以增量包的形式购买,本章节以此为例进行说明。 按需计费方式购买数据集成集群 购买“按需计费”增量包
业模式工作空间。 不同模式工作空间对生产任务开发与运维的影响 表2 不同模式工作空间对生产任务开发与运维的影响 对比 简单模式 企业模式(推荐) 生产任务开发流程管控差异 任务提交后,无需发布,即可进入调度系统周期性执行,产出结果数据。 (提交-->生产) 任务需要先提交至开发环
L/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。 ORACLE 请参见ORACLE数据连接参数说明。 DIS 请参见DIS数据连接参数说明。
数据连接 选择数据连接。 数据库 选择数据库。 脏数据表 SQL脚本中定义的脏数据表名称。 脏数据属性用户不能编辑,自动从SQL脚本内容中关联推荐。 匹配规则 设置java正则表达式,匹配DWS SQL结果内容,比如表达式为(?<=\()(-*\d+?)(?=,), 匹配对应SQL结果为
批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 如果勾选“自助审批”,勾选后审批单将自动处理,此功能为体验功能,不推荐在真实项目中使用。 下线 在逻辑实体列表中,选择需要下线的逻辑实体,单击列表上方的“下线”或者单击“操作”列的“更多 > 下线”,进行逻辑
批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 如果勾选“自助审批”,勾选后审批单将自动处理,此功能为体验功能,不推荐在真实项目中使用。 下线 在物理表列表中,选择需要下线的物理表,单击列表上方的“更多 > 下线”或者单击“操作”列的“更多 > 下线”,进