检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全消费Kafka消息时,需要消息的格式满足要求,详见参考:Kafka消息格式要求。 Kafka消息不满足消息格式:则记录同步失败消息日志,继续消费下一条消息,最终状态为部分失败或者同步失败。 Kafka消息合法,但是由于网络资源等原因消费失败:触发Kafka重试机制,重试3次,间隔分别为4、6、9s,如果依然失败,则记录日志,终止此次调度。
如果Elasticsearch服务器是在本地数据中心或第三方云上,需要确保Elasticsearch可通过公网IP访问,或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Stud
认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。
为天。 图3 配置调度周期 作业调度周期设置为天,每天会进行作业调度,并生成一个调度实例。您可以在“实例监控”页面中,查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效,每天2点调度一次作业。
ID,则需要修改“项目ID”参数为KMS ID所属的项目ID;如果KMS ID与CDM在同一个项目下,“项目ID”参数保持默认即可。 使用KMS加密后,OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除,如果删除将导致加密对象不能下载。 父主题: 数据迁移进阶实践
Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“数据治理中心”,进入DataArts Studio控制台。 购买DataArts Studio基础包
议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:
由于MRS纳管角色是继承的MRS数据源已有角色,非定义的数据安全数据,因此删除的纳管角色数据不会进入回收站。 权限集和动态脱敏策略被删除进入回收站后,将同步状态将统一置为未同步,从回收站还原后也需要手动进行同步才能生效。 回收站中的数据最多保存30天,删除时间超过30天的数据将被自动清理。 单实例
录的最大深度拓展为7层。 图1 新建目录 选择“同步主题为目录”时,在目录处单击,即可将数据架构处的主题同步到目录中(仅支持同步“已发布”状态的主题)。同步后的主题目录与数据架构发布后主题一致,按照主题层级如、等进行展示。 直接新建的普通目录不受同步影响。但当普通目录名称与主题名称冲突时:
进行流程设计,或通过咨询了解。 购买并配置DataArts Studio 如果您是第一次使用DataArts Studio,需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。 购买并配置DataArts Studio 购买并配置DataArts
议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:
ID,则需要修改“项目ID”参数为KMS ID所属的项目ID;如果KMS ID与CDM在同一个项目下,“项目ID”参数保持默认即可。 使用KMS加密后,OBS上对象的加密状态不可以修改。 使用中的KMS密钥不可以删除,如果删除将导致加密对象不能下载。 父主题: 关键操作指导
(${2_1})表示目的端表行数。此处配置告警条件为${1_1}!=${2_1},表示当左侧表行数与右侧表行数不一致时,触发报警并显示报警状态。 单击“下一步”,配置订阅信息,如下图所示。 勾选触发告警表示作业报警时发送通知到对应的smn主题,勾选运行成功表示不报警时发送通知到SMN主题。
Y Y N N 删除通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的删除操作) Y Y N N 操作通用配置 (指逻辑实体或表的导入、导出、发布、下线、同步、逆向等操作) Y Y Y N 查询通用配置 (指已发布状态的逻辑实体或表,对其在编辑并保存后产生的草稿的查询操作)
义,此处可配置为“${1}<=0”,表示总行数小于等于0时触发告警。 图4 告警配置 单击“下一步”,进入“订阅配置”页面。 如果开启通知状态,需选择通知类型,并选择主题。通知类型有“触发告警”和“运行成功”两类,可根据实际业务场景选择。 单击“下一步”,进入“调度配置”页面。
待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过) 图7 查看OBS桶返回记录 案例二:通过MRS Spark Python作业实现打印输出"hello
继续执行下一节点”的作业可理解为忽略失败的作业,系统默认运行结果为成功。 对于运行状态为忽略失败的作业,支持发送的通知类型如下: 运行异常/失败:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行异常/失败”。 运行成功:对于运行状态为忽略失败的作业,支持发送的通知类型为“运行成功”,系统默认策略为运行成功。
定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关,该功能只备份作业,不会备份连接。 开 备份策略 所有作业:不管作业处于什么状态,CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业:选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期:
名和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了Oracle数据库驱动。 创建CDM集群并绑定EIP
(可选)本地IDC添加路由。 本地IDC需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),导向华为侧网关,添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。 为了允许云专线访问资源组网段,需登录云专线控制台,在左侧导航栏,选择“云专线