检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时作业监控 实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的
前提条件 使用实时集成作业监控功能，需获取CES相关权限。 监控指标对应的实时集成作业需要正常运行，停止或异常的作业仅支持查看7天内的监控指标。 实时集成作业已正常运行一段时间（约10分钟）。 支持的监控指标 实时处理集成作业支持的监控指标如表1所示。 表1 实时处理集成作业支持的监控指标
数据源安全组放通哪些端口可满足Migration访问？ 问题描述 在打通资源组与数据源之间网络时，需要在数据源所属安全组放通资源组的网段访问对应端口，那么具体需要放通哪些端口？ 解决方案 对于不同的数据源其使用的端口也不尽相同，具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。
批作业监控 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。
Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。 当您创建了CDM集群后，云监控服务会自动关联CDM的监控指标，帮助您实时掌握CDM集群的各项性能指标，精确掌握CDM集群的运行情况。 本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。
配置告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
CDM是否支持动态数据实时迁移功能？ 问题描述 CDM是否支持动态数据实时迁移功能？ 解决方案 不支持。 如果源端在迁移过程中写数据，可能会出现报错。 父主题： 数据集成（CDM作业）
各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行连通性测试，详情请参考创建实时集成作业。 父主题：
x.x/32），使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 测试网络连接。 在DataArts Studio工作空间下创建数据连接，并创建实时集成作业，选择对应数据连接和资源组进行
tion资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 （可选）其他云数据库所在网络添加路由，专线添加远端子网。 必要时，其他云数据
数据集成（实时作业） 问题案例总览 数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ 如何配置Hudi Compaction的Spark周期任务？ MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，
tion资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 （可选）其他云数据库所在网络及VPN网关添加路由。 必要时，其他云数据库所在
DRS任务切换到实时Migration作业配置 DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
修改任务配置 根据实际需求，在实时集成作业配置界面中修改对应参数，随后保存提交作业。 恢复实时集成作业。 方式一：登录DataArts Studio控制台实例，进行所用空间的数据开发界面，单击左侧导航栏的“作业监控”，进入“实时集成作业监控界面”，搜索对应的实时集成作业，单击右侧操作栏中的“恢复”按钮。
跨Region通过云连接连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组不同Reg
IP地址：资源组网段 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 创建Migration实时网络连接（对等连接）。 为了连通华为云数据库VPC和实时资源组VPC网络，可以通过DataArts St
使用云专线直接迁移时的优缺点： 优点：数据无需做多次的搬迁，缩短整体搬迁周期。 缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云）
tion资源组VPC网段，使其可以访问数据库监听端口。 各数据源所用端口不尽相同，可参考数据源安全组应放通哪些端口可满足Migration访问？进行安全组规则端口配置。 创建Migration实时网络连接。 为了连通中转VPC和实时资源组VPC网络，可以通过DataArts St
数据源和资源组网络不通如何排查？ 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
