检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts
些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本： 1
投入，但其在面对客户不断变化的业务诉求时，因为人员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源
醒，此处不再展开描述。 至此，基于电影评分的数据集成与开发流程示例完成。此外，您还可以根据原始数据，分析不同类型电影的评分、浏览情况等，为营销决策、广告推荐、用户行为预测等提供高质量的信息。 父主题： 初级版：基于DWS的电影评分数据集成与开发流程
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题： 数据集成（实时作业）
查看同步日志 Migration实时集成服务底层依托于Flink开发而来，同样对外开放了Flink的JobMamager和TaskManager日志，便于用户查看实时同步情况，并通过日志定位或排查异常问题。 前提条件 实时集成作业已正常运行一段时间（约5分钟）。 操作步骤 参考访问DataArts
击左侧导航栏的“作业监控”，进入“实时集成作业监控界面”，搜索对应的实时集成作业，单击右侧操作栏中的“恢复”按钮。 图3 恢复作业1 方式二：登录DataArts Studio控制台实例，进行所用空间的数据开发的“作业开发”界面，搜索并双击进入对应的实时集成作业配置界面，单击作业导航栏中的“恢复”按钮。
用于连通数据源和资源组网络的中间桥梁，本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式： 登录虚拟专用网络控制台，在左侧导航栏，选择“虚拟专用网络 > VPN网关”，在列表中找到连通其他云所使用的VPN网关，单击VPN网关名称，查看关联的虚拟私有云和本端子网。
writeToLink 否 String 脏数据要写入的连接，目前只支持写入到OBS连接或HDFS连接。例如：“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。
Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致，默认内网互通，否则还需手动打通MySQL数据库与CDM集群的网络。二者的企业项目也应保持一致。 您需要准备OBS桶，用于保存生成的元数据。OBS桶与DataArts Studio实例中的CDM集群的所在区域保持一致，企业项目也应相同。
数据表的数据均来源于该原始数据表。 图30 新建映射 字段映射： 在“字段映射”区域，依次为表中的字段设置源字段，所选择的源字段应与表中的字段代表相同含义，一一对应。如图31所示，在字段映射的底部，会显示生成的SQL语句，可供参考。 如果在“数据架构 > 配置中心 > 功能配置”页面中勾选了“模型设计业务流程步骤
新版本模式 提供的版本 初级版：数据集成+数据开发 基础版：数据集成+数据开发+数据治理 高级版：数据集成+数据开发+数据治理 专业版：数据集成+数据开发+数据治理 企业版：数据集成+数据开发+数据治理 免费版：数据集成+数据开发 初级版：数据集成+数据开发 专家版：数据集成+数据开发+轻量数据治理
某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群，执行自动实时监控、告警和通知操作，帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能，自行保证系统可用性，尤其是告警及通知功能，否则只能人工值守。 使用
简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限，包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置，数据导入导出等 进行数据开发配置，比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。 开发环境：所有操作
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP：单击集群操作列中的“绑定弹性IP”，进入EIP选择界面。
建议您将简单模式工作空间升级为企业模式工作空间，以便获得更好的开发流程管控。详情请参见创建企业模式工作空间。 背景信息 本文内容由以下几部分构成，从不同角度分别为您解决企业模式不同的问题。 表1 了解企业模式 分类 说明 简单模式与企业模式介绍 不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响
步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 华为云账号及权限准备 准备华为账号，创建用户并授权使用Migration。 参考注册华为账号并开通华为云。 参考授权使用实时数据集成。 实时计算资源组准备 购买实时集成任务使用的计算资源，并关联到要使用的DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
