检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看同步日志 Migration实时集成服务底层依托于Flink开发而来，同样对外开放了Flink的JobMamager和TaskManager日志，便于用户查看实时同步情况，并通过日志定位或排查异常问题。 前提条件 实时集成作业已启动、启动过。 实时集成作业已正常运行一段时间（约5分钟）。
企业模式业务流程 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者：
查看业务场景实例 管理所有运行的业务场景，查看运行状态、运行日志、问题处理等。 界面说明 介绍“业务指标监控 > 运维管理”页面中的区域和按键功能。 图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏，包括业务场景实例和我的订阅。 业务场景
实例监控 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 “运维调度”，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”
CDM有哪些优势？ 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。
步骤6：数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发，用户可进行数据管理、数据集成、脚本开
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
如何手工重启阻塞的质量作业或对账作业？ 可能原因 质量作业或对账作业运行阻塞。 解决方案 阻塞的作业需要进行手工重启，如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”，先单击对应作业操作栏中的“取消”，作业运行状态变更为“失败”，此时然后单击操作栏中的“重跑”即可完成作业重启。
DRS任务切换到实时Migration作业配置 DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
如何确认质量作业或对账作业已经阻塞？ 可能原因 质量作业或对账作业运行阻塞，不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时，选择“运维管理”，单击操作栏中的“结果&日志”并选择查看“运行日志”，当“运行日志”不再更新，表示作业已经阻塞。 图1 作业运行日志 父主题：
如何创建通知配置对全量作业都进行结果监控？ 问题描述 创建通知配置如何对全量作业都进行结果监控。 解决方案 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，在“运维调度 > 作业监控”中，选择“批作业监控”页签。
配置告警规则 操作场景 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警
步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中，可以对业务指标和数据质量进行监控。
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
如何查看CDM作业被哪些作业进行调用？ 问题描述 CDM作业被哪些作业进行调用。 解决方案 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业的监控页面。 通过条件筛选，查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种，不同调度周期的作业，其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则：分钟是最小调度粒度，没有自然分钟周
批作业监控 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台，如果每日频繁调度大量的大数据作业，可能会遇到如下痛点： 作业失败无感知：大数据的离线作业大部分会在凌晨执行，当作业失败时，用户无法及时得知并处理。 作业补数窗口期较短
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
