检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题： 使用教程
查看数据血缘 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据
为什么DWS数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 父主题： 管理中心典型场景教程
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节
为什么Hive数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 父主题： 管理中心典型场景教程
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
在注册页面，根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验，建议您优先完成实名认证。实名认证分为个人账号和企业账号认证，不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证，可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后，请耐心等待审核结果，最长3个工作日内完成审核。
在注册页面，根据页面提示完成账号注册。 为了能够给您提供更好的云服务使用体验，建议您优先完成实名认证。实名认证分为个人账号和企业账号认证，不同账号类型认证的方法请参考以下链接。若您的账号已通过实名认证，可以略过此部分内容。 个人账号如何完成实名认证 企业账号如何完成实名认证 实名认证信息提交后，请耐心等待审核结果，最长3个工作日内完成审核。
早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，仅用于个人调试开发。在开发态下，可以随意编辑、保存、运行脚本/作业，不会影响调度中的脚本/作业；另外在作业关联脚本、配置作业依赖时，被关联的脚本/作业均会读取开发态的配置。
早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，仅用于个人调试开发。在开发态下，可以随意编辑、保存、运行脚本/作业，不会影响调度中的脚本/作业；另外在作业关联脚本、配置作业依赖时，被关联的脚本/作业均会读取开发态的配置。
以财经为例，在数据治理前存在很多问题，如由于IT系统的烟囱式建设，导致一个角色跨多个IT系统操作，效率低；数据获取难，手工处理多，单一个收入管理需要从5个系统导出数据，约11个人总共花费50小时完成分析。 通过数据治理，华为可以做到3天月度财务报告出初稿、5天月度财务报告出终稿、11天年度财务报告完成初稿，要把一家
Client 功能 通过Rest Client节点执行一个华为云内的RESTful请求。 Rest Client算子的具体使用教程，请参见获取Rest Client算子返回值教程。 当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥
在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。 本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail02和mail03，
资源迁移 使用教程 数据集成 数据集成概述 CDM支持的数据源 CDM使用教程 数据架构 准备工作 数据调研 标准设计 模型设计 指标设计 数据集市建设 数据开发 数据管理 脚本开发 作业开发 运维调度 配置管理 使用教程 数据质量 业务指标监控 数据质量监控 使用教程 数据目录 数据地图
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS Spark Python节点的参数。 表1
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 Import GES算子的具体使用教程，请参见基于MRS Hive表构建图数据并自动导入GES。 参数 用户可参考表1和表2配置Import GES节点的参数。 表1 属性参数 参数
通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。 表1 属性参数 参数 是否必选 说明
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
使用Python节点前，需确认对应主机连接的主机配有用于执行Python脚本的环境。 功能 通过Python节点执行Python语句。 Python节点的具体使用教程，请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表2配置Python节点的参数。 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
