检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA（Plan-Do-Check-Action）循环的科学程序，
实时作业概述 DataArts Studio的Migration服务提供了实时数据同步功能，可将数据通过同步技术从一个数据源复制到其他数据源，并保持一致，实现关键业务数据的实时流动。 常用场景：实时分析，报表系统，数仓环境等。 同步特点：实时同步功能聚焦于表和数据，并满足多种灵活
正常进行业务操作。 后续操作 依赖服务权限最小化：DAYU User系统角色预置的依赖服务相关权限过大，可能导致相关安全风险。您可以参考如何最小化授权IAM用户使用DataArts Studio，手动调整过大的预置依赖服务权限，使依赖服务权限最小化。 父主题： 授权用户使用DataArts
正常进行业务操作。 后续操作 依赖服务权限最小化：DAYU User系统角色预置的依赖服务相关权限过大，可能导致相关安全风险。您可以参考如何最小化授权IAM用户使用DataArts Studio，手动调整过大的预置依赖服务权限，使依赖服务权限最小化。 父主题： 授权用户使用DataArts
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，
上传增量数据 使用CDM将存量数据上传完后，单击该作业后的“编辑”，直接修改该作业。 保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种，不同调度周期的作业，其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则：分钟是最小调度粒度，没有自然分钟周
数据表与数据库强相关，基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，定义如何对数据对象进行数据质量监控。 默认参数值 自定义SQL可设置入参用于执行，SQL入参需要与参数默认值顺序匹配（数据质量单点执行时）。 说明：
Report)，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 DM (Data Mart)，又称数据集市。DM面向展现层，数据有多级汇总。 本章节为您介绍如何在DataArts Studio平台的“数据架构”模块中实现模型设计，流程如下。 添加审核人 在数据架构中，数据建模流程中的步骤都需要经过审批，因此，需要先添加审核人。DAYU
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。 增量迁移指定时间段内的数据 适用场景：源端为关系型数据库，目的端没有要求。 关键配置：Where子句+定时执行作业。 前提条件：数据表中有时间日期字段或时间戳字段。
MySQL）为例进行介绍，使用流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建RDS连接 创建整库迁移作业 前提条件 用户拥有EIP配额。 用户已购买RDS数据库实例，该实例的数据库引擎为MySQL。 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，
性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。 compaction.delta_commits int 40 实时处理集成生成compaction
自定义规则：在创建质量作业时，“规则类型”选择为“自定义规则”，然后您可以通过输入完整的SQL语句，定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表，但不同数据库的表无法共存。 本文以新建自定义模板为例，说明如何创建规则。如果您需要新建自定义规则，请直接参考新建数据质量作业进行自定义规则质量作业的创建。
Hive分区表，流程如下： 在MRS Hive上创建Hive分区表 创建CDM集群并绑定EIP 创建MySQL连接 创建Hive连接 创建迁移作业 前提条件 已经购买MRS。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
> 创建数据开发作业”（默认不勾选），发布表时，系统支持根据表的映射信息，在数据开发中自动创建一个ETL作业，每一个映射会生成一个ETL节点，作业名称以“数据库名称_表编码”开头。当前该功能处于内测阶段，仅支持DLI->DLI和DLI->DWS两种映射的作业创建。 已创建的ETL作业可以进入“数据开发
同步，且不支持为空间权限集关联角色；而权限集可通过权限同步进行权限管控（实际使用时，更推荐通过权限集关联角色进行权限管控）。 本章主要描述如何通过创建空间权限集和配置空间权限集定义工作空间权限范围。 前提条件 配置权限集前，已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS
同步，且不支持为空间权限集关联角色；而权限集可通过权限同步进行权限管控（实际使用时，更推荐通过权限集关联角色进行权限管控）。 本章主要描述如何通过创建权限集和配置权限集进行权限管控，在实际使用中更加推荐您通过配置角色进行权限管控。 前提条件 配置权限集前，已完成空间权限集的配置，请参考配置空间权限集。
若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0800 无法连接OBS服务器。原因：%s。 可能是由于OBS终端节点与当前区域不一致、AK/SK错误、AK/SK不是当前用户的AK/SK、安全组或防火墙规则未放行等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
