检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合理配置基线承诺时间和预警余量 本章节介绍如何合理的配置基线承诺时间和预警余量。 基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。 基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效。
*)”，在“文件名”处输入文件名和.csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。
管理动态水印策略 动态水印指在数据的访问过程中，动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能，最终在数据开发组件中转储或下载敏感数据时，系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后，当策略中指
上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。
在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件 已定义敏感数据识别规则，未定义请参考定义识别规则完成定义。 已配置内置脱敏算
当“规则类型”选择“表级规则”，数据对象选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，定义如何对数据对象进行数据质量监控。 参数默认值 自定义SQL可设置入参用于执行，SQL入参需要与参数默认值顺序匹配（数据质量单点执行时）。 说明：
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
配置队列权限 本章介绍如何通过队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略。 当前队列分配和队列权限管控均为白名单机制。即如果未分配队列，则无法选择队列；如果队列未对用户授权，则用户无法使用队列。 当为工作空间分
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
安全组”界面对MRS集群创建的安全组（以“mrs_集群名_随机字符”命名）添加规则，放通入方向的DataArts Studio实例安全组，详情请参见如何配置安全组规则章节。 您需要在云数据库RDS服务控制台，创建一个MySQL数据库实例，用于模拟原始数据源。建议创建MySQL数据库时，相关网络参数与DataArts
嵌入数据水印 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景： 规范数据外发流程 实现对企业内部人员数据外发进行有效流程化管理，非授权用户在数据外发前需审批，审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息，可以将
Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL
Shell节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数，详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同
开发批处理单任务SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的批处理作业，请您参考开发SQL脚本、配置作业参数、质量监控、数据表、调测并保存作业和下载或转储脚本执行结果章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
