检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源（此处指MRS/DWS数据源）会使用数据连接上的账号进行认证鉴权。因此在数据开发时，权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权，从而做到实现不
存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符，满足该过滤条件的文件才会被移动或复制。当不指定该参数时，默认移动所有源文件。例如：匹配文件名以.csv结尾的文件，输入通配符*.csv。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，
户后续进行敏感数据发现任务操作的前提 。 前提条件 识别规则创建完成，请参考定义识别规则。 约束与限制 敏感数据识别过程中，当某个字段同时匹配到识别规则组中的多个识别规则时，此字段密级取多个识别规则的最高密级，字段分类允许有多个。 数据识别规则分组最多配置100条。 被引用的数据
置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成CDM集群，由于规格限制，仅用于测试、试用等非正式业务场景。如果您需要创建用于业务场景的CDM集群，则可通过购买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包（按需资源包）
）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选
）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选
）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选
*数据库 下拉选择存放水印表的数据库。 *目标表名 用户手动输入，不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”，否则将无法进行下一步操作。 图4 源、目标端配置 单击“下一步”，进行调度信息配置。 数据集范围为全量模式时，仅支持单次调度。 数据集
）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 自动创表场景下，需在目的端
为某个值以及要对调用者隐藏参数的场景。 API测试 完成API参数的配置并保存后，单击左下角的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，如果数据服务API查询及返回数据的总时长超过默认60秒，会报超时错误。
图2 关联维度表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则：若勾选此项，新添加的规则会覆盖旧规则。 匹配字段：此参数默认应用于所有字段，依据用户输入的正则表达式对字段进行过滤。 Where条件：可依据用户输入的where条件对字段进行过滤。
的“开始测试”，可进入API测试环节。 填写参数值，单击“开始测试”，即可在线发送API请求，在右侧可以看到API请求详情及返回内容。 测试过程中，如果数据服务API查询及返回数据的总时长超过默认60秒，会报超时错误。 如果测试失败，请查看错误提示并做相应的修改重新测试。 完成A
操作（节点） 操作项 说明 查看日志 查看节点的日志信息。 进行作业手动测试运行时，作业测试运行日志查看有权限管控，比如，用户A进行作业测试运行后，可以在“实例监控”页面查看测试运行日志，不允许用户B查看该测试运行日志。 手工重试 节点的状态为“失败”时，支持重新运行节点。 节点的
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示： 权限自助申请：用户可以选择自己需要权限的数据表，在线上快速发起申请。 权限审计：管理员可以快速方便地查看数据库表权限对应人员，进行审计管理。 权限回收/交还：管理员可以通过用户权限管理及时回
有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果不存在，则添加新记录。 替换：使用指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只会替换找到的第一条记录）。如果没有，则不会添加新记录。
脏数据属性用户不能编辑，自动从SQL脚本内容中关联推荐。 匹配规则 设置java正则表达式，匹配DWS SQL结果内容，比如表达式为(?<=\()(-*\d+?)(?=,)， 匹配对应SQL结果为 (1,"error message") ，匹配到的结果为 "1"。 失败匹配值 当匹配成功的内容等于设置值时，该节点执行失败。
作业名称不符合规则，将导致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本 MRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群，请先测试运行，保证集群支持。 如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。
精确匹配时，直接使用column:data格式进行匹配过滤。其中column表示字段名，data表示查询条件，例如“last_name:Smith”。 另外，如果查询条件data为带空格的字符串，则需要用双引号包围。如果不指定column，则会对所有字段以data进行匹配。 多
MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略，因此需要如果希望在DataArts Studio数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权以实现动态脱敏策略生效，则需要启用细粒度认证。 如果希望创建脱敏策略时能够查看哪些字段为敏感字段，则需
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
