检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接M
名称,名称为必填项。建议包含规则含义,避免无意义的描述,以便于使用中能快速选择需要的规则。 说明: 定义数据识别规则,名称必须唯一。 *识别规则 规则类型选择“自定义”,呈现此参数,支持正则表达式。 当选择“无”,表示关联了该规则的敏感数据发现任务不生效。无法自动为数据资产分类,需要您手动添加分类。
在导航树上选择数据库后,勾选所需的数据表,单次申请时支持选择不同数据库下的表。 说明: 当前仅支持按照数据表粒度,申请数据表的查询数据(SELECT)权限。因此权限申请前,请确保空间权限集已配置所选数据表中所有列的SELECT权限。 另外,导航树上的快速模式开启后,库表列的元数据会从数据目录获
填写该作业的责任人。 作业优先级 选择作业的优先级,提供高、中、低三个等级。 说明: 作业优先级是作业的一个标签属性,不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
表/文件迁移和整库迁移时需配置的参数不同,下表参数为表/文件迁移时的全量参数,实际参数以界面显示为准。 表1 Elasticsearch/云搜索服务(CSS)作为目的端时的作业参数 参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM
更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将衍生指标导出到本地。
只允许除\、<、>、%、"、'、;及换行符以外的字符。 *编码 码表的英文名称。支持自动生成码表,也可选择自定义手动输入。只能包含英文字母、数字和下划线,且以英文字母开头。 描述 描述信息。支持的长度为0~600个字符。 在“建表配置”中添加所需要的表字段,单击“新建”或可以添加新的字段,单击某个字段后的按钮可删除该字段。
数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
*用户组/用户 指定当前工作空间成员中的用户或用户组。 指定的用户或用户组按照所选的“SQL操作”进行操作时,只能操作满足“表达式”条件的行级数据。 当选择SELECT时,SELECT类操作受行访问控制的影响,所选用户组/用户只能查看到满足表达式条件的行数据,受影响的操作包括SELECT,UPDATE
相关操作 修改数据库:在脚本开发导航栏,选择,展开下方的数据连接,右键单击数据库名称,选择“修改”后,在弹出的页面中修改数据库的信息。 删除数据库:在脚本开发导航栏,选择,展开下方的数据连接,右键单击数据库名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。 删除操作不可撤销,请谨慎操作。
isNumeric(value) 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils
SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发作业时,单击页面上方的“前往发布”跳转到任务发布页面。 支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同时未提交的作业通过红色进行标识,未调度的作业通过黄色进行标识。 单任务作业支持SQL
确认:确认该条识别结果为有效状态,“未确认”或“无效”状态的规则可以进行确认操作。静态脱敏任务可以基于有效状态的识别规则进行脱敏。 忽略:确认该条识别结果为无效状态,“有效”状态的规则可以进行忽略操作。静态脱敏任务无法选择到未确认/无效状态的识别规则进行脱敏。 数据同步:如果在敏感数据发现
通知管理功能是通过消息通知服务SMN来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 选择主题:选择通知的SMN消息主题。如果缺少合适的主题,则可以单击“查看主题”,进入消息通知服务(SMN)界面创建消息主题信息。
若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手