检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除数据密级、分类和识别规则,其他普通用户无权限操作。 当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。 导入预置数据分类时,需要先为所有的预置规则配置数据密级,才能导入预置数据分类。 导入预置数据分类时,会直接导入分类和对应的识别规则,与当前分类和规则同名的部分无法导入。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
CDM作业实际启动时间-偏移量”。 directory/ 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。例如:CSV格式。 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。
据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通。这样在数据地图组件中,就可以根据一套标准的分级分类管理对数据进行统一管理。
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本,请参见新建脚本。 已新建主机连接
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则(部分高级特性) 定义识别规则分组 配置数据入湖检测规则(高级特性) 发现敏感数据 配置推荐识别(高级特性) 检测文件敏感数据(高级特性) 查看敏感数据分布 管控敏感数据 父主题: 数据安全
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含
贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块
outputFormat 是 枚举 写入数据时所用的文件格式(二进制除外),支持以下文件格式: CSV_FILE:按照CSV格式写入数据。 BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。
起来,从而实现数据的版权保护。 对泄露数据进行快速溯源 通过对泄露数据文件解封,根据数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息(数据源地址、分发单位、负责人、分发时间等),从而对安全事件精准定位追责。 数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程
删除识别规则。 1800 20 修改识别规则接口 修改识别规则接口。 1800 20 批量删除识别规则接口 批量删除识别规则接口。 1800 20 修改识别规则状态接口 修改识别规则状态接口。 1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则
S时加密为例,介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密
分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作
S时加密为例,介绍AES-256-GCM加解密的使用方法。 源端配置解密 创建从HDFS导出文件的CDM作业时,源端数据源选择HDFS、文件格式选择二进制格式后,在“源端作业配置”的“高级属性”中,配置如下参数。 加密方式:选择“AES-256-GCM”。 数据加密密钥:这里的密
import_data_classification_rule Object 导入成功的识别规则。 rule_name String 数据识别规则名称。 rule_type String 数据识别规则类型 REGEX 正则表达式 KEYWORD 关键字 rule_desc String
HDFS连接中的“hdfs_llink”。 源目录或文件:待迁移数据的目录或单个文件路径。 文件格式:传输数据时所用的文件格式,这里选择“二进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可。 目的端作业配置
DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否
迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题: 数据集成(CDM作业)
敏感表密级分布图 展示敏感发现任务识别出的表的密级分布,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现任务识别出的表敏感字段,密级和用户定义的一
迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导