检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除识别规则。 1800 20 修改识别规则接口 修改识别规则接口。 1800 20 批量删除识别规则接口 批量删除识别规则接口。 1800 20 修改识别规则状态接口 修改识别规则状态接口。 1800 20 创建组合识别规则 创建组合识别规则。 1800 20 修改组合识别规则
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统
now()}”用来标识当前日期字符串。 新建转换器 CDM支持字段内容转换,如果需要可单击操作列下,进入转换器列表界面,再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码,以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST
段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图9 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”,如图10所示。 y、ym、ymd字段的表达式分别配置如下: DateUtils.format(DateUtils
在资源目录中,单击,弹出“新建目录”页面,配置如表1所示的参数。 表1 资源目录参数 参数 说明 目录名称 资源目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。 选择目录 选择该资源目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则 定义识别规则分组 发现敏感数据 查看敏感数据分布 管控敏感数据 父主题: 数据安全
表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 ETL配置 是 单击配置需要转换的源端数据和目的端数据。 当前支持的源端数据为DLI类型、OBS类型和MySQL类型。
MRS、DWS、DLI数据的访问控制,按需为用户、用户组分配最小权限,从而降低企业数据信息安全风险。 敏感数据治理 敏感数据识别通过用户创建或内置的数据识别规则和规则组自动发现敏感数据并进行数据分级分类标注。 隐私保护管理 隐私保护管理可以通过数据静态脱敏、动态脱敏、数据水印、文
新建采集任务入口 配置基本参数,参考表1。 表1 基本配置说明 参数名 说明 任务名称 采集任务的名称,只能包含中文、英文字母、数字和下划线,且长度不能超过62个字符。 描述 为更好的识别采集任务,此处加以描述信息。描述信息长度不能超过255个字符。 选择目录 采集任务的存储目录,可选择已创建的目录。目录创建请参见图1。
import_data_classification_rule Object 导入成功的识别规则。 rule_name String 数据识别规则名称。 rule_type String 数据识别规则类型 REGEX 正则表达式 KEYWORD 关键字 rule_desc String
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 标签管理”。 单击“新建”,新建标签。 标签名称:只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。 描述:标签的描述信息,长度不能超过255个字符。 勾选标签,单击“删除”,可删除标签。
期格式。需要通过CDM配置字段转换器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
MRS的作业名称。系统同时支持按照作业名称自动填入。 未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成。最大只能输入64个字符,不能包含中文字符。 说明: 如果选择MRS API连接方式的数据连接,不支持设置作业名称。 数据连接 选择数据连接。 MRS资源队列
数据安全API 权限管理接口 识别规则接口 规则分组接口 数据权限查询接口 数据密级接口 权限应用接口 敏感数据分布接口 用户同步接口 队列权限接口 数据分类接口 数据安全诊断接口 空间资源权限策略管理接口 安全管理员接口 动态数据脱敏接口 权限审批接口 权限申请接口
开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS,并创建MRS集群,为Hive SQL提供运行环境。 MRS集群创建时,组件要包含Hive。
根据需要,选择敏感数据保护、数据权限控制或数据源保护页签,单击“开始扫描”或“重新扫描”,进行安全诊断。 扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“处理风险”进行优化,保障数据使用过程的安全可靠。 另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图