检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加密相关工具平台通过提供常见的加密模块及密钥管理能力,落地数据的加密需求。 数据脱敏是通过一定的规则对特定数据对象进行变形的一类技术,用于防止数据泄露和违规使用等。 数据水印技术通过对数据进行处理使其承载特定信息,使得数据具备追溯数据所有者与分发对象等信息的能力。
说明: 单击“日志”,可实时查看元数据采集、数据概要、数据分类三类任务的运行日志。 更多 > 取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。
前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。
从文件迁移到数据库的场景,您需要预先创建目标数据表。由于本示例的数据源源端为OBS上的CSV文件,而非数据库,在使用DataArts Studio数据集成将数据迁移上云时,不支持自动创建目标表的功能,因此,您需要在目的端(MRS服务)先建好表。
已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。
当数据源类型为DLI时,该参数需要填写为DLI。 database_name 是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。
分库分表同步:适用于数据入湖和数据上云场景下,多库多表同步场景,支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。
300 40 获取质量报告技术报告数据 获取质量报告技术报告数据。 300 40 获取质量报告业务报告数据 获取质量报告业务报告数据。
配置脱敏策略(待下线) 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 在已上线数据安全组件的区域,数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。
资产管理接口 资产管理接口 资产分类接口 资产分类接口 资产分级接口 资产分级 资产信息 资产信息接口 血缘信息 血缘信息接口 元数据采集任务接口 元数据采集任务接口 标签接口 标签接口 数据地图接口 数据地图接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有
修改数据标准模板 功能介绍 修改数据标准模板。 调用方法 请参见如何调用API。
停止补数据实例 功能介绍 停止指定的补数据实例。只有补数据实例的状态是运行中,才能停止补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
获取数据标准集合 功能介绍 根据查询条件分页获取数据标准集合,按修改时间降序排序。 调用方法 请参见如何调用API。
支持的数据源 实时集成作业支持的数据源如表1所示。
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。
更新数据连接信息 功能介绍 更新数据连接信息。 调用方法 请参见如何调用API。
华为云CDM创建连接 创建2个CDM集群: DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
数据源抽取写入性能实测数据 常见数据源的性能实测结果分别如表1和表2所示。