检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、
逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。 图26 逆向数据库 逆向数据库成功后,单击“关闭”。
数据集成支持的功能主要有: 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 SQL Server 支持按表字段分片。
操作步骤 本小节以RDS for MySQL到DMS Kafka实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
输入使用场景说明,选择对应数据连接、数据库和数据表。 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后,在权限信息页面依次勾选需要使用的表/列权限。
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。
解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。 父主题: 数据安全
操作步骤 本小节以RDS for MySQL到DWS的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览, 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
随着各地复工复产加速,跨区域人口流动为疫情防控带来新的挑战,统一各层级政府和不同部门的数据标准,共享确诊、疑似病例、密切接触者、县域风险等级数据库是当下数据治理的关键。
MySQL同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库(5.6、5.7、8.x版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migration
PostgreSQL同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 PostgreSQL数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系
隐私数据保护简介 隐私数据保护是数据安全提供的一项用于敏感数据保护的功能。在隐私数据保护模块,您可以通过数据静态脱敏、动态脱敏、数据水印、文件水印和动态水印等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃,从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。 保护方式
给用户添加数据库CONNECT, VIEW DATABASE STATE 权限。
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业
该节点是从发布汇总表“供应商统计汇总”时自动生成的数据开发作业(作业名称以demo_dm_db_dws_vendor_开头,命名规则为“数据库名称_汇总表编码”)中复制的,复制节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。
溯源数据水印 本章主要介绍如何利用泄露的数据文件进行水印溯源。 数据溯源主要用来对泄露数据进行快速溯源。通过对泄露数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息,从而对安全事件精准定位追责。 前提条件 用户获得泄露的数据文件后,生成字符分隔值(Comma-Separated