检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如,在技术资产的事实表中,您可以查看数据血缘等
0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组,则还需要增加入
PostgreSQL数据源如何手动删除复制槽? 问题描述 PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的d
型,再进一步细化设计出逻辑模型,最后设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region不同租户场景下,通过企业路由器打通网络的方案。
Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)即可。 Apache HDFS目前仅支持作为源端数据源。 支持 支持 RDS(达梦数据库DM)
同Region不同租户通过对等连接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region不同租户的场景下,通过对等连接打通网络的方案。
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
16.0.0/19 网络配置流程 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同,
入方向放行:放通弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到弹性公网IP的数据传输。 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加弹性公网IP(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。
16.0.0/19 网络配置流程 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同,
场景。数据集成支持的功能主要有: 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移
配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS
配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数
数据安全概述 数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
数据表所属的数据连接。系统默认。 数据库 是 数据表所属的数据库。系统默认。 模式 是 选择数据库的模式。 表描述 否 数据表的描述信息。 高级选项 否 提供以下高级选项: 选择数据表的存储方式 行存模式 列存模式 选择数据表的压缩级别 行存模式:压缩级别的有效值为YES/NO。 列存模式:压缩级别