检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题: 网络打通
数据库部署在其他云 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。
单击“确定”,新建数据库模式。 相关操作 修改数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要修改的数据库模式,右键单击数据库模式名称,选择“修改”后,在弹出的页面中修改数据库模式的信息。 删除数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要删除的数据库模式,右键
如何创建数据库和数据表,数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表,数据库与数据连接的关系不清楚,需要具体解释下,便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts
享版集群。 新建数据服务审核人 在创建API前,需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中,生成API支持两种方式(配置方式生成API和脚本/MyBatis方式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。
什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用
支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控
个数据标准。 在新建数据标准页面中,请参考表2配置参数。 在新建数据标准页面中,仅显示在“配置中心 > 标准模板管理”中已勾选的参数和已添加的自定义参数。表2中所示为选中数据标准模板中的所有参数并添加了一个自定义参数的场景。有关配置数据标准模板的详细信息,请参见标准模板管理。 图3
如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 2022/02/09至2022/02/28,每天1点00分执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为依赖上一周期或者不依赖,此处配置为不依赖即可。
本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单
入方向放行:放通弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到弹性公网IP的数据传输。 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加弹性公网IP(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。
逆向数据库”。 图1 逆向数据库 在“逆向数据库”对话框中配置如下参数。 图2 配置逆向数据库参数 表1 逆向数据库 参数名称 说明 *所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 如果逆向到逻辑模型,请在下拉列表中选择所需要的连接类型。 如果逆向到物理模型,将显示当前模型的连接类型。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
打开需要逆向数据库导入的维度或表的页签,从下拉列表选择需要逆向数据库的维度或表,然后单击列表上方的“逆向数据库”。 图1 选中对象 在“逆向数据库”对话框中配置参数。 表1 逆向数据库 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。
通过云专线连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过云专线打通网络的方案。 图1 网络示意图
通过VPN连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过VPN打通网络的方案。 图1 网络示意图
0.0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如172.16.0.0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组,则还需要增