检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。
物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。
解决方案 关系建模或维度建模修改字段更新表后,但实际上数据库中物理表并无变化,这是因为未对数据表更新方式做配置,此选项默认为“不更新”。
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
配置权限集前,已参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 如果希望在权限配置时能够展示数据连接中数据库、表以及字段等元数据提示信息,则需要在数据目录组件,对数据表成功进行过元数据采集,详见元数据采集任务。
图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI SQL脚本时,所选择的队列会在缓存中进行存储。新建DLI SQL脚本的时候,就会自动选择该队列。
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
数据集成集群 一个数据集成集群运行在一个弹性云服务器之上,用户可以在集群中创建数据迁移作业,在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。
数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。
图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。 例如在11月中,11月的月周期作业是否运行取决于10月的天周期作业是否全部运行完成。
密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 数据集成(CDM作业)
您可以将数据标准关联到各个业务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。
在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 > 实时集成作业监控”页面查看实时处理作业的运行状态、运行时间、运行耗时等信息,以及进行如表1所示的操作。
CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。 约束与限制 数据集成中的集群配置、环境变量等数据不支持导入导出,如有需要,请您进行手动配置同步。 由于安全原因,CDM不会将对应数据源的连接密码导出。
作业的计划时间和开始时间相差大,是什么原因? 问题描述 如图所示,在作业实例监控页面查看作业运行记录时,发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为在数据开发中
在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息,以及进行如表1所示的操作。
单AZ:仅可以选择1个AZ,集群节点部署在同一AZ上。 多AZ:可选择2-10个AZ,集群节点部署在不同AZ上,以提升集群的容灾能力。 详情请参见什么是可用区。 集群名称 - 集群描述 可以自定义对当前数据服务专享版集群的描述。 版本 当前数据服务专享版的集群版本。
图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟 规则:分钟是最小调度粒度,没有自然分钟周期的概念,依赖策略是根据调度周期长的作业,往前推一个调度周期找依赖实例。
分库连接参数说明 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。