检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据,经过数据准备对数据预处理后,导入到目标数据源。 目标端是DWS的ETL Job节点,不支持使用委托进行调度,建议采用兼容性更佳的公共IAM账号方式进行调度,详见配置调度身份。 参数 用户可参考表1,表2和表3配置ETL
数据源安全组放通哪些端口可满足Migration访问? 问题描述 在打通资源组与数据源之间网络时,需要在数据源所属安全组放通资源组的网段访问对应端口,那么具体需要放通哪些端口? 解决方案 对于不同的数据源其使用的端口也不尽相同,具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况,仅供参考。
服务资源访问控制 配置队列权限 配置空间资源权限策略 配置目录权限 配置下载权限 父主题: 统一权限治理
导入导出接口 导出资源 获取导入导出的任务状态 下载资源任务文件 上传导入的文件接口 导入资源 父主题: 数据质量API
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
实时报警平台搭建 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。
可通过导入的方式将复合指标批量快速的导入到系统中。 在复合指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入复合指标 下载复合指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:
创建DataArts Studio数据连接 通过配置数据源信息,可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。
数据开发 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil
在导入码表时,只有创建或更新操作,不会删除已有的码表。 *上传模板 选择所需导入的码表文件。所需导入的码表文件,可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内,单击“下载码表导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。模板参数的详细描述,请参见表4。 码表模板填写说明:
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题: 数据集成(CDM作业)
导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”,进入环境变量页面。
有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件,可以通过以下两种方式获得。 下载流程模板并填写模板 在“导入配置”页签内,单击“下载流程模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存后,先添加再上传,完成模板上传。模板参数的详细描述请参见表3。
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移,迁移原理与新建表/文件迁移作业相同,关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行,会根据整库
存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过
分库连接参数说明 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明
API调用者已完成申请API授权。 本章以Postman工具为例,因此需要已安装Postman工具,如果未安装,请至Postman官方网站下载。 约束与限制 通过IAM应用授权的IAM认证方式API,仅支持通过当前账号及其归属用户的Token进行调用,不支持其他账号及其归属用户调
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移,支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时,JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时,字段名不可包含&和%。