检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品功能 数据集成:多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题: 网络打通
中单击指定资源组的下拉框,查看该资源组的VPC网段。 图4 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。
Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
中单击指定资源组的下拉框,查看该资源组的VPC网段。 图3 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。
(可选)购买DataArts Studio功能增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
中单击指定资源组的下拉框,查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
CDM是否支持集群关机功能? 问题描述 CDM是否支持集群关机功能? 解决方案 不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成(CDM作业)
中单击指定资源组的下拉框,查看该资源组的VPC网段。 图4 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则,放通Migration资源组VPC网段(例如172.16.0.0/19),使其可以访问数据库监听端口。
对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别: OMS用于他云到华为云的数据迁移;CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。 数据复制服务 DRS 支持主流数据库到华为云的入云和出云迁移 数据库在线迁移
配置DWS目的端参数 表1 DWS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。 单击输入框后面的按钮可选择模式或表空间。 整库迁移时无该参数。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
不指定时默认关闭该功能。 toJobConfig.copyContentType 否 Boolean “toJobConfig.outputFormat”(文件格式)为“BINARY_FILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实
开启路由后,支持指定某一列的值作为路由写入Elasticsearch。 说明: 开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elas
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
配置MongoDB目的端参数 表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名,单击输入框后面的按钮可进入集合的选择界面。