检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组VPC网段(例如172.16.0.0/19添加到专线的远端子网中,确保路由通畅,建议参考其他云官网资料进行配置。 云专线本端子网添加资源组网段。 为了允许云专线访问资源组网段,请登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通其他云所使用的虚拟网关
段(例如172.16.0.0/19),导向华为侧网关,添加路由可参考配置本地路由。 云专线本端子网添加资源组网段。 为了允许云专线访问资源组网段,需登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通本地IDC所使用的虚拟网关,单击右侧操作栏中的“修改”
上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
种迁移方式同时进行: CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据: CDH → CDM(华为云) → MRS 使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。
Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者专线打通网络;而在同区域情况下,同子网、同安全组的不同实例默认网络互通。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
如果数据湖为云下的数据库,则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云
如果数据湖为云下的数据库,则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区
L服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 >
Notification,简称SMN)依据用户的订阅需求主动推送通知消息,使用户可以在触发告警(如质量监控)时能立即接收到通知。 云专线服务 DataArts Studio使用云专线服务(Direct Connect,简称DC)打通与第三方数据中心的网络通信。 API网关服务 DataArts Studio通过API网关服务(API
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts
效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
前账户已有可用VPC,可以跳过本步骤。 在华为云购买并配置云专线或VPN虚拟专用网络。 为了连通其他云计算环境与华为云计算环境,可以通过开通云专线或虚拟专用网络来实现。 购买和配置云专线DC的相关操作,可以参考通过云专线实现云下IDC访问云上VPC。其中在创建虚拟网关时,虚拟私有
Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。 表2 Apache Kafka连接参数 参数名 说明 取值样例
做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化,请参见目的端数据源的相关说明文档。 父主题: 优化迁移性能