检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 AppSecret:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
vpc_id String 虚拟私有云ID。 customerConfig CustomerConfig object 用户配置信息。 datastore Datastore object cdm信息。 isAutoOff Boolean 自动关机。
主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。 什么是数据库和应用迁移(UGO)?
CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图2 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节
问题描述 在打通资源组与数据源之间网络时,需要在数据源所属安全组放通资源组的网段访问对应端口,那么具体需要放通哪些端口? 解决方案 对于不同的数据源其使用的端口也不尽相同,具体可通过查看各数据源官方文档确定具体端口。 下表提供部分数据源端口情况,仅供参考。
- 直连模式 适用于主节点网络通,副本节点网络不通场景。 说明: 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通,副本节点网络不通场景。 否 父主题: 配置连接参数
因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图2所示。
因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图1所示。
网络准备 数据库部署在本地IDC 参考数据库部署在本地IDC进行网络准备。 数据库部署在其他云 参考数据库部署在其他云进行网络准备。 数据库部署在华为云 参考数据库部署在华为云进行网络准备。 父主题: 数据集成(实时作业)
- 直连模式 适用于主节点网络通,副本节点网络不通场景。 说明: 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通,副本节点网络不通场景。 否 连接属性 自定义连接属性,支持MongoDB属性,单位为ms。
网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息中查看数据源配置,根据Migration网络打通教程完成网络打通。 图4 查看数据源配置 Migration作业创建与启动 创建作业。
与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 您可以通过如下方式获取访问密钥。
前提条件 已在数据仓库服务创建DWS集群,确保与DataArts Studio实例网络互通,并且具有KMS密钥的查看权限。 已在MapReduce服务创建MRS集群,确保与DataArts Studio实例网络互通。 已创建CDM集群,详情请参见购买批量数据迁移增量包章节。
注册API 本文将为您介绍如何将已有的后端服务API,借助数据服务统一注册发布到API网关,与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册,包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制台首页
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务?
图2 选择集成作业类型 配置网络资源。 选择已创建的源端、目的端数据连接及已配置好网络连接的资源组。
DataArts Studio是否支持私有化部署到本地或私有云? 如何选择DataArts Studio版本 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费? DataArts Studio是否支持版本升级?
在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:网络打通。 多类场景下的数据同步 支持单表、整库及分库分表实时增量数据同步。