检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将VPC内的子网共享给当前账号,由当前账号在购买DataArts Studio时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 subnet-1
添加SNAT规则2 中转VPC子网网络添加路由。 中转VPC子网的路由表中需要添加路由,目的地址指向本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 登录虚拟私有云控制台,在左侧导航栏选择“虚拟私有云 > 子网”,找到中转VPC的子网并单击对应路由表名称进入配置界面。
Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。
华为云数据库所属VPC子网的路由表中需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至此前已配置好的云连接。 登录数据源所在租户的虚拟私有云控制台,在左侧导航栏选择“虚拟私有云 > 子网”,找到数据源所在的子网并单击对应路由表名称进入配置界面。
华为云数据库所属VPC子网的路由表中需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至此前已配置好的企业路由器。 登录数据源所在租户的虚拟私有云控制台,在左侧导航栏选择“虚拟私有云 > 子网”,找到数据源所在的子网并单击对应路由表名称进入配置界面。
CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
查看方式: 在当前租户下,登录虚拟私有云控制台,在左侧导航栏,选择“虚拟私有云 > 对等连接”,在列表中查找“对端VPC网段”为数据源VPC的对等连接,它的“本端VPC”即可作为中转VPC。 图2 查看对等连接 VPC:10.186.0.0/19 资源组VPC Migrati
支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换
个API免费试用额度,超过试用配额每天每个API按1元收费。 网络访问 公网访问。 实例运行在虚拟私有云(VPC)中,在VPC内,使用实例子网地址调用API。 可通过开启公网入口与出口访问,允许外部服务调用API,及后端部署在外部网络环境中。 云市场售卖 API可在云市场公开售卖。
管理DataArts Studio资源 资源管理提供对DataArts Studio资源的统一管理。 离线资源管理 离线资源管理为您提供查看当前DataArts Studio实例下所有CDM集群的功能,并支持为CDM集群关联不同的工作空间。 只有当CDM集群在关联了工作空间后,才
CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
本方案中,资源组网段与中转VPC之间通过对等连接连通网络,因此必须选择中转VPC(例如10.186.0.0/19)。 子网 数据源集群或实例所在的子网(例如192.168.0.0/24)。 路由表 子网实际关联的路由表,绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。 为网络连接绑定
特性,请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开,即只能通过SSL方式进行通信。 开关关闭,SSL通道加密和证书认证两种方式均可进行通信。
Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,所以除了配置21端口映射外,还需要配置PASV模式的端口范围映射,例如vsftp通过配置pasv_min_
实时数据集成与数据湖探索(DLI)云服务底层使用统一纳管集群资源,首次使用时需要通过DLI云服务创建跨源场景委托,用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限,详细请参见配置DLI云服务委托权限。 搜索并进入DLI云服务控制台。 在DLI控制台左侧导航栏中单击“全局配置 >
间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。您可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 只有支持委托提交作业的MRS集群,才支持对账作业周期调度。 支持委托方式提交作业的MRS集群有: MRS的非安全集群。
HIVE_3_X 适用组件勾选数据集成后,呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明: HIVE_3_X支持Hive服务端版本为3.x的连接,HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的连接版本,测试连接有可能正常,也可能会出现查询库表为空,或者作业失败等不正常场景。
CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
数据源和资源组网络不通如何排查? 问题描述 配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。