检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。
图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。
典型场景示例:配置DLI 与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址,配置DLI与公网网络联通可以实现对这些数据源的访问。
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题: 配置DLI读写外部数据源数据
本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试网络连通性:验证队列与数据源网络连通性。 目前DLI支持跨源访问的数据源请参考DLI常用跨源分析开发方式。
输入数据源连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
输入数据源连接地址和端口,测试网络连通性。 格式:IP:端口 测试连接前,请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云API参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。 涉及接口 创建弹性资源池:创建弹性资源池。
“1”表示急加速,“0”表示非急加速 isRapidlySlowdown int 急减速 isNeutralSlide int 空挡滑行 isNeutralSlideFinished int 空挡滑行结束 neutralSlideTime bigint 空挡滑行时长 isOverspeed
通过创建增强型跨源连接,可以采用对等连接的方式打通DLI与数据源的VPC网络,从而实现数据的互通和跨源分析。 增强型跨源连接的优势: 网络连通性:直接打通DLI与目的数据源的VPC网络实现数据互通。
DLI对接LakeFormation 操作场景 LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理能力,支持无缝对接多种计算引擎及大数据云服务,便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。
配置DLI与数据源网络连通:您可以参考配置DLI与数据源网络连通(增强型跨源连接)配置DLI与数据源的网络连通。
问题现象 客户创建增强型跨源连接后,在队列管理测试网络连通性,网络不通,单击对应的跨源连接查看详情,发现绑定队列失败,报错信息如下: Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213.
根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。 将原有跨源连接删除重新创建。
图1 创建生命周期规则 示例 在DLI数据多版本中,通过配置回收站加速删除过期的备份数据,数据回收到OBS的/.Trash目录下。
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。 操作方法请参考测试地址连通性。 配置详情请参考配置网络连通。 父主题: Flink SQL作业类