检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持 数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache
检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。 您可以参考添加网络ACL规则或修改网络ACL规则放通对应协议端口。
该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 MySQL已开启了Binlog,并且binlog_row_image设置为FULL。
择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。 说明: 最多支持20个标签。
该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露
此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露
在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。
> 更改安全组”中可以查到所属安全组。 在左侧导航树选择“访问控制 > 安全组”。 单击外部数据源所属的安全组名称,进入安全组详情界面。 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明
防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii
此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 当前只支持CSS集群7.X及以上版本,推荐使用7
防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii
防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii
登录CDM管理控制台。 单击“购买云数据迁移服务”,进入创建CDM集群的界面,配置集群参数。 其中CDM集群的区域、虚拟私有云、子网、安全组、企业项目建议选择与数据源和DLI一致。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 更多CDM集群参数配置说明请参考创建集群。
创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。 创建安全组的操作指导请参考创建安全组,为安全组添加规则的操作指导请参考添加安全组规则。 更多信息请参考《分布式消息服务Kafka用户指南》中的“准备实例依赖资源”章节。 创建用于作业输入流的Kafka专享版实例
防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii
防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii
此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露
置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参
置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参
0/16、10.247.0.0/16 创建安全组 登录VPC管理控制台,进入安全组列表页面。 在安全组列表右上方,单击“创建安全组”。 进入“创建安全组”页面。根据界面提示,设置安全组参数。 具体参数说明请参考创建安全组。 请确保安全组需要对DLI弹性资源池网段放通TCP的8998和30000-32767端口。