检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
DLI常用跨源分析开发方式 跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和
DLI与数据源的VPC网络。 测试网络连通性：验证队列与数据源网络连通性。 目前DLI支持跨源访问的数据源请参考DLI常用跨源分析开发方式。 在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称，配置连接安全CSS集群。 创建完跨源认证，可以参考创建DLI表关联CSS使用Spark
虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨
使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。 检测跨源连接的连通性时对IP约束限制如下： IP必须为合法的IP地址，用“.”分隔的4个十进制数，范围是0-255。 测试时IP地址后可选
truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1，这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin")
典型场景示例：配置DLI 与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址，配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导，介绍如何通过设置SNAT规则和配置路由信息，实现DLI服务与公网的网络连接。
添加订阅 登录DLI控制台，创建Flink作业，编写作业SQL后，配置“运行参数”。本例对重点参数加以说明，其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
配置DLI与数据源网络连通（增强型跨源连接） 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题： 配置DLI读写外部数据源数据
怎样配置DLI队列与数据源的网络连通？ 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能，底层采用对等连接的方式打通
使用DEW管理数据源访问凭证 使用DLI提交作业读写外部数据源数据时，需要妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、
跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后，无需在作业中重复配置数据源认证信息，提高数据源认证的安全性，便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证。 本节操作为您介绍DLI提供的跨源认证的使用方法。 约束与限制 仅Spark
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Password类型跨源认证关联的字段 作业类型
_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源 Kerberos类型跨源认证支持连接的数据源如表1所示。 表1 Kerberos类型跨源认证支持连接的数据源 作业类型 表类型 数据源 约束与限制 Flink OpenSource SQL 源表 HBase
虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨
跨源认证权限管理 操作场景 通过跨源认证的用户授权，可设置分配不同的跨源认证，且不同用户的作业不影响跨源认证的使用。 使用须知 管理员用户和跨源认证的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其跨源认证权限。 给新用户设置跨源认证权限时，该用户所在用户组具有Tenant
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
