检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列到外部数据源之间的网络。 当前Spark作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通（增强型跨源连接）。 创建完跨源连接后，可以通过“资源管理 > 队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，
列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通（增强型跨源连接）。 创建完跨源连接后，可以通过“资源管理 > 队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，
数据源为云上的DWS、MRS等服务时，网络互通需满足如下条件： i. CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安
单击“完成”，即可连接到DLI。在“数据库导航”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3：在DBeaver编写SQL查询 在DBeaver建立与DLI的连接后，即可在DBeaver编写SQL查询： 您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。
定库集成的数据分析场景。需要用户自行编写并构建Jar作业程序包，在提交Flink Jar作业前，将Jar作业程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业。 本例介绍通过DLI控制台提交Flink Jar作业程序包的基本流程。由于不同的业务需求，Jar包的具体编
yuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。
yuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。
作用范围：项目级服务。 系统角色 无 表2列出了DLI SQL常用操作与系统权限的授权关系，您可以参照该表选择合适的系统策略。 更多SQL语法赋权请参考《数据湖探索SQL语法参考》> 《数据控制》>《权限列表》章节。 表2 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess
例如：针对DLI服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系，请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。
Spark-submit简介 DLI Spark-submit是一个用于提交Spark作业到DLI服务端的命令行工具，该工具提供与开源Spark兼容的命令行。 准备工作 授权。 DLI使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细
Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 >
Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 >
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka 始终以upsert方式工作，并且需要在DDL中定义主键。在具有相同主键值的消息按序存储在同一个分区的前提下，在 changlog source 定义主键意味着 在物化后的
项目，不支持企业项目，表示仅能在IAM中给用户组授权并生效，如果在企业管理中授权，则该自定义策略不生效。 关于IAM项目与企业项目的区别，详情请参见：IAM与企业管理的区别。 仅在表1中的接口支持自定义授权，其他不在表格中的接口不支持自定义授权。 “√”表示支持，“x”表示暂不支持。
12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Upsert Kafka始终以upsert方式工作，并且需要在 DDL 中定义主键。 默认情况下，如果启用checkpoint，Upsert Kafka sink会保证至少一次将数据插入Kafka
Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 >
使用Livy提交Spark Jar作业 DLI Livy简介 DLI Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个linux弹性云服务器ECS，用于安装DLI
目的数据源子网与队列所在子网为不同的子网，否则会造成网段冲突。 主机信息 可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase集群时需要配置Zookeeper实例的主机名（即域名）与对应的IP地址。每行填写一条记录，填写格式为：“IP
DLI跨源分析场景连接外部数据源时，由于数据源的VPC与DLI VPC不同，网络无法连通，导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案： 创建增强型跨源连接：采用对等连接的方式打通DLI与数据源的VPC网络。 测试
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
