检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎，为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，当前，Flink计算引擎推荐版本：Flink 1.15，Spark计算引擎推荐版本： Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
怎样获取DLI作业样例（Demo） 为了方便用户更好地使用DLI，DLI服务提供了供作业开发的Demo样例，您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下： dli-flink-demo：开发Flink作业时的样例代码参考。例如，样例代码实现读取Kafka源表数据写
身份认证与访问控制 身份认证 用户访问DLI的方式主要有两种，包括DLI Console界面、DLI Open API等，其本质都是通过DLI提供的REST API接口进行请求。 DLI的接口均需要通过认证鉴权才能访问，控制台发送的请求与调用API接口的请求均支持Token认证鉴权。
增强型跨源连接绑定队列失败怎么办？ 问题现象 客户创建增强型跨源连接后，在队列管理测试网络连通性，网络不通，单击对应的跨源连接查看详情，发现绑定队列失败，报错信息如下： Failed to get subnet 86ddcf50-233a-449d-9811-cfef2f603213
通用队列操作OBS表如何设置AK/SK （推荐）方案1：使用临时AK/SK 建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表1
Flink Jar 包冲突，导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。
建立DLI与共享VPC中资源的网络连接 共享VPC简介 共享VPC是通过资源访问管理服务（RAM）将本账号的VPC资源共享给其他账号使用。例如，账号A可以将自己账号下创建的VPC和子网共享给账号B。在账号B接受共享以后，账号B可以查看到共享的VPC和子网，并可以使用该共享VPC和子网创建资源。
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
作业语义检验时提示DIS通道不存在怎么处理？ 处理方法如下： 登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink与Hive的集成包含两个层面，一是利用了Hive的MetaStore作为持
计费样例 计费场景 某公司用户A申请了256CUs的弹性资源池，并将1TB数据存放在DLI表中。该公司想要了解采用哪种计费模式才是性价比最优的方式。 数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作业的计费包括存储计费和计算计费，Flink作业和Spark作业的计费只有计算计费。
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者
Flink作业高可靠推荐配置指导（异常自动重启） 操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。
创建消息通知主题 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对相应的主题添加订阅，选择不同方式（例如短信或者邮件等）进行订阅。订阅成功后，如果作业失败，则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败，通常不会触发消息通知。
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
