检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本例介绍通过DLI控制台提交Jar作业程序包的基本流程。由于不同的业务需求，Jar包的具体编写会有所差异。建议您参考DLI提供的示例代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前，请务必参考准备工作完成必要操作。
该示例是从Kafka的一个topic中读取数据，并使用Kafka结果表将数据写入到kafka的另一个topic中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网
支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解
支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
本例介绍通过DLI控制台提交Flink Jar作业程序包的基本流程。由于不同的业务需求，Jar包的具体编写会有所差异。建议您参考DLI提供的示例代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Flink Jar作业的操作流程请参考表1。 开始进行如下操作前，请务必参考准备工作完成必要操作。
'canal-json' ); 示例 使用canal-json读取kafka中的canal记录，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。
以正常使用。 步骤二：添加队列到弹性资源池 在已创建的弹性资源池的“操作”列，单击“添加队列”进入弹性资源池添加的队列的操作界面。 首先配置弹性资源池队列的基本信息，具体参数参考如下。 名称：添加的队列的名称。 类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark
云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助用户监控账号下的DLI
此处可以筛选刚才提交的Flink作业并检查执行状态。 点击作业的名称，可以跳转至作业界面，此处可以点击”提交日志”或”运行日志”，检查聚合的日志。也可以直接点击日志列表，选择JobManager或者TaskManager，并下载对应日志。 点击作业界面右上角的”更多”->”Flink
DLI资源配额类 什么是用户配额？ 怎样查看我的配额 如何申请扩大配额
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric，该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
读取kafka中的数据，以avro格式反序列化，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多
示例 使用ogg-json读取kafka中的ogg记录，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列
该功能公测阶段，如需使用请提交工单申请开通“使用Spark作业访问DLI元数据”的使用权限。 约束限制 如果使用Spark 3.1访问元数据，则必须新建队列。 不支持的场景： 在SQL作业中创建了数据库（database），编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器
DBeaver官网提供了针对不同操作系统的客户端安装包，单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。
'maxwell-json' ); 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 >
object 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 >
通过以下方式可获取AK/SK，项目ID及对应的region信息。 登录管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”，单击“新增访问密钥”。根据提示输入对应信息，单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后，打开凭证文件，获取AK/SK信息。
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
