检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板 Spark作业模板的创建方法是在创建Spark
安装了tensorflow的自定义镜像，在DLI作业中使用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境，执行以下命令获取DLI的基础镜像。 本示例使用Spark基础镜像为例，使用docker pull方式下载基础镜像到1中的容器镜像环境。
创建并管理SQL作业模板 创建SQL作业模板 使用SQL作业模板开发并提交SQL作业 DLI预置的SQL模板中TPC-H样例数据说明 父主题： 使用DLI提交SQL作业
时延 指事件从源端算子到达本算子的过程中消耗的时间，单位为毫秒（ms）。 发送的记录数 算子发送数据的记录。 发送的字节数 算子发送的字节数。 接受的字节数 算子接收的字节数。 接受的记录数 算子收到数据的记录。 开始时间 算子运行开始时间。 结束时间 算子运行结束时间。 查看Flink作业执行计划
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
分布式缓存服务（DCS）为DLI提供兼容Redis的即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及快速数据访问的业务诉求。 DCS的更多信息，请参见《分布式缓存服务用户指南》。 前提条件 请务必确保您的账户下已在分布式缓存服务（DCS）里创建了Redis类型的缓存实例。 如何创建
Flink SQL语法概览 本章节介绍了目前DLI所提供的Flink SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 流作业语法概览 语法分类 功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS
对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Mana
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示，请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点（Endpoint）
EdgeHub输出流（EOS） MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐） OBS输出流 RDS输出流 SMN输出流 父主题： Flink SQL语法参考（不再演进，推荐使用Flink OpenSource SQL）
想要使用扫描套餐包计费，购买队列还要额外收费吗？ 按数据扫描量计费是针对默认default 队列，即使用default队列时，是按扫描量计费。 您单独购买的队列 ，可选择按需计费（按CU时计费）或包年包月计费。 具体的计费模式请参考：计费说明。 父主题： 计费相关问题
查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题： 使用DLI提交Flink作业
流作业SQL语法概览 本章节介绍了目前DLI所提供的Flink SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 流作业语法概览 语法分类 功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 获取Token 当您使用Token认证方式完成认证鉴权时，需要获取用户Token并在JDBC连接参数中配置Token信息，获取Token的详细步骤如下。
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Spark 2.4
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 使用须知 对于每个作业都允许
适用于当用户切换区域、项目或用户时，需要创建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 如果需要导入自建的作业，建议使用创建作业的功能。 具体请参考创建Flink OpenSource SQL作业，创建Flink
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Flink作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Flink 1.
flink.dli.job.scale.enable false 该配置表示是否开启动态扩缩的功能，即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时，表示不允许。 当前配置为true时，表示允许。 默认值为false。
Service，简称OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息，请参见《对象存储服务控制台指南》。 推荐使用《文件系统输出流（推荐）》。 前提条件 OBS输出流功能仅支持输出数据到3.0版本以上的桶，请先查看桶信息确认桶的版本。 语法格式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
