检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建SQL作业模板 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句，可以满足用户大部分
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
Jar作业分析数据。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
sc_type 推荐使用livy原生配置。 spark.dli.user.args args 推荐使用livy原生配置。 spark.submit.pyFiles python_files 推荐使用livy原生配置。 spark.files files 推荐使用livy原生配置。 spark
硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
使用AOM监控DLI服务 配置DLI对接AOM Prometheus监控 DLI对接AOM Prometheus监控的配置项 DLI支持的Prometheus基础监控指标
Jar作业分析数据。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
HetuEngine SQL语法请参考HetuEngine SQL语法参考。 使用须知 该功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 DLI对接LakeFormation功能的使用依赖于“湖仓构建”服务的上线状态，如需了解“湖仓构建”服务的上线范围请参考全球产品和服务。
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5
户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题： 使用DLI提交Flink作业
详细的数据说明请参考数据说明。 图1 方案简介 流程指导 使用DLI进行驾驶行为数据分析的操作过程主要包括以下步骤： 步骤1：上传数据。将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 步骤2：分析数据。使用DLI对待分析的数据进行查询。 示例代码 具体样例数据及详细SQL语句可以通过数据包进行下载。
gz”，支持在Linux环境中使用，且依赖JDK 1.8及以上版本。 配置DLI Spark-submit 使用spark-submit的机器安装JDK 1.8或以上版本并配置环境变量，当前仅在Linux环境下使用spark-submit工具。 下载并解压工具包“dli-clientkit-<version>-bin
作业的相关描述，长度为0～512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息，请参见管理Flink作业模板。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。
在DLI使用Delta提交Spark Jar作业 1. 添加如下依赖 <dependency> <groupId>io.delta</groupId> <artifactId>delta-core_2.12</artifactId> <version>2.3
数。 约束限制 在DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF
步骤2：获取DMS连接地址并创建Topic。获取DMS Kafka实例连接地址并创建DMS Topic。 步骤3：创建RDS数据库表。获取RDS实例内网地址，登录RDS实例创建RDS数据库及MySQL表。 步骤4：创建DLI增强型跨源。创建DLI增强型跨源，并测试队列与RDS、DMS实例连通性。
级、品牌监控、用户行为预测提供高质量的信息。 流程指导 使用DLI进行电商数据分析的操作过程主要包括以下步骤： 步骤1：上传数据。将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 步骤2：分析数据。使用DLI对待分析的数据进行查询。 具体样例数据及详细SQL语句可以通过数据包进行下载。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
