检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka，请参考Flink SQL语法参考-Kafka源表。
创建源表、结果表、维表时均使用该字段关联跨源认证。 创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 如果仅使用SSL类型，则需要同时配置以下参数： 'properties.security.protocol '= 'SSL'; 如果使用SASL_SSL类型，则需要同时配置以下参数：
创建IAM用户并授权使用DLI 如果您需要对您所拥有的DLI资源进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求，不需要创建独立的
队列CPU使用率 展示用户队列的CPU使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_disk_usage 队列磁盘使用率 展示用户队列的磁盘使用率。 该指标仅适用于普通队列。 0~100 队列 5分钟 queue_disk_used 队列磁盘使用率最大值
sc_type 推荐使用livy原生配置。 spark.dli.user.args args 推荐使用livy原生配置。 spark.submit.pyFiles python_files 推荐使用livy原生配置。 spark.files files 推荐使用livy原生配置。 spark
检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如，测试队列与指定RDS实例连通性，本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增
2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需开通白名单。 对于2024年5月之前首次使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请加入白名单。 DLI支持13种数据类型，每一种类型都可以映射成一种JDBC类型，在使用JDBC连接服务器时，请使用映射后的JAVA类型，映射关系如表1所示。
API使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
GROUP BY中使用HAVING 功能描述 利用HAVING子句在表分组后实现过滤。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY groupby_expression[, groupby_expression…
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息，其中LIKE子句用来对数据库对象过滤，匹配规则如下，具体示例可参看SHOW TABLES： 规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。
使用HetuEngine on Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操
MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用M
在DLI使用Hudi提交Flink SQL作业 本节操作介绍在DLI使用Hudi提交Flink SQL作业的操作步骤。 具体语法说明请参考Flink OpenSource SQL1.15语法概览。 进入DLI控制台，随后单击左侧菜单的“作业管理 > Flink作业”，进入Flink作业的界面。
f603213 fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。
硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5
硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5
使用前必读 使用须知 DLI HetuEngine功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列，具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配la
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
码的编写与作业的开发，使用Notebook灵活的进行数据分析与探索，本节操作介绍使用Notebook作业提交DLI作业的操作步骤。 关于Jupyter Notebook的详细操作指导，请参见Jupyter Notebook使用文档。 使用Notebook实例提交DLI作业适用于在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
