检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他云服务的关系 与对象存储服务（OBS）的关系 对象存储服务（Object Storage Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下四种。 数据来源：使用DLI服务提供API，将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
类型的作业分别置于独立的弹性资源池中。 优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活地进行扩缩容，显著提升扩缩容的成功率和操作效率。 在全天的任意一个时间段内，
下载并安装SuperSet。 详细安装操作指导请参考安装SuperSet 以Docker安装Superset为例： 安装Docker： 确保当前主机系统上安装了Docker。 拉取Superset Docker镜像： docker pull apache/superset 启动Superset容器：
过Flink作业列表可以了解Flink作业的基本信息。 表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID，由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。包括： Flink SQL：Flink SQL作业 Flink
跨源认证概述 什么是跨源认证？ 跨源分析场景中，如果在作业中直接配置认证信息会触发密码泄露的风险，因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上
Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI整理了Spark2.4.x与Spark3.3.x版本在通用队列的差异，便于您了解Spark版本升级后通用队列上运行的作业在适配新版本引擎时的影响。 log4j依赖从1.x版本修改为2.x版本 说明： log4j依赖从1
ODBC，推荐使用v2.5.12。 Microsoft Hive ODBC，推荐使用v2.6.12.1012。 配置ODBC连接Kyuubi 在Windows系统中，打开“控制面板 > 管理工具 > 数据源 (ODBC)”。 配置新的ODBC数据源。 在ODBC中单击“User DSN”。 单击“Add”创建新的数据源。
ODBC，推荐使用v2.5.12。 Microsoft Hive ODBC，推荐使用v2.6.12.1012。 配置ODBC连接Kyuubi 在Windows系统中，打开“控制面板 > 管理工具 > 数据源 (ODBC)”。 配置新的ODBC数据源。 在ODBC中单击“User DSN”。 单击“Add”创建新的数据源。
会优先指向文件而非文件夹。 创建数据库和表时，有权限控制，需要对其他用户授权，其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧，单击“数据管理”>“库表管理”。
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API，也有部分API不支持用户调用，例如涉及事务调用的API“prepareCall”，调用这类API将抛出“SQLFeatureNotSupportedException”异常
新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。
新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
图2 进入DataArts Studio实例控制台 单击“空间管理”，进入数据开发页面。 购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector，用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
get_json_object get_json_object函数用于根据所给路径对json对象进行解析，当json对象非法时将返回NULL。 命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1
Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
