检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？ 不存在。 DLI没有启动spark.acls.enable配置项，所以不涉及Apache Spark 命令注入漏洞（CVE-2022-33891）。 该漏洞主要影响在启用了ACL（访问控制列表
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle
DWS Connector概述 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQ
计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储（可选）收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解
详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP（在线分析处理）等场景。 Flink作业 专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业：DLI提供了标准的连接器（co
NET SDK视频指导 SDK列表提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API E
SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》。 Flink作业支持Flink SQL在线分析功能：支持Window、Join等聚合函数，用SQL表达业务逻辑，简便快捷实现业务。具体内容请参考Flink OpenSource SQL语法参考。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource
表示永久不失效。 compaction.async.enabled 否 false Boolean 是否开启在线压缩。 true：开启 false：关闭 建议关闭在线压缩，提升性能。但是调度compaction.schedule.enabled仍然建议开启，之后可通过离线异步压缩，执行阶段性生成的压缩plan。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业：提交作业时可以使用DLI提供的标准的连接器（connectors）和丰富的API，快速与其他数据系统的集成。
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
示例 下面的示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
DLI产品咨询类 DLI Flink与MRS Flink有什么区别？ DLI中的Spark组件与MRS中的Spark组件有什么区别？ 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子
DLI Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景，支持与多种云服务跨源连通，形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业：DLI提供了标准的连接器（connectors）和丰富的API，便于快速与其他数据系统的集成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
