检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZKHost、RowKey、Cols三个参数详情讲解可参考表1。 TableName：CloudTable中的表名，在保存时如果没有表名，系统会自动创建。 构造schema 1 2 3 4 5 6 7 8 9 schema = StructType([StructField("id"
单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台，创建Flink作业，编写作业SQL后，配置“运行参数”。本例对重点参数加以说明，其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的
设置Spark作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
设置Flink作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Flink作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM | GLOBAL_BLOOM | SIMPLE | GLOBAL_SIMPLE] 。 布隆过滤器消除了对外部系统的依赖，并存储在Parquet数据文件的页脚中。 BLOOM hoodie.index.bloom.num_entries 存储在布隆过滤器中的条目数。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。 error_code 是 String 错误码。 stream_graph 是 String 静态流图的描述信息。
能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数 PROCTIME() 的 proc AS PROCTIME() 语句进行定义。 另一方面，由于事件时间列可能需要从现有的字段中获得，
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
概述 欢迎使用数据湖探索。 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark
怎样排查DLI计费异常？ 如果您在使用DLI服务的过程中，感觉计费有异常，可按照以下步骤进行排查： 包周期资源与预付费资源，本节操作重点介绍怎样排查按需资源使用中的扣费异常。 SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情，确认在扣费时间段内是否有以下操作：
设置SQL作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
write.precombine.field 是 无 String 数据合并字段 基于此字段的大小来判断消息是否进行更新。 如果您没有设置该参数，则系统默认会按照消息在引擎内部处理的先后顺序进行更新。 write.payload.class 否 无 String write.payload
据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS的更多信息，请参见《数据接入服务用户指南》。 语法格式 create table
Spark队列操作OBS表如何设置AK/SK？ 更多 Flink作业相关问题 怎样将OBS表映射为DLI的分区表？ 更多 技术专题 技术、观点、课程专题呈现 Cloud Native Lives Kubernetes系列课程，带你走进云原生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
活跃玩家、留存率、流失率、付费率等，了解游戏当前状态及后续响应活动措施；投放部门通过平台获取新增玩家、活跃玩家的渠道来源，来决定下一周期重点投放哪些平台。 优势 高效的Spark编程模型：使用DLI直接从DIS中获取数据，进行数据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。
regionName DLI队列所在的区域名。 从地区和终端节点获取，对应“区域”列就是regionName。 spark.dli.user.dliEndPoint DLI队列所在的终端节点。 从地区和终端节点获取，对应的“终端节点（Endpoint）”就是该参数取值。 spark.dli
Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI整理了Spark2.4.x与Spark3.3.x版本在通用队列的差异，便于您了解Spark版本升级后通用队列上运行的作业在适配新版本引擎时的影响。 log4j依赖从1.x版本修改为2.x版本 说明： log4j依赖从1
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
