检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode=INCREMENTAL // 必须设置当前表读取为增量读取模式
示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础，执行SQL前需要先创建队列。具体可以参考《用户指南》中的“创建队列”章节。 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“SQL编辑器”页面。
组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的
Spark异步任务执行表compaction参数设置规范 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。 错误示例： run schedule on dsrTable 如果还有别的任务在写这张表，执行该操作会导致数据丢失。 执行run
怎样查看DLI队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。
postgresql.util.PSQLException: ERROR: tuple concurrently updated。 原因分析 客户作业存在并发操作，同时对一张表执行两个insert overwrite操作。 一个cn在执行： TRUNCATE TABLE BI_MONITOR
创建Kafka_SSL类型跨源认证 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。
创建IEF消息通道（废弃） 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明
管理控制台方式 提交SQL作业、Spark作业或Flink作业，均可以使用管理控制台方式访问DLI服务。 登录管理控制台，从主页选择“EI企业智能”>“EI大数据”>“数据湖探索”。 API方式 如果用户需要将云平台上的DLI服务集成到第三方系统，用于二次开发，可以使用API方式访问DLI服务。
_second Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flink_read_bytes_total Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flink_write_bytes_total
OpenSource作业，创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
catalog。并不适用于hive catalog。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 CREATE CATALOG myhive WITH
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
IEF相关API（废弃） 创建IEF消息通道（废弃） 边缘Flink作业状态上报（废弃） 边缘Flink作业Action回调（废弃） IEF系统事件上报（废弃） 父主题： 历史API
资源合理的分配和使用，避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求，可以通过工单系统来提交您的申请，并告知您申请提高配额的理由。 在通过审理之后，系统会更新您的配额并进行通知。关于配额的具体操作说明，请参见关于配额。 父主题： DLI资源配额类
组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。 Hive 方言支持的
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。 job_id 否 String 返回作业的ID，可用于获取作业状态和作业结果。 job_type 否 String 作业类型。 DDL DCL IMPORT EXPORT QUERY
x会在应用程序自行终止时删除K8s driver。 升级引擎版本后是否对作业有影响： 功能增强，升级到Spark 3.3.x后，对于之前依赖于Kubernetes作为资源管理器的作业会有影响。Spark 3.3.x在应用程序终止时会自动删除driver pod可能会影响到作业的资源管理和清理流程。 Spark3.3
弹性资源池标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。
弹性资源池权限管理 针对不同用户，管理员可以通过权限设置赋予各用户不同的操作权限，控制各用户弹性资源池的操作范围。 注意事项 管理员用户和弹性资源池的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其队列权限。 给新用户设置弹性资源池权限时，该用户所在用户组的所属区域需具有Tenant
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
