检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体OBS操作可以参考《对象存储服务用户
约束限制 insert overwrite语法不适用于“自读自写”场景，该场景因涉及数据的连续处理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据，同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Dat
Flink Opensource SQL如何解析复杂嵌套 JSON？ kafka message { "id": 1234567890, "name": "swq", "date": "1997-04-25", "obj": { "time1": "12:12:12"
两个值其中一个为true，则为true a OR b NOT 值为false，结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值： a b a AND b a OR b TRUE TRUE TRUE TRUE TRUE FALSE FALSE TRUE TRUE
id是唯一的。如果作为Document id的字段存在重复值，则在执行插入es时，重复id的Document将会被覆盖。 该特性可以用作容错解决方案。当插入数据执行一半时，DLI作业失败，会有部分数据已经插入到es中，这部分为冗余数据。如果设置了Document id，则在重新执行DLI作业时，会覆盖上一次的冗余数据。
记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》。 创建Flink Jar作业 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“
edsconnection addRoute 删除路由 edsconnection deleteRoute 创建批处理作业 jobs createBatch 取消批处理作业 jobs cancelBatch 创建全局变量 variable createGlobalVariable 删除全局变量 variable
Studio中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 通过数据治理中心的DLI SQL节点传递SQL语句到DLI中执行，请参考《DLI SQL》。 通过数据治理中心的DLI Flink
设置普通队列的弹性扩缩容定时任务 弹性扩缩容定时任务使用场景 通常，用户业务繁忙的场景是有周期性的，在某个周期内，用户需要更多的计算资源来处理业务，过了这个周期，则不需要那么多资源。如果用户购买的队列规格比较小，在业务繁忙时会存在资源不足的情况；而如果购买的队列规格比较大，又可能会存在资源浪费的情况。
opic中读取消费数据； 创建一个结果表，用来通过JDBC向MySQL中写入结果数据。 实现相应的处理逻辑，以实现各个指标的统计。 为了简化最终的处理逻辑，使用创建视图进行数据预处理。 利用over窗口条件和过滤条件结合以去除重复数据（该方式是利用了top N的方法），同时利用相
Cluster为用户自建的队列。 传参不能为JSON格式。 对应批处理作业提交提供两个接口： 异步 asyncSubmit，提交后直接返回，不等待 同步 submit，提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： 1 2 3 4 5
DTF的返回行的信息，如，返回个数，类型等。 初始化完成后，会调用process方法，真正处理在process函数中，在process中，每一次forward()调用产生一行。 如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。 public void
String 批处理作业的ID。 appId 否 String 批处理作业的后台app ID。 name 否 String 创建时用户指定的批处理名称，不能超过128个字符。 owner 否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户（资源租户）。
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。
查询批处理作业日志（废弃） 功能介绍 该API用于查询批处理作业的后台日志。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/batches/{batch_id}/log 参数说明
owner 否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户（资源租户）。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型，只支持spark类型参数。 log
DLI使用SMN主题，提示SMN主题不存在，怎么处理？ 设置DLI Flink作业的运行参数时，勾选“作业异常告警”参数，可在作业出现运行异常或者欠费情况时，将作业异常告警信息，以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查： 确认SMN主题是否已经创建。
该场景作业需要运行在DLI的独享队列上，因此要与Doris建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris，请在增强
因此在DLI上要与OpenTSDB建立增强型跨源连接，且用户可以根据实际所需设置相应的安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 create table tsdbSink
DLI提供了Spark和Flink计算引擎，为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，当前，Flink计算引擎推荐版本：Flink 1.15，Spark计算引擎推荐版本： Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。 SQL作业： SQL作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
