检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
179 - - [28/Feb/2019:13:17:10 +0000] "GET /?p=1 HTTP/2.0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 req_body 否 String 请求参数详情。 请求示例 无 响应示例 { "id":
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多”>“标签”。
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到
gatk。 { "paths": [ "https://xkftest.obs.xxx.com/txr_test/jars/spark-sdv-app.jar", "https://xkftest.obs.xxx.com/txr_test/jars/wordcount"
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
预定义标签:在标签管理服务(简称TMS)中创建的预定义标签,属于全局标签。 有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 以下介绍如何为跨源连接添加标签、修改标签和删除标签。 操作步骤 在DLI管理控制台的左侧导航栏中,单击“跨源管理”,选择“增强型跨源”页签。 在对应连
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 弹性资源池”。 在对应队列的“操作”列,选择“更多>
计算引擎 版本 Hudi版本 Spark 3.3.1 0.11.0 Flink 1.15 0.11.0 Hetu 2.1.0 0.11.0 如何判断队列支持的计算引擎版本:首先进入DLI的控制台界面,点击左侧菜单栏的”资源管理”-> ”队列管理”。在队列管理的界面筛选并选中需要查询
通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI权限分类 DLI服务权限分类如表2所示,其可控制的资源请参考表4。 表2 DLI权限分类 权限大类 权限小类
取新文件。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
按量计费:真正的按使用量(扫描量/CU时)计费,不运行作业时0费用。 自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。 如何访问DLI 云服务平台提供了Web化的服务管理平台,既可以通过管理控制台和基于HTTPS请求的API(Application programming interface)管理方式来访
从OBS上传用户文件至DLI,并定义分组名称为gatk。 { "paths": [ "https: //test.obs.xxx.com/test_dli.jar", "https://test.obs.xxx.com/dli_tf.py" ], "group":
action生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL(设置如下参数,写数据时触发) hoodie.compact.inline=true
从键值对列表构建JSON对象字符串。 请注意,键必须是非NULL字符串文字,而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略,则默认为NULL ON NULL。 从另一个JSON构造函数调用(JSON_OBJECT,JSON_ARRAY)
该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource