检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池规格变更 使用场景 包年包月的弹性资源池CU数在规格的范围内使用包年包月计费,超过规格的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格为64CU,实际使用过程中大部分时间CU数在128CU以
从DLI导入数据到OBS,数据量不一致怎么办? 问题现象 使用DLI插入数据到OBS临时表文件,数据量有差异。 根因分析 出现该问题可能原因如下: 作业执行过程中,读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。
查询作业详情 功能介绍 查看一个作业的详情信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中,导出操作将在OBS服务新建文件夹,或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件,且文本格式仅支持UTF-8。 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。
使用DLI进行电商BI报表分析 应用场景 某商城作为中国一家自营式电商,在保持高速发展的同时,沉淀了数亿的忠实用户,积累了海量的真实数据。如何利用BI工具从历史数据中找出商机,是大数据应用在精准营销中的关键问题,也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系企业技术人员,并提供错误码,以便我们尽快帮您解决问题。
模板相关API(废弃) 查询所有SQL样例模板(废弃) 父主题: 历史API
Flink作业类 Flink作业咨询类 Flink SQL作业类 Flink Jar作业类 Flink作业性能调优类
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
API快速入门 创建并提交SQL作业 创建并提交Spark作业 创建并提交Flink作业 创建并使用跨源链接
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户,并计划使用IAM对您所拥有的DLI资源进行精细的权限管理,请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
关联队列到弹性资源池 功能介绍 关联队列到弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
数据分析 使用DLI进行车联网场景驾驶行为数据分析 使用DLI将CSV数据转换为Parquet数据 使用DLI进行电商BI报表分析 使用DLI进行账单分析与优化 使用DLI Flink SQL进行电商实时业务数据分析 永洪BI对接DLI提交Spark作业
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况? 怎样判断当前DLI队列中的作业是否有积压? 怎样查看DLI队列负载? 怎样监控DLI队列上的作业异常? 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败,提示超时异常怎么办?
DLI权限管理类 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办?