检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
查询批处理作业列表 功能介绍 该API用于查询Project下某队列批处理作业的列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/batches 参数说明 表1 URI参数 参数名称 是否必选 参数类型
新建SQL作业 功能介绍 该API用于创建Flink SQL作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/sql-jobs 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? 问题场景 A用户通过SQL作业在某数据库下创建了表testTable,并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable,并重新创建了同名的表testTable,如果希
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
套餐包计费 套餐包 DLI提供优惠的资源套餐包,购买套餐包后,资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额,超出当前套餐包的额度,将自动转为按需收费。 套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每
删除组内资源包(废弃) 功能介绍 该API用于删除某个project某个分组下的资源包。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/resources/{resource_name}
跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表,执行insert overwrite语句向RDS写入数据报错:DLI.0999: B
date_add date_add函数用于计算按照days幅度递增startdate日期的天数。 如需要获取当前日期基础上指定变动幅度的日期,可结合current_date或getdate函数共同使用。 请注意date_add函数与date_sub函数逻辑反。 命令格式 date_add(string
date_add date_add函数用于计算按照days幅度递增startdate日期的天数。 如需要获取当前日期基础上指定变动幅度的日期,可结合current_date或getdate函数共同使用。 请注意date_add函数与date_sub函数逻辑反。 命令格式 date_add(string
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
批量删除作业 功能介绍 该API可用于批量删除任何状态的作业。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/delete 参数说明 表1 URI参数说明 参数名称 是否必选
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。
数据湖探索简介 什么是数据湖探索 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。
集合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。
作业相关 完整样例代码和依赖包说明请参考:Python SDK概述。 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表中。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出,说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控
创建IEF消息通道(废弃) 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明