检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,该值为空。 job_id String 作业ID。可通过提交SQL作业(推荐)获取。 job_type String
Flink SQL作业写Doris结果表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
您选择包年/包月或购买套餐包的形式更加优惠。 自建队列购买方式如下: 购买队列请参考创建队列。 弹性资源池购买方式如下: 具体弹性资源池的购买和添加队列操作可以参考《数据湖探索用户指南》中的“创建弹性资源池”和“弹性资源池添加队列”相关章节。 父主题: 计费相关问题
Flink SQL作业读取Doris源表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
Doris维表 功能描述 创建Doris维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口,您可以使用该接口创建队列。示例代码如下: 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功能,包括编辑
Hbase维表 功能描述 创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分,您可以看到其请求方法为“POST”,则其请求为: POST https://iam.cn-north-1
”,可以使用to_timestamp进行转换。 CAST示例二 参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
在DLI中提交Spark Jar作业开发Delta请参考在DLI使用Delta提交Spark Jar作业。 DLI Delta元数据说明 创建Delta表时会在元数据仓创建表的相关元数据信息。 Delta支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支
否 Array of Objects 已上传的用户资源名列表, 资源详情请参见表4。 modules 否 Array of Objects 系统内置资源模块列表,模块详情请参考表5。 groups 否 Array of Objects 已上传的用户分组资源。 total 是 Integer
HetuEngine功能为白名单功能,如需使用,请在管理控制台右上角,选择“工单 > 新建工单”,提交申请。 使用前您需要先创建一个HetuEngine类型的SQL队列,具体操作请参考创建弹性资源池并添加队列。 HetuEngine SQL需搭配lakeformation使用。详细内容请参考DLI对接LakeFormation。
表1 支持类别 类别 详情 支持表类型 源表 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。 创建Flink OpenSource SQL作业时,在作
为什么已有View视图的select权限,但是查询不了View? 问题描述 用户A创建了表Table1。 用户B基于Table1创建了视图View1。 赋予用户C Table1的查询表权限后,用户C查询View失败。 根因分析 用户C查询View失败的原因是由于用户B不具备Table1的查询表权限。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects
when matched and flag = true then delete when not matched then insert *; 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DL
探索API参考》>《创建批处理作业》。 提交作业时,需要指定Module模块,名称为:sys.datasource.css。 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2