检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 String 批处理作业的ID。 表2 请求参数说明 参数名称 是否必选 参数类型 说明 from 否 Integer 起始日志的行号,默认显示最后100行日志。如果日志不足100行,从0行开始显示。
d} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 template_id 是 String 模板ID。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明 type
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待预览的表所在的数据库名称。 table_name 是 String 待预览的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 mode 否 String 预览表的模式,取值为“
"0”表示default,即默认的企业项目。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm:ecf集群 container:容器化集群(k8s) cu_spec 否 Integer 队列的规格大小。对于包周期队
系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的,例如Hive Metastore中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从Table
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 job_ids 是 Array of Long 作业ID。 trigger_savepoint 否 Boolean 在停止作业之前,用户可以选择是否对作业创建保存点,保存作业的状态信息。类型为boolean。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明: 在SQL里面已经包含db_name的情况下可以不选该参数,例如SQL为:select
什么是Archive Archive用户清理Hudi表的元数据文件(位于.hoodie目录下,格式为 ${时间戳}.${操作类型}.${操作状态},比如20240622143023546.deltacommit.request)。对Hudi表进行的每次操作都会产生元数据文件,而元数据文件过多
边缘Flink作业Action回调(废弃) 功能介绍 该API用于处理IEF Flink作业action回调信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/messages
sum(expression) FROM table; 注意事项 所要分组的表必须是已经存在的表,否则会出错。 不同于ROLLUP,GROUPING SETS目前仅支持一种格式。 示例 根据group_id与job两个字段生成交叉表格行,返回每种聚合情况下的salary总和。 1 2 3 SELECT group_id
Archive(归档)是为了减轻Hudi读写元数据的压力,所有的元数据都存放在这个路径:Hudi表根目录/.hoodie目录,如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表,都需要开启Archive。
obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。
新版本的Parquet文件,那旧版本的文件就不能被Clean清理,增加存储压力。 提交Spark jar作业时,CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并,需要消耗较高的内存资源,按照之前的表设计
密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。 在DEW创建通用凭据 本例以配置RDS实例访问凭据为例,介绍在DEW保存凭据,并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 hosts 是 Array
st 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address
当“权限设置”中的选项为灰色时,表示您不具备修改此表的权限。可以向管理员用户、表所有者等具有赋权权限的用户申请表的“赋权”和表权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户: 如果用户为子用户且不是表的所有者,可进行“权限设置”。 若用户为管理员用户或表的所有者,只能查看“权限信息”。
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 更新作业模板的信息,包括更新模板名称、模板描述信息、模板的SQL语句。 { "name": "simple_stream_sql", "desc": "快速上手示例"
登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角的“创建”创建程序包。