检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公共参数 状态码 错误码 获取项目ID 获取账号ID
Delta常见配置参数 提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。
提交DLI Spark SQL作业时,在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时,Hudi参数可以通过Spark datasource API的option来配置。
如需修改参数值,直接在FlinkOpenSource SQL编辑页面,自定义配置中修改该参数值,即可达到快速修改UDF参数值的目的。
如需修改参数值,直接在FlinkOpenSource SQL编辑页面,自定义配置中修改该参数值,即可达到快速修改UDF参数值的目的。
参数名称 参数描述 输入值 说明 primaryKey hudi主键 按需 必须指定,可以是复合主键但是必须全局唯一。 preCombineField 预合并键,相同主键的多条数据按该字段进行合并 按需 必须指定,相同主键的数据会按该字段合并,不能指定多个字段。
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式,并且查询后重写设置表的查询模式 如果增量查询完,不重新将表查询模式设置回去,将影响后续的实时查询 示例 以SQL作业为例: 配置参数 hoodie.tableName.consume.mode
设置spark.sql.shuffle.partitions参数提高并行度 用户可在JDBC中通过set方式设置dli.sql.shuffle.partitions参数。
表1 异常响应说明 名称 参数类型 说明 error_code String 错误码,请参见表2。 error_msg String 错误详细信息。 错误码说明 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。
客户端仅在为请求指定超时(Timeout)参数时会得到该响应。 505 HTTP Version not supported 服务器不支持请求的HTTP协议的版本,无法完成处理。 父主题: 公共参数
错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable; 如果还有别的任务在写这张表,执行上述操作会导致数据丢失。
图1 查看项目ID 父主题: 公共参数
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。
请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明 type String 模板类型。 id String 模板ID。 name String 模板名称。 body Object 模板内容。详细信息参考表5。 group String 模板所在分组名。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 new_owner 是 String 新owner名称。新用户必须是当前租户下的子用户。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。
URI URI格式 POST /v1.0/{project_id}/streaming/jobs/export 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
图1 获取账号ID 父主题: 公共参数
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected
URI URI格式: POST /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
URI URI格式: GET /v1.0/{project_id}/databases 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。