检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Checkpoint对业务性能的影响以及异常恢复的时长),同时勾选“异常自动重启”,并勾选“从Checkpoint恢复”。配置后,作业异常重启,会从最新成功的Checkpoint文件恢复内部状态和消费位点,保证数据不丢失及聚合算子等内部状态的精确一致语义。同时,为了保证数据不
e函数用于返回当前日期值。返回值格式为yyyy-mm-dd。 命令格式 getdate() 参数说明 无 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。 示例代码 假设当前时间为2023-08-10 10:54:00,返回2023-08-10
date 是 DATE 或 STRING 代表需要处理的日期。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。
STRING类型。 需要截取的数据。 decimal_places 否 BIGINT类型。 默认为0,截取位置的小数点位。 返回值说明 返回DOUBLE或DECIMAL类型。 返回规则如下: number为DOUBLE、DECIMAL类型时会返回相应的类型。 number为STR
Long 批处理作业的创建时间。是单位为“毫秒”的时间戳。 update_time 否 Long 批处理作业的更新时间。是单位为“毫秒”的时间戳。 feature 否 String 作业特性。表示用户作业使用的Spark镜像类型。 basic:表示使用DLI提供的基础Spark镜像。
创建IEF消息通道(废弃) 功能介绍 该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明
operation 是 String 事件的操作类型。 timestamp 是 Integer 事件产生的时间戳。 topic 是 String 消息发送的Topic。 name 是 String 资源名称。 attributes 否 String 资源的属性。 响应消息 表4 响应参数说明
mal的小数位,则会发生截断,如果整数位超过目标decimal的范围则报错。 VARCHAR->CHAR 如果VARCHAR长度超过目标长度,则会截断。 VARCHAR->DATE仅支持按照“-”分割的日期,例如2000-01-01。 VARCHAR->TIME仅支持严格的日期格式:HH:MM:SS
其中USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 spark.hadoop.fs.obs
String 创建队列的用户。 create_time 否 Long 创建队列的时间。是单位为“毫秒”的时间戳。 queueType 否 String 队列类型。 sql general all 如果不指定,默认为“sql”。 cuCount 否 Integer 与该队列绑定的计算单元数。即当前队列的CU数。
Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 删除ID为12和232的作业。 {
不支持子查询 x -> 2 + (SELECT 3) 不支持聚合函数 x -> max(y) 示例 通过transform()函数获取数组元素的平方: SELECT numbers, transform(numbers, n -> n * n) as squared_numbers FROM
响应参数 参数名称 参数类型 说明 create_time Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type String 资源类型。 resource_name
tableName 表名。 col_name 待修改的列名。 column_type 目标列类型。 col_comment 列comment。 column_name 位置修改参照列,例如:AFTER column_name的语义是要将待修改列放到参照列column_name之后。
String USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 flink.hadoop.fs.obs
取消作业(推荐) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/jobs/{job_id} 参数说明 表1 URI 参数
作业运行时长,单位毫秒。 id 否 String 批处理作业的id。 state 否 String 批处理作业的状态。 appId 否 String 批处理作业的后台app id。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String
设置依赖关系provided防止Jar包冲突。 确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖,否则checkpoint会写不进OBS。 父主题: Flink
Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 停止运行ID为128和137的作业。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 limit 否 Integer 每页显示的返回信息的个数,默认值为“100”。 offset 否 Integer 偏移量,默认值为“0”。 请求消息 无请求参数。 响应消息 表3 响应参数说明