检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job_mode String 作业执行模式: async:异步 sync:同步 queue_name String 队列名称,用于显示作业是在该队列中提交的。 owner String 提交作业的用户。 start_time Long 作业开始的时间。是单位为“毫秒”的时间戳。
Flink作业概述 DLI支持的两种类型的Flink作业: Flink OpenSource SQL类型作业: 完全兼容社区版的Flink,确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作
手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? 问题现象 在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业怎样从指定Checkpoint恢复。 解决方案 由于Flink
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 在Flink 作业中,可以使用CREATE语句来定义Source表和Sink表,并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群,您需要为每个集群配置不
如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 创建增强型跨源连接 步骤四:运行作业 根据业务需求创建和提交作业。 管理SQL作业 Flink作业概述 创建Spark作业 步骤一:创建弹性资源池
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,配置了“高级
Flink Jar作业运行报错,报错信息为Authentication failed 问题现象 Flink Jar作业运行异常,作业日志中有如下报错信息: org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
batch_id 是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID,采用UUID(通用唯一识别码)格式。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 请求示例
创建作业模板 功能介绍 该API用于创建作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v3/{project_id}/templates 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是
获取作业模板 功能介绍 该API用于获取作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/str
设置SQL作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
取消作业(废弃) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1
job_id 是 String Flink作业的作业ID。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path
查询Spark作业日志 操作场景 DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。
OpenSource SQL作业 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。 在“Flink作业”页面右上角单击“创建作业”,弹出“创建作业”对话框。 图1 创建Flink OpenSource SQL作业 配置作业信息。 表1 作业配置信息
的文件而非文件夹。建议创建OBS对象时,在同一级中不要出现同名的文件和文件夹。 提交作业 DLI提供提交作业和查询作业的接口。您可以通过提交接口提交作业,如果需要查询结果可以调用查询接口查询该作业的结果。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11
print(e) return print(status) 取消作业 DLI提供取消作业的接口。您可以使用该接口取消已经提交的作业,若作业已经执行结束或失败则无法取消。示例代码如下: 1 2 3 4 5 6 def cancel_sql(dli_client
系统提示信息,执行成功时,信息可能为空。 job_id 是 String 作业ID。 owner 是 String 提交作业的用户。 start_time 是 Long 作业开始的时间。是单位为“毫秒”的时间戳。 duration 是 Long 作业执行的时间间隔,单位毫秒。 export_mode 否
duration 否 Long 作业运行时长,单位毫秒。 表7 批处理作业状态说明 参数名称 参数类型 说明 starting String 批处理作业正在启动。 running String 批处理作业正在执行任务。 dead String 批处理作业已退出。 success String