检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要调整动态扩缩容的配置项,则需要停止作业进行编辑,并提交运行才能生效。 操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink
String 路由名称。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success":
String 路由名称。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success":
可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后,再登录到DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择在DLI上创建数据库和表中已创建的数据库
oft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON 和 Apache Avro 序列化消息。 Flink 支持将 Debezium JSON 和 Avro 消息解析为 INSERT
P、端口和安全组获取的外部数据源的虚拟私有云。 子网:选择步骤1:获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
P、端口和安全组获取的外部数据源的虚拟私有云。 子网:选择步骤1:获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后,再登录到DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择在DLI上创建数据库和表中已创建的数据库
"group": "" } 响应示例 { "id":"85aad9e5-3766-46c2-b3c0-16c2832e52e8" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: Spark作业模板相关API
"type": "SPARK", "id": "3c92c202-b17c-4ed7-b353-ea08629dd671" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: Spark作业模板相关API
"3c92c202-b17c-4ed7-b353-ea08629dd671" } ], "count": 1 } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: Spark作业模板相关API
81-8f0dbd7be184"] } 响应消息 { "is_success": true, "message": "" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: SQL模板相关API
"cidr": "127.0.0.0" } 响应示例 { "is_success": true, "message": "" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 增强型跨源连接相关API
"cidr": "127.0.0.0" } 响应示例 { "is_success": true, "message": "" } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 增强型跨源连接相关API(废弃)
作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数 “Checkpoint间隔”为两次触发
公共参数 状态码 错误码 获取项目ID 获取账号ID
作业异常告警 勾选“开启Checkpoint”,依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数 “Checkpoint间隔”为两次触发
getAppId()); // job状态 System.out.println(jobResult.getState()); } } 查询批处理作业状态 DLI提供查询批处理作业状态的接口。您可以使用该接口查询批处理作业当前的状态信息。示例代码如下: private
IEF相关API(废弃) 创建IEF消息通道(废弃) 边缘Flink作业状态上报(废弃) 边缘Flink作业Action回调(废弃) IEF系统事件上报(废弃) 父主题: 历史API
Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业