检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写入到
启动作业后,系统将自动跳转到Flink作业管理页面,新创建的作业将显示在作业列表中,在“状态”列中可以查看作业状态。作业提交成功后,状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。
表5 错误码 错误码 错误信息 DLI.0015 Token info for token is null, return. DLI.0013 X-Auth-Token is not defined in request. It is mandatory.
= 1) { throw new RuntimeException("Failed to obtain temporary user credential"); } return credentialProviders.get
message 否 String 系统提示信息,执行成功时,信息可能为空。 plans 否 Array of Objects 定时扩缩容计划信息。具体请参考表3。 表3 plans参数 参数名称 是否必选 参数类型 说明 id 否 Long 扩缩容计划的ID编号。
当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交Spark SQL作业的基本流程: 操作步骤 登录DLI管理控制台。 在DLI管理控制台,选择“作业模版 > SQL模版”。
例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Maxwell JSON 消息,并发送到 Kafka 等外部系统。
例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Maxwell JSON 消息,并发送到 Kafka 等外部系统。
相似函数:getdate,getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 命令格式 current_date() 参数说明 无 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd 示例代码 返回2023-08-16。
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。
相似函数:getdate,getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 命令格式 current_date() 参数说明 无 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd 示例代码 返回2023-08-16。
message 否 String 系统提示信息,执行成功时,信息可能为空。 queue_name 否 String 新增队列的名称。 说明: 队列名称不区分大小写,系统会自动转换为小写。
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。 update_time 否 Long 批处理作业的更新时间。
getdate getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 相似函数:current_date,current_date函数用于返回当前日期值。返回值格式为yyyy-mm-dd。
故障处理 问题1:将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题: 对接Redis
getdate getdate函数用于返回当前系统时间。返回值格式为yyyy-mm-dd hh:mi:ss。 相似函数:current_date,current_date函数用于返回当前日期值。返回值格式为yyyy-mm-dd。
userDefined结果表 功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类: 自定义sink类需要继承Flink开源类:RichSinkFunction,并指定数据类型为:Tuple2<Boolean
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码
userDefined结果表 功能描述 您可通过编写代码实现将DLI处理之后的数据写入到指定的云生态或者开源生态。 前提条件 已编写代码实现自定义sink类: 自定义sink类需要继承Flink开源类:RichSinkFunction,并指定数据类型为:Tuple2<Boolean