检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
提交作业时,需要指定Module模块,名称为:sys.datasource.css。 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 Jobmanager与Taskmanager心跳超时
推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题: SQL作业开发类
330108', 'a1', 'b1', 'c3', 'd3', 'e1'), ('330110', 'a1', 'b1', 'c4', 'd4', 'e1'); 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业
ReplicatedMergeTree('/clickhouse/tables/{shard}/flink/order', '{replica}')ORDER BY order_id; 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
提交Spark作业:完成作业编写后,提交并执行作业。 父主题: Spark作业运维类
参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。
重新创建和提交Spark作业。
detail:area_street_name', 'd4' put 'area_info', '330110', 'detail:region_name', 'e1' 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行
detail:area_street_name', 'd4' put 'area_info', '330110', 'detail:region_name', 'e1' 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行
shell在HBase中创建相应的表,表名为order,表中只有一个列族detail,创建语句如下: create 'order', {NAME => 'detail'} 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行
方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python SDK使用说明。 父主题: DLI SDK
scan.auto-commit 否 true Boolean 是否设置自动提交,以确定事务中的每个statement是否自动提交 lookup.cache.max-rows 否 无 Integer lookup cache的最大行数,如果超过该值,缓存中最先添加的条目将被标记为过期
Flink 1.15及以上版本中,弹性资源池与Prometheus实例解绑后,新作业不再上报指标到该Prometheus实例,已提交的作业继续上报至作业运行结束。
shell在HBase中创建相应的表,表名为order,表中只有一个列族detail,创建语句如下: create 'order', {NAME => 'detail'} 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行
按文件容量进行清理,需要配置参数: hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE; hoodie.archive.file.cleaner.size.retained = 5368709120; 提交