华为云首页用户手册

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

时间：2024-11-16 13:21:40

数据湖探索 DLI

注意事项

使用文件系统输出流的Flink作业必须开启checkpoint，保证作业的一致性。
为了避免数据丢失或者数据被覆盖，开启作业异常自动重启或者手动重启，需要配置为“从checkpoint恢复”。
checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。
checkpoint支持如下两种模式：
- AtLeastOnce：事件至少被处理一次。
- ExactlyOnce：事件仅被处理一次。
使用文件系统输出流写入数据到OBS时，应避免多个作业写同一个目录的情况。
- OBS对象存储桶的默认行为为覆盖写，可能导致数据丢失。
- OBS并行文件系统桶的默认行为追加写，可能导致数据混淆。
因为以上OBS桶类型行为的区别，为避免作业异常重启可能导致的数据异常问题，请根据您的业务需求选择OBS桶类型。

上一篇：数据湖探索 DLI-文件系统输出流(推荐）:HDFS代理用户配置

下一篇：数据湖探索 DLI-文件系统输出流(推荐）:HDFS代理用户配置

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题