华为云首页用户手册

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

时间：2024-08-15 10:29:30

数据湖探索 DLI 创建输出流

注意事项

使用文件系统输出流的Flink作业必须开启checkpoint，保证作业的一致性。
为了避免数据丢失或者数据被覆盖，开启作业异常自动重启或者手动重启，需要配置为“从checkpoint恢复”。
checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。
checkpoint支持如下两种模式：
- AtLeastOnce：事件至少被处理一次。
- ExactlyOnce：事件仅被处理一次。
使用文件系统输出流写入数据到OBS时，应避免多个作业写同一个目录的情况。
- OBS对象存储桶的默认行为为覆盖写，可能导致数据丢失。
- OBS并行文件系统桶的默认行为追加写，可能导致数据混淆。
因为以上OBS桶类型行为的区别，为避免作业异常重启可能导致的数据异常问题，请根据您的业务需求选择OBS桶类型。

上一篇：数据湖探索 DLI-文件系统输出流(推荐）:HDFS代理用户配置

下一篇：数据湖探索 DLI-文件系统输出流(推荐）:示例

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据湖探索 DLI-文件系统输出流(推荐）:注意事项

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题