MAPREDUCE服务 MRS-Flink DataStream样例程序开发思路:数据规划

时间:2024-06-13 09:39:10

数据规划

DataStream样例工程的数据存储在文本中。

将log1.txt和log2.txt放置在指定路径下,例如"/opt/log1.txt"和"/opt/log2.txt"。

  • 数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。
  • 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
support.huaweicloud.com/devg-lts-mrs/mrs_07_050013.html