图引擎服务 GES-导出job返回结果到文件(2.2.1):请求参数
请求参数
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
exportPath |
是 |
String |
导出路径。 |
fileName |
否 |
String |
导出文件名。 |
obsParameters |
是 |
String |
OBS认证参数。具体请见表3。 |
paginate |
否 |
Object |
分页参数,导出异步任务API默认关闭分页,具体请见表表4。 |
erase |
否 |
Boolean |
导出后是否删除原job任务,取值为true或false,默认值为true即表示默认删除job并释放资源。 |
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
enable |
否 |
Bool |
是否开启分页,默认为false,需要开启分页时,需输入值true。 |
rowCountPerFile |
否 |
Int |
按页导出时,每个文件最大行数,默认10000000。 |
numThread |
否 |
Int |
按页导出时,并行线程数,默认为8。 |
maxSizePerFile |
否 |
Int |
按页导出时,每个文件大小的最大值,单位是byte。 |
- 分页参数说明
- 当分页参数开启状态下,请求体中fileName代表目录名,目录下存放分页的文件;分页参数关闭时,fileName代表文件名。导出前请保证文件名指向的路径为空,确保导出时不会覆盖OBS上已有数据。
- 当numThread的值大于GES图实例使用的机器cpu数时,会配置为机器cpu数。
- rowCountPerFile的值会影响实际使用的线程数。即当结果集大小和rowCountPerFile的比值小于numThread时,会使用这个比值作为线程数。
- 如果请求被用户取消,已上传到OBS中的数据不会删除,有关取消Job的API详见取消Job(1.0.0)。
- 分页开启时文件名的命名规则:
分页选项中enable参数为true时,fileName代表一个目录,目录下的文件使用线程id与文件编号的组合命名,中间使用“.”连接。例如,对于320万条数据,不同配置下第一个文件名和最后一个文件名示例如下:
rowCountPerFile
10万
10万
100万
100万
500万
numThread
2
48
2
5
2
实际使用的线程
2
32
2
4
1
单线程生成文件数
16
1
2
1
1
第一个文件名
00.000.txt
00.000.txt
00.00.txt
00.00.txt
00.00.txt
最后一个文件名
01.015.txt
031.000.txt
01.01.txt
03.00.txt
00.00.txt
百亿图进行数据导出时,为多节点数据同时导出,文件名前会使用机器id编号作为前缀。