图引擎服务 GES-导出job返回结果到文件(2.2.1):请求参数

时间:2024-05-26 05:52:04

请求参数

表2 Body参数说明

参数

是否必选

类型

说明

exportPath

String

导出路径。

fileName

String

导出文件名。

obsParameters

String

OBS认证参数。具体请见表3

paginate

Object

分页参数,导出异步任务API默认关闭分页,具体请见表表4

erase

Boolean

导出后是否删除原job任务,取值为true或false,默认值为true即表示默认删除job并释放资源。

表3 obsParameters参数说明

参数

是否必选

类型

说明

accessKey

string

ak值。

secretKey

string

sk值。

表4 paginate中各要素说明

参数

是否必选

类型

说明

enable

Bool

是否开启分页,默认为false,需要开启分页时,需输入值true。

rowCountPerFile

Int

按页导出时,每个文件最大行数,默认10000000。

numThread

Int

按页导出时,并行线程数,默认为8。

maxSizePerFile

Int

按页导出时,每个文件大小的最大值,单位是byte。

  • 分页参数说明
    1. 当分页参数开启状态下,请求体中fileName代表目录名,目录下存放分页的文件;分页参数关闭时,fileName代表文件名。导出前请保证文件名指向的路径为空,确保导出时不会覆盖OBS上已有数据。
    2. 当numThread的值大于GES图实例使用的机器cpu数时,会配置为机器cpu数。
    3. rowCountPerFile的值会影响实际使用的线程数。即当结果集大小和rowCountPerFile的比值小于numThread时,会使用这个比值作为线程数。
    4. 如果请求被用户取消,已上传到OBS中的数据不会删除,有关取消Job的API详见取消Job(1.0.0)
  • 分页开启时文件名的命名规则:

    分页选项中enable参数为true时,fileName代表一个目录,目录下的文件使用线程id与文件编号的组合命名,中间使用“.”连接。例如,对于320万条数据,不同配置下第一个文件名和最后一个文件名示例如下:

    rowCountPerFile

    10万

    10万

    100万

    100万

    500万

    numThread

    2

    48

    2

    5

    2

    实际使用的线程

    2

    32

    2

    4

    1

    单线程生成文件数

    16

    1

    2

    1

    1

    第一个文件名

    00.000.txt

    00.000.txt

    00.00.txt

    00.00.txt

    00.00.txt

    最后一个文件名

    01.015.txt

    031.000.txt

    01.01.txt

    03.00.txt

    00.00.txt

    百亿图进行数据导出时,为多节点数据同时导出,文件名前会使用机器id编号作为前缀。

support.huaweicloud.com/api-ges/ges_03_0172.html