数据治理中心 DATAARTS STUDIO-开发批处理单任务SQL作业:下载或转储脚本执行结果

时间:2024-06-24 09:38:54

下载或转储脚本执行结果

脚本运行成功后,支持下载和转储SQL脚本执行结果。系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考配置数据导出策略进行配置。
  • 脚本执行完成后在“执行结果”中,单击“下载”可以直接下载 CS V格式的结果文件到本地。可以在下载中心查看下载记录。
  • 脚本执行完成后在“执行结果”中,单击“转储”可以将脚本执行结果转储为CSV和JSON格式的结果文件到OBS中,详情请参见表7
    • 转储功能依赖于OBS服务,如无OBS服务,则不支持该功能。
    • 当前仅支持转储SQL脚本查询类语句的结果。
    表7 转储配置

    参数

    是否必选

    说明

    数据格式

    目前支持导出CSV和JSON格式的结果文件。

    资源队列

    选择执行导出操作的 DLI 队列。当脚本为DLI SQL时,配置该参数。

    压缩格式

    选择压缩格式。当脚本为DLI SQL时,配置该参数。

    • none
    • bzip2
    • deflate
    • gzip

    存储路径

    设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。

    您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。

    覆盖类型

    如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI SQL时,配置该参数。

    • 覆盖:删除OBS路径中已有的重名文件夹,重新创建自定义的文件夹。
    • 存在即报错:系统返回错误信息,退出导出操作。

    是否导出列名

    是:导出列名

    否:不导出列名

    字符集

    • UTF-8:默认字符集。
    • GB2312:当导出数据中包含中文字符集时,推荐使用此字符集。
    • GBK:国家标准GB2312基础上扩容后兼容GB2312的标准。

    引用字符

    仅在数据格式为csv格式时支持配置引用字符。

    引用字符在导出作业结果时用于标识文本字段的开始和结束,即用于分割字段。

    仅支持设置一个字符。默认值是英文双引号(")。

    主要用于处理包含空格、特殊字符或与分隔符相同字符的数据。

    关于“引用字符”和“转义字符”的使用示例请参考引用字符和转义字符使用示例

    转义字符

    仅在数据格式为csv格式时支持配置转义字符。

    在导出结果中如果需要包含特殊字符,如引号本身,可以使用转义字符(反斜杠 \ )来表示。

    仅支持设置一个字符。默认值是英文反斜杠(\)。

    常用转义字符的场景:

    • 假设两个引用字符之间的数据内容存在第三个引用字符,则在第三个引用字符前加上转义字符,从而避免字段内容被分割。
    • 假设数据内容中原本就存在转义字符,则在这个原有的转义字符前再加一个转义字符,避免原来的那个字符起到转义作用。

    关于“引用字符”和“转义字符”的使用示例请参考引用字符和转义字符使用示例

相对于直接查看SQL脚本的执行结果,通过下载和转储能够支持获取更多的执行结果。各类SQL脚本查看、下载、转储支持的规格如表8所示。
表8 SQL脚本支持查看/下载/转储规格

SQL类型

在线查看最大结果条数

下载最大结果条数

转储最大结果条数

DLI

1000

1000

无限制

Hive

1000

1000

10000

DWS

1000

1000

10000

Spark

1000

1000

10000

RDS

1000

1000

不支持

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1436.html