数据湖探索 DLI-OBS输入流:关键字

时间：2024-11-16 13:21:40

数据湖探索 DLI

表1 关键字说明
参数	是否必选	说明
type	是	数据源类型，“obs”表示数据源为对象存储服务。
region	是	对象存储服务所在区域。
encode	否	数据的编码格式，可以为“csv”或者“json”。默认值为“csv”。
ak	否	访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。
sk	否	Secret Access Key，与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。
bucket	是	数据所在的OBS桶名。
object_name	是	数据所在OBS桶中的对象名。如果对象不在OBS根目录下，则需添加文件夹名，例如：test/test.csv。对象文件格式参考“encode”参数。
row_delimiter	是	行间的分隔符。
field_delimiter	否	属性分隔符。当“encode”参数为csv时，该参数必选。用户可以自定义属性分隔符。当“encode”参数为json时，该参数不需要填写。
quote	否	可以指定数据格式中的引用符号，在两个引用符号之间的属性分隔符会被当做普通字符处理。当引用符号为双引号时，请设置quote = "\u005c\u0022"进行转义。当引用符号为单引号时，则设置quote = "'"。说明：目前只适用于 CS V格式。设置引用符号后，必须保证每个字段中包含0个或者偶数个引用符号，否则会解析失败。
version_id	否	版本号，当obs里的桶或对象有设置版本的时候需填写，否则不用配置该项。