数据湖探索 DLI-DWS输出流(通过OBS转储方式):注意事项

时间:2024-07-01 21:07:20

注意事项

  • 通过OBS转储支持两种中间文件方式:
    • ORC: ORC格式不支持Array数据类型,如果使用ORC格式,需先在DWS中创建外部服务器,具体可参考 数据仓库 服务数据库开发指南》中“创建外部服务器”章节。
    • CS V: CSV格式默认记录分隔符为换行符,若属性内容中有换行符,建议配置quote,具体参见表1
  • 如果要写入的表不存在,则会自动创建表。由于 DLI SQL类型不支持text,如果存在长文本,建议先在数据库中创建表。
  • encode使用orc格式时,创建DWS表时,如果SQL流字段属性定义为String类型,DWS表字段属性不能使用varchar类型,需使用特定的text类型;如果是SQL流字段属性定义为Integer类型,DWS表字段需要使用Integer类型。
support.huaweicloud.com/sqlreference-dli/dli_08_0248.html