数据仓库服务 GAUSSDB(DWS)-创建OBS外表:操作步骤

时间：2024-11-05 19:20:00

数据仓库服务 GAUSSDB(DWS)

根据上传数据到OBS中规划的路径，由此确定创建外表时使用的参数loaction的值。
用户获取OBS访问协议对应的AK值和SK值。获取访问密钥，请登录管理控制台，单击右上角的用户名并选择菜单“我的凭证”，然后在左侧导航树单击“访问密钥”。在访问密钥页面，可以查看已有的访问密钥ID（即AK），如果要同时获取AK和SK，可以单击“新增访问密钥”创建并下载访问密钥。
梳理待导入数据的格式信息，确定创建外表时使用的数据格式参数的值。需要收集的主要数据源格式信息如下：
- format：外表中数据源文件的格式。OBS外表导入支持 CS V、TEXT格式。缺省值为TEXT。
- header：指定导出数据文件是否包含标题行，header只能用于CSV格式的文件中。
- delimiter：指定数据文件行数据的字段分隔符，不指定则使用默认分隔符。
- 外表可以识别的更多参数，详细使用请参见数据格式参数。

规划并行导入容错性，以控制导入过程中处理错误的方式。

fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。
取值范围：true/on，false/off。
- 参数为true/on，当数据导入时，若数据源文件中一行数据的最后一个字段缺失，则把最后一个字段的值设置为NULL，不报错。
- 参数为false/off，如果最后一个字段缺失会显示如下错误信息。
  missing data for column "tt"
缺省值：false/off。

ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。

取值范围：true/on、false/off。

参数为false/off，若数据源文件比外表定义列数多，会显示如下错误信息。

          
               extra data after last expected column

缺省值：false/off。

per node reject limit：本次数据导入过程中每个DN实例上允许出现的数据格式错误的数量。如果有一个DN实例上录入错误表中的错误数量超过设定值时，本次导入失败，报错退出。可以选择不做限制，也可以根据所能容忍的错误数量选择一个上限值。
compatible_illegal_chars：导入时遇到非法字符，选择如何处理。是将非法字符按照转换规则转换后入库，还是报错中止导入。
取值范围：true/on，false/off。
- 参数为true/on，则导入时遇到非法字符进行容错处理，非法字符转换后入库，不报错，不中断导入。
- 参数为false/off，导入时遇到非法字符进行报错，中断导入。
缺省值：false/off。
非法字符容错转换规则如下：
- 对于'\0'，容错后转换为空格。
- 对于其他非法字符，容错后转换为问号。
- 对非法字符进行容错转换时，如遇NULL、DELIMITER、QUOTE、ESCAPE也设置成了空格或问号， GaussDB (DWS)会通过如“illegal chars conversion may confuse COPY escape 0x20”等报错信息提示用户修改可能引起混淆的参数以避免导入错误。
error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。
更多参数，详细使用请参见容错性参数。