华为云用户手册

  • 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • URI DELETE /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 delete_data 否 Boolean 是否删除数据库路径下的数据。默认为false。 cascade 否 Boolean 是否级联删除数据库下的表、分区以及函数。默认为false。
  • URI PUT /v1/{project_id}/instances/{instance_id}/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 client_id 是 String 客户端ID。创建客户端时自动生成。
  • 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 404 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。
  • 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI POST /v1/{project_id}/instances/{instance_id}/recover 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。
  • 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 响应参数 状态码: 400 表15 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表16 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表17 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics { "need_merge" : false, "statistics" : [ { "column_statistics_desc" : { "partition_values" : [ "value1", "value2" ], "last_analyzed_time" : "2023-05-31T02:52:16.137Z" }, "column_statistics_objects" : [ { "column_name" : "column_prefix0", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix1", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix2", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix3", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix4", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix5", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix6", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix7", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix8", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix9", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } } ] } ] }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings 租户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 need_merge 是 Boolean 是否合入原有统计信息。 statistics 是 Array of PartitionColumnStatistics objects 分区统计信息的统计列表。 表4 PartitionColumnStatistics 参数 是否必选 参数类型 描述 column_statistics_desc 是 PartitionColumnStatisticsDescription object 列统计信息描述。 column_statistics_objects 是 Array of ColumnStatisticsObj objects 列统计信息。 表5 PartitionColumnStatisticsDescription 参数 是否必选 参数类型 描述 partition_values 否 Array of strings 分区值的列表。 last_analyzed_time 是 String 最后统计时间。 表6 ColumnStatisticsObj 参数 是否必选 参数类型 描述 column_name 是 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type 是 String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar data_type 是 String 统计信息类型:binaryStats、booleanStats、dateStats、decimalStats、doubleStats、longStats、stringStats。 枚举值: binaryStats booleanStats dateStats decimalStats doubleStats longStats stringStats binary_statistics_data 否 BinaryColumnStatisticsData object 字节数组类型统计信息。 long_statistics_data 否 LongColumnStatisticsData object 长整数类型统计信息。 decimal_statistics_data 否 DecimalColumnStatisticsData object 小数类型统计信息。 string_statistics_data 否 StringColumnStatisticsData object 字符串类型统计信息。 double_statistics_data 否 DoubleColumnStatisticsData object 浮点数类型统计信息。 date_statistics_data 否 DateColumnStatisticsData object 日期类型统计信息。 boolean_statistics_data 否 BooleanColumnStatisticsData object 布尔类型统计信息。 表7 BinaryColumnStatisticsData 参数 是否必选 参数类型 描述 maximum_length 是 Long 列中字节数组的最大值。 average_length 是 Double 列中字节数组的平均长度。 number_of_null 是 Long 列中空值个数。 表8 LongColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Long 列中长整数最小值。 maximum_value 是 Long 列中长整数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal object 列中小数最小值。 maximum_value 是 Decimal object 列中小数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的小数个数。 bit_vector 否 String 估算唯一值使用的位图。 表10 Decimal 参数 是否必选 参数类型 描述 scale 否 Integer 整数部分。 unscaled 否 String 小数部分。 表11 StringColumnStatisticsData 参数 是否必选 参数类型 描述 average_length 是 Double 列中字符串平均长度。 maximum_length 是 Long 列中字符串最长长度。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后字符串个数。 bit_vector 否 String 估算唯一值使用的位图。 表12 DoubleColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Double 列中浮点数最小值。 maximum_value 是 Double 列中浮点数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后浮点数个数。 bit_vector 否 String 估算唯一值使用的位图。 表13 DateColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 否 String 列中的最小时间戳。 maximum_value 否 String 列中的最大时间戳。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的时间戳个数。 bit_vector 否 String 估算唯一值使用的位图。 表14 BooleanColumnStatisticsData 参数 是否必选 参数类型 描述 number_of_true 是 Long 列中为真的数量。 number_of_false 是 Long 列中为假的数量。 number_of_null 是 Long 列中为空的数量。
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
  • 状态码 状态码 描述 200 委托返回结果 400 { "error_code": "common.01000001", "error_msg": "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 401 { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 403 { "error": { "code": "403", "message": "X-Auth-Token is invalid in the request", "error_code": null, "error_msg": null, "title": "Forbidden" }, "error_code": "403", "error_msg": "X-Auth-Token is invalid in the request", "title": "Forbidden" } 404 { "error_code": "common.01000001", "error_msg": "response status exception, code: 404" } 408 { "error_code": "common.00000408", "error_msg": "timeout exception occurred" } 500 { "error_code": "common.00000500", "error_msg": "internal error" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 agency_type String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 404 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 408 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。
  • URI GET /v1/{project_id}/agency 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST
  • URI DELETE /v1/{project_id}/instances/{instance_id}/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 client_id 是 String 客户端ID。创建客户端时自动生成。
  • 响应示例 状态码: 200 OK { "tables" : [ { "catalog_name" : "hive", "database_name" : "dba", "table_name" : "www", "create_time" : "2022-11-19T03:10:14.000+00:00", "last_access_time" : "2022-12-31T23:59:59.000+00:00", "update_time" : null, "last_analyzed_time" : null, "owner" : "lakeformation", "owner_type" : "USER", "parameters" : { "ww" : "ww", "transient_lastDdlTime" : "1668827414", "classification" : "avro", "www" : "ww", "wwww" : "ww" }, "partition_keys" : [ ], "retention" : 0, "storage_descriptor" : { "columns" : [ { "column_type" : "tinyint", "column_name" : "ww", "comment" : null } ], "location" : "obs://lakeformation/test", "compressed" : true, "input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "name", "serialization_library" : "org.apache.hadoop.hive.serde2.avro.AvroSerDe", "parameters" : { "serialization.format" : "1" } }, "parameters" : { }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false }, "table_type" : "MANAGED_TABLE", "comments" : "", "view_expanded_text" : "", "view_original_text" : "" } ], "page_info" : { "current_count" : 1, "next_marker" : null, "previous_marker" : null } } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI GET /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 table_name_pattern 否 String 表名称通配符。只能包含中文、字母、数字和_|*.-特殊字符,且长度为1~256个字符。 table_type 否 String 表类型:MANAGED_TABLE-内表、EXTERNAL_TABLE-外表、VIRTUAL_VIEW-视图、MATERIALIZED_VIEW-物化视图、DICTIONARY_TABLE字典表。 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW DICTIONARY_TABLE filter 否 String 过滤条件字符串,可以按照属性查询表。 支持的属性查找包括: HIVE_FILTER_FIELD_OWNER HIVE_FILTER_FIELD_LAST_AC CES S HIVE_FILTER_FIELD_PA RAM S limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否查询上一页。默认为false。 deleted 否 Boolean 是否查询被删除元数据。
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/list-by-names 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。
  • 响应示例 状态码: 200 OK [ { "catalog_name" : "hive", "database_name" : "dba", "table_name" : "aa", "create_time" : "2022-11-23T02:34:23.000+00:00", "last_access_time" : "2022-12-31T23:59:59.000+00:00", "update_time" : null, "last_analyzed_time" : null, "owner" : "owner", "owner_type" : "USER", "parameters" : { "transient_lastDdlTime" : "1669170863", "classification" : "avro" }, "partition_keys" : [ ], "retention" : 0, "storage_descriptor" : { "columns" : [ { "column_type" : "int", "column_name" : "a", "comment" : "a" } ], "location" : "obs://lakeformation-test/test/aa", "compressed" : true, "input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "name", "serialization_library" : "org.apache.hadoop.hive.serde2.avro.AvroSerDe", "parameters" : { "serialization.format" : "1" } }, "parameters" : { }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false }, "table_type" : "MANAGED_TABLE", "comments" : "", "view_expanded_text" : "", "view_original_text" : "" } ] 状态码: 201 Created { "tables" : [ { "catalog_name" : "hive", "database_name" : "dba", "table_name" : "www", "create_time" : "2022-11-19T03:10:14.000+00:00", "last_access_time" : "2022-12-31T23:59:59.000+00:00", "update_time" : null, "last_analyzed_time" : null, "owner" : "lakeformation", "owner_type" : "USER", "parameters" : { "ww" : "ww", "transient_lastDdlTime" : "1668827414", "classification" : "avro", "www" : "ww", "wwww" : "ww" }, "partition_keys" : [ ], "retention" : 0, "storage_descriptor" : { "columns" : [ { "column_type" : "tinyint", "column_name" : "ww", "comment" : null } ], "location" : "obs://lakeformation/test", "compressed" : true, "input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "name", "serialization_library" : "org.apache.hadoop.hive.serde2.avro.AvroSerDe", "parameters" : { "serialization.format" : "1" } }, "parameters" : { }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false }, "table_type" : "MANAGED_TABLE", "comments" : "", "view_expanded_text" : "", "view_original_text" : "" } ], "page_info" : { "current_count" : 1, "next_marker" : null, "previous_marker" : null } } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 响应示例 状态码: 200 OK { "column_statistics_desc" : { "last_analyzed_time" : "2023-05-31T02:25:35.614+00:00" }, "column_statistics_objects" : [ { "column_name" : "1f3cbc18c07434435900b9cc7ba77678e", "column_type" : "bigint", "data_type" : "longStats", "long_statistics_data" : { "minimum_value" : -1469440606, "maximum_value" : 1927485019, "number_of_null" : -762838456, "number_of_distinct_value" : 531813078, "bit_vector" : "AWioLRcudhP0QQ==" } } ] } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics { "merge" : false, "table_column_statistics" : { "column_statistics_desc" : { "last_analyzed_time" : "1970-01-01T00:00:00.100+00:00" }, "column_statistics_objects" : [ { "column_name" : "column_prefix1", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix2", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } }, { "column_name" : "column_prefix3", "column_type" : "string", "data_type" : "stringStats", "string_statistics_data" : { "average_length" : 10, "maximum_length" : 100, "number_of_null" : 30, "number_of_distinct_value" : 20, "bit_vector" : "FwAAAAAAAAAAAA==" } } ] } }
  • 响应参数 状态码: 200 表15 响应Body参数 参数 参数类型 描述 column_statistics_desc TableColumnStatisticsDescription object 表列统计信息描述。 column_statistics_objects Array of ColumnStatisticsObj objects 列统计信息。 表16 TableColumnStatisticsDescription 参数 参数类型 描述 last_analyzed_time String 最后统计时间。 表17 ColumnStatisticsObj 参数 参数类型 描述 column_name String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar data_type String 统计信息类型:binaryStats、booleanStats、dateStats、decimalStats、doubleStats、longStats、stringStats。 枚举值: binaryStats booleanStats dateStats decimalStats doubleStats longStats stringStats binary_statistics_data BinaryColumnStatisticsData object 字节数组类型统计信息。 long_statistics_data LongColumnStatisticsData object 长整数类型统计信息。 decimal_statistics_data DecimalColumnStatisticsData object 小数类型统计信息。 string_statistics_data StringColumnStatisticsData object 字符串类型统计信息。 double_statistics_data DoubleColumnStatisticsData object 浮点数类型统计信息。 date_statistics_data DateColumnStatisticsData object 日期类型统计信息。 boolean_statistics_data BooleanColumnStatisticsData object 布尔类型统计信息。 表18 BinaryColumnStatisticsData 参数 参数类型 描述 maximum_length Long 列中字节数组的最大值。 average_length Double 列中字节数组的平均长度。 number_of_null Long 列中空值个数。 表19 LongColumnStatisticsData 参数 参数类型 描述 minimum_value Long 列中长整数最小值。 maximum_value Long 列中长整数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表20 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object 列中小数最小值。 maximum_value Decimal object 列中小数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的小数个数。 bit_vector String 估算唯一值使用的位图。 表21 Decimal 参数 参数类型 描述 scale Integer 整数部分。 unscaled String 小数部分。 表22 StringColumnStatisticsData 参数 参数类型 描述 average_length Double 列中字符串平均长度。 maximum_length Long 列中字符串最长长度。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后字符串个数。 bit_vector String 估算唯一值使用的位图。 表23 DoubleColumnStatisticsData 参数 参数类型 描述 minimum_value Double 列中浮点数最小值。 maximum_value Double 列中浮点数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后浮点数个数。 bit_vector String 估算唯一值使用的位图。 表24 DateColumnStatisticsData 参数 参数类型 描述 minimum_value String 列中的最小时间戳。 maximum_value String 列中的最大时间戳。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的时间戳个数。 bit_vector String 估算唯一值使用的位图。 表25 BooleanColumnStatisticsData 参数 参数类型 描述 number_of_true Long 列中为真的数量。 number_of_false Long 列中为假的数量。 number_of_null Long 列中为空的数量。 状态码: 400 表26 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表27 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表28 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings 租户token 表3 请求Body参数 参数 是否必选 参数类型 描述 merge 否 Boolean 是否是对统计信息的合并操作。默认为false。 table_column_statistics 是 TableColumnStatistics object 表列统计信息。 表4 TableColumnStatistics 参数 是否必选 参数类型 描述 column_statistics_desc 是 TableColumnStatisticsDescription object 表列统计信息描述。 column_statistics_objects 是 Array of ColumnStatisticsObj objects 列统计信息。 表5 TableColumnStatisticsDescription 参数 是否必选 参数类型 描述 last_analyzed_time 是 String 最后统计时间。 表6 ColumnStatisticsObj 参数 是否必选 参数类型 描述 column_name 是 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type 是 String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar data_type 是 String 统计信息类型:binaryStats、booleanStats、dateStats、decimalStats、doubleStats、longStats、stringStats。 枚举值: binaryStats booleanStats dateStats decimalStats doubleStats longStats stringStats binary_statistics_data 否 BinaryColumnStatisticsData object 字节数组类型统计信息。 long_statistics_data 否 LongColumnStatisticsData object 长整数类型统计信息。 decimal_statistics_data 否 DecimalColumnStatisticsData object 小数类型统计信息。 string_statistics_data 否 StringColumnStatisticsData object 字符串类型统计信息。 double_statistics_data 否 DoubleColumnStatisticsData object 浮点数类型统计信息。 date_statistics_data 否 DateColumnStatisticsData object 日期类型统计信息。 boolean_statistics_data 否 BooleanColumnStatisticsData object 布尔类型统计信息。 表7 BinaryColumnStatisticsData 参数 是否必选 参数类型 描述 maximum_length 是 Long 列中字节数组的最大值。 average_length 是 Double 列中字节数组的平均长度。 number_of_null 是 Long 列中空值个数。 表8 LongColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Long 列中长整数最小值。 maximum_value 是 Long 列中长整数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的长整数个数。 bit_vector 否 String 估算唯一值使用的位图。 表9 DecimalColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Decimal object 列中小数最小值。 maximum_value 是 Decimal object 列中小数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的小数个数。 bit_vector 否 String 估算唯一值使用的位图。 表10 Decimal 参数 是否必选 参数类型 描述 scale 否 Integer 整数部分。 unscaled 否 String 小数部分。 表11 StringColumnStatisticsData 参数 是否必选 参数类型 描述 average_length 是 Double 列中字符串平均长度。 maximum_length 是 Long 列中字符串最长长度。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后字符串个数。 bit_vector 否 String 估算唯一值使用的位图。 表12 DoubleColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 是 Double 列中浮点数最小值。 maximum_value 是 Double 列中浮点数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后浮点数个数。 bit_vector 否 String 估算唯一值使用的位图。 表13 DateColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 否 String 列中的最小时间戳。 maximum_value 否 String 列中的最大时间戳。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后的时间戳个数。 bit_vector 否 String 估算唯一值使用的位图。 表14 BooleanColumnStatisticsData 参数 是否必选 参数类型 描述 number_of_true 是 Long 列中为真的数量。 number_of_false 是 Long 列中为假的数量。 number_of_null 是 Long 列中为空的数量。
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
  • 错误响应Body体格式说明 当接口调用出错时,会返回错误码及错误信息说明,错误响应的Body体格式如下所示。 { "error_msg": "Failed to import APIs in the swagger file to API Gateway.", "error_code": "lakeformation.00012001" } 其中,error_code表示错误码,error_msg表示错误描述信息。
  • 响应示例 状态码: 200 获取任务详情成功 { "id" : "03141229-84cd-4b1b-9733-dd124320c125", "name" : "testjob", "description" : "testJob", "type" : "METADATA_MIGRATION", "parameter" : { "metadata_migration_parameter" : { "datasource_type" : "ALIYUN_DLF", "datasource_parameter" : { "endpoint" : "protocol://example.example1.com" }, "source_catalog" : "sourceCatalog1", "target_catalog" : "targetCatalog1", "conflict_strategy" : "UPDATE", "log_location" : "obs://logStore/2023", "sync_objects" : [ "DATABASE" ], "locations" : [ { "key" : "test/test1", "value" : "test2/db" } ] } }, "status" : { "status" : "SUCCESS" } } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI GET /v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 job_id 是 String 任务ID
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 page_info PagedInfo object 分页信息。 metadata_events Array of MetadataEvent objects 元数据事件列表。 表5 PagedInfo 参数 参数类型 描述 current_count Integer 本次返回的对象个数。最小值为0,最大值为2000。 next_marker String 下一页查询地址。当不存在下一页,则值为null,当值为null时,响应Body无该参数。 previous_marker String 上一页查询地址。当不存在上一页,则值为null,当值为null时,响应Body无该参数。 表6 MetadataEvent 参数 参数类型 描述 event_time String 事件发生时间对应的UTC时间。 metadata_action_type String 元数据操作类型:CREATE_CATA LOG -创建Catalog、CREATE_DATABASE-创建数据库、 CREATE_TABLE-创建表、CREATE_FUNCTION-创建函数、CREATE_PARTITION-添加分区、UPDATE_CATALOG-修改Catalog、UPDATE_DATABASE-修改数据库、UPDATE_TABLE-修改表、UPDATE_FUNCTION-修改函数、UPDATE_PARTITION-修改分区、DELETE_TABLE-删除表、 DELETE_DATABASE-删除数据库、DELETE_CATALOG-删除Catalog、DELETE_FUNCTION-删除函数、DELETE_PARTITION-删除分区。 枚举值: CREATE_CATALOG CREATE_DATABASE CREATE_TABLE CREATE_FUNCTION CREATE_PARTITION UPDATE_CATALOG UPDATE_DATABASE UPDATE_TABLE UPDATE_FUNCTION UPDATE_PARTITION DELETE_CATALOG DELETE_DATABASE DELETE_TABLE DELETE_FUNCTION DELETE_PARTITION metadata_object Object 元数据对象,包含元数据操作类型对应的元数据信息,如库、表信息等。 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 响应示例 状态码: 200 OK { "page_info" : { "current_count" : 1, "next_marker" : "006f492b-xxxx", "previous_marker" : "003e6eba-xxxx" }, "metadata_events" : [ { "event_time" : "2022-12-31T23:59:59.000+00:00", "metadata_action_type" : "CREATE_CATALOG", "metadata_object" : { "catalog_id" : "123", "catalog_name" : "hive", "description" : "Default catalog, for Hive", "location" : "obs://lakeformation/test", "database_location_list" : null, "owner" : "admin", "owner_type" : "USER", "owner_source" : " IAM " } } ] } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
共100000条