华为云用户手册

  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics/batch-get { "column_names" : [ "column1" ] }
  • 响应示例 状态码: 200 OK [ { "column_name" : "column_name", "column_type" : "string", "data_type" : "int", "binary_statistics_data" : { "maximum_length" : 0, "average_length" : 0, "number_of_null" : 0 }, "long_statistics_data" : { "minimum_value" : 0, "maximum_value" : 0, "number_of_null" : 0, "number_of_distinct_value" : 0, "bit_vector" : "string" }, "decimal_statistics_data" : { "minimum_value" : { "scale" : 0, "unscaled" : "string" }, "maximum_value" : { "scale" : 0, "unscaled" : "string" }, "number_of_null" : 0, "number_of_distinct_value" : 0, "bit_vector" : "string" }, "string_statistics_data" : { "average_length" : 0, "maximum_length" : 0, "number_of_null" : 0, "number_of_distinct_value" : 0, "bit_vector" : "string" }, "double_statistics_data" : { "minimum_value" : 0, "maximum_value" : 0, "number_of_null" : 0, "number_of_distinct_value" : 0, "bit_vector" : "string" }, "date_statistics_data" : { "minimum_value" : "2023-01-09T09:40:45.206Z", "maximum_value" : "2023-01-09T09:40:45.206Z", "number_of_null" : 0, "number_of_distinct_value" : 0, "bit_vector" : "string" }, "boolean_statistics_data" : { "number_of_true" : 0, "number_of_false" : 0, "number_of_null" : 0 } } ] 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics/batch-get 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array of ColumnStatisticsObj objects OK 表5 ColumnStatisticsObj 参数 参数类型 描述 column_name String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。 column_type String 数据类型,字段类型包括array bigint binary boolean char date decimal double float int interval map set smallint string struct timestamp tinyint union varchar data_type String 统计信息类型:binaryStats、booleanStats、dateStats、decimalStats、doubleStats、longStats、stringStats。 枚举值: binaryStats booleanStats dateStats decimalStats doubleStats longStats stringStats binary_statistics_data BinaryColumnStatisticsData object 字节数组类型统计信息。 long_statistics_data LongColumnStatisticsData object 长整数类型统计信息。 decimal_statistics_data DecimalColumnStatisticsData object 小数类型统计信息。 string_statistics_data StringColumnStatisticsData object 字符串类型统计信息。 double_statistics_data DoubleColumnStatisticsData object 浮点数类型统计信息。 date_statistics_data DateColumnStatisticsData object 日期类型统计信息。 boolean_statistics_data BooleanColumnStatisticsData object 布尔类型统计信息。 表6 BinaryColumnStatisticsData 参数 参数类型 描述 maximum_length Long 列中字节数组的最大值。 average_length Double 列中字节数组的平均长度。 number_of_null Long 列中空值个数。 表7 LongColumnStatisticsData 参数 参数类型 描述 minimum_value Long 列中长整数最小值。 maximum_value Long 列中长整数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的长整数个数。 bit_vector String 估算唯一值使用的位图。 表8 DecimalColumnStatisticsData 参数 参数类型 描述 minimum_value Decimal object 列中小数最小值。 maximum_value Decimal object 列中小数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的小数个数。 bit_vector String 估算唯一值使用的位图。 表9 Decimal 参数 参数类型 描述 scale Integer 整数部分。 unscaled String 小数部分。 表10 StringColumnStatisticsData 参数 参数类型 描述 average_length Double 列中字符串平均长度。 maximum_length Long 列中字符串最长长度。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后字符串个数。 bit_vector String 估算唯一值使用的位图。 表11 DoubleColumnStatisticsData 参数 参数类型 描述 minimum_value Double 列中浮点数最小值。 maximum_value Double 列中浮点数最大值。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后浮点数个数。 bit_vector String 估算唯一值使用的位图。 表12 DateColumnStatisticsData 参数 参数类型 描述 minimum_value String 列中的最小时间戳。 maximum_value String 列中的最大时间戳。 number_of_null Long 列中空值个数。 number_of_distinct_value Long 列中去重后的时间戳个数。 bit_vector String 估算唯一值使用的位图。 表13 BooleanColumnStatisticsData 参数 参数类型 描述 number_of_true Long 列中为真的数量。 number_of_false Long 列中为假的数量。 number_of_null Long 列中为空的数量。 状态码: 400 表14 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表15 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表16 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 表4 响应Body参数 参数 参数类型 描述 agreement_rules Array of AgreementRule objects 系统协议列表。 表5 AgreementRule 参数 参数类型 描述 agreement_name String 协议名称。 agreement_display_name String 协议展示名称。 agreement_version String 协议版本。 agreement_url String 协议链接。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。
  • 响应示例 状态码: 200 系统协议响应体 { "agreement_rules" : [ { "agreement_name" : "agreement AAA", "agreement_display_name" : "AAA", "agreement_version" : "v1", "agreement_url" : "https://AAA" }, { "agreement_name" : "agreement BBB", "agreement_display_name" : "BBB", "agreement_version" : "v1", "agreement_url" : "https://BBB" } ] } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-drop { "if_exist" : true, "delete_data" : true, "partition_values" : [ [ "54fd5f39855e43e29630196af18cfb22", "ae64345374854efc819fac880541465e" ], [ "c085eeb64df04982a4c93d3a33fc8cf6", "e9c380472d974182b973f46443e8dc3b" ], [ "ca39a2137c8548d0a49842802f2dedb8", "c1d9679369494c52933c31ecd5483550" ] ] }
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-drop 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
  • 响应示例 状态码: 200 已删除partition列表 [ { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "48e1f86dc4394a218b832d94411805fe", "5a2ab07a663c49a98cc606e6ffa0b178" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "83e99b4daff04e75b28263bf44495a3c" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "d947669d90884014b60264b2770849ae" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "21edd8e92f2448deb036f8e4682ec694" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "fc25f38e8b694aebb34a2f84ef4a62f7" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "3443079e616d447f8f35da2014754701" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "5f7dda02ac8e4813b3eb4858abb7c520" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "2a6ae2e5bc3f4add99133106f2cd526c" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "84d50424269a41fbb5528b350e9d0b13" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "e3f1d2fa80454554a22e8564ec9c4832" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "f11315794e6d40daa2cb8347c61e5a46" } ], "location" : "obs://location/test/database/b593fc09871e4c9886ed931a3e51f9e5", "compressed" : false, "input_format" : "8c470072d43344a3a3bfabd2c7f9d6ec", "output_format" : "74ee5be43fb548e7b988390df05134fa", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "9b3ea84748854c2d86a71ae37e246293", "serialization_library" : "e9632ffbbfbe425d8eac91e765e046e1", "parameters" : { "e5ae426044054a5f8e362b9b5729dbab" : "33d8296203f94760b1e4b7db55edce0d" } }, "parameters" : { "7e27b28f439e40bea098dd65bc857334" : "ab893cac08bb4374beb8ff00a02e9a73", "c698760d6de74d0c92eee65bea283215" : "8ba9a058a5cc4ebaac6f43c9771e167a" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } }, { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "e4af64d55308403a9abf1999afbbe2be", "079f4cd2ee5b4de6922ef8f0c92c82ae" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "b40e5a6b6b3c4a538c4b7daa8bc49300" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "d7de59704feb4218ad6c3899f16f72e3" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "215d3961dd0c4858b884e50157da1d4b" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "b8e4888680ca449492be2344a81aba1d" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "1ac15b288c354834830062e48b04e3c8" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "5e65189b3f28434c8b96a56fb19b3005" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "7944cf9158514a96905712d686bc7c18" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "c6b9396476e541e9ab34a8eb5fda9953" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "978fe9b8a1d1437391e83553ae361bfc" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "4f7ed315c7c44c5683500104464f4776" } ], "location" : "obs://location/test/database/3971910eb87a41ee9d7096d538232c33", "compressed" : false, "input_format" : "620befc9b9a447fb95ecfb0d33fb636c", "output_format" : "fc943b36eaec4d1da525734e56374d32", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "9286f98baef44841883166345635faed", "serialization_library" : "ac9cdbe5004d468798bc57b4ed10f602", "parameters" : { "cef1b8d74bdd43459793b00b4deff6ae" : "e66acd0f816047ae9e00d01a4045c340" } }, "parameters" : { "0546e622cf2042598ed4f31e0b3b3276" : "be46b5accfdc41ba93f50fbe16b782c2", "a5b63ea213ab48be8c3c361fe93f75d2" : "c0f1215c944040cfad2e69fbe7cb4b0b" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } }, { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "e5ade865888a4bb0a22b71505dd0989d", "788dfdb29db342f488a6155a55875f5b" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "a4398b0a8f404ad1a2d8d350efdcd812" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "c2d17faf55de41ddb9f098a684dd8473" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "5f2de67835ff49aba7b661712ef059a6" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "26ce9cc09f3545df80181cbed87d4da2" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "f5b65b8db66349b3a1f8eace0ea33334" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "3f9b100dbc2f45d58d6fbcfa63e0d806" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "22c5f279e9d04cada8bdee6ddbd38af7" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "7ac1468020094057bf2e1e41f3e035b8" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "8c8178e2fe694ace80e78d5c985f7165" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "3f8d23d533fe44b295067de73a8f1b68" } ], "location" : "obs://location/test/database/8c351a1aca6b426a936be4453da30c35", "compressed" : false, "input_format" : "9fb9f9d02b3044febe447a1ad4ca5297", "output_format" : "ba8acae75da24d858ebe99f4ef2fce84", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "6e4b2479321842d191f1b540b348a4f1", "serialization_library" : "22209422df114f589b4ec28d19d86e52", "parameters" : { "a5c4f39d83d047748dcd1218764c7a1c" : "9e2256acd089474ba469d329d35ace13" } }, "parameters" : { "997ebfa4c6e343789a92d20f7961c865" : "2a1899624e084fb4b26595469cd23f32", "86887611dd7345c88f3de16538cb3587" : "ac4aab973d50429d9803cb418c9d44e1" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } } ] 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-get { "values" : [ [ "test_partition" ] ] }
  • 响应示例 状态码: 200 存在的partition列表 [ { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "48e1f86dc4394a218b832d94411805fe", "5a2ab07a663c49a98cc606e6ffa0b178" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "83e99b4daff04e75b28263bf44495a3c" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "d947669d90884014b60264b2770849ae" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "21edd8e92f2448deb036f8e4682ec694" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "fc25f38e8b694aebb34a2f84ef4a62f7" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "3443079e616d447f8f35da2014754701" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "5f7dda02ac8e4813b3eb4858abb7c520" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "2a6ae2e5bc3f4add99133106f2cd526c" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "84d50424269a41fbb5528b350e9d0b13" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "e3f1d2fa80454554a22e8564ec9c4832" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "f11315794e6d40daa2cb8347c61e5a46" } ], "location" : "obs://location/test/database/b593fc09871e4c9886ed931a3e51f9e5", "compressed" : false, "input_format" : "8c470072d43344a3a3bfabd2c7f9d6ec", "output_format" : "74ee5be43fb548e7b988390df05134fa", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "9b3ea84748854c2d86a71ae37e246293", "serialization_library" : "e9632ffbbfbe425d8eac91e765e046e1", "parameters" : { "e5ae426044054a5f8e362b9b5729dbab" : "33d8296203f94760b1e4b7db55edce0d" } }, "parameters" : { "7e27b28f439e40bea098dd65bc857334" : "ab893cac08bb4374beb8ff00a02e9a73", "c698760d6de74d0c92eee65bea283215" : "8ba9a058a5cc4ebaac6f43c9771e167a" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } }, { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "e4af64d55308403a9abf1999afbbe2be", "079f4cd2ee5b4de6922ef8f0c92c82ae" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "b40e5a6b6b3c4a538c4b7daa8bc49300" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "d7de59704feb4218ad6c3899f16f72e3" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "215d3961dd0c4858b884e50157da1d4b" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "b8e4888680ca449492be2344a81aba1d" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "1ac15b288c354834830062e48b04e3c8" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "5e65189b3f28434c8b96a56fb19b3005" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "7944cf9158514a96905712d686bc7c18" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "c6b9396476e541e9ab34a8eb5fda9953" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "978fe9b8a1d1437391e83553ae361bfc" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "4f7ed315c7c44c5683500104464f4776" } ], "location" : "obs://location/test/database/3971910eb87a41ee9d7096d538232c33", "compressed" : false, "input_format" : "620befc9b9a447fb95ecfb0d33fb636c", "output_format" : "fc943b36eaec4d1da525734e56374d32", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "9286f98baef44841883166345635faed", "serialization_library" : "ac9cdbe5004d468798bc57b4ed10f602", "parameters" : { "cef1b8d74bdd43459793b00b4deff6ae" : "e66acd0f816047ae9e00d01a4045c340" } }, "parameters" : { "0546e622cf2042598ed4f31e0b3b3276" : "be46b5accfdc41ba93f50fbe16b782c2", "a5b63ea213ab48be8c3c361fe93f75d2" : "c0f1215c944040cfad2e69fbe7cb4b0b" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } }, { "catalog_name" : "catcd6a92bfc2c74a509dc8501b8124505c", "database_name" : "db4cfc99ac3cea421abc157c7bd49f6f16", "table_name" : "tblbb79f3733c0747adbb94981b412fe48f", "partition_values" : [ "e5ade865888a4bb0a22b71505dd0989d", "788dfdb29db342f488a6155a55875f5b" ], "create_time" : "2023-05-30T09:06:41.372+00:00", "last_access_time" : "2023-05-30T09:06:41.000+00:00", "parameters" : { "key1" : "value1", "transient_lastDdlTime" : "120", "classification" : "other" }, "storage_descriptor" : { "columns" : [ { "column_type" : "string", "column_name" : "column_prefix0", "comment" : "a4398b0a8f404ad1a2d8d350efdcd812" }, { "column_type" : "string", "column_name" : "column_prefix1", "comment" : "c2d17faf55de41ddb9f098a684dd8473" }, { "column_type" : "string", "column_name" : "column_prefix2", "comment" : "5f2de67835ff49aba7b661712ef059a6" }, { "column_type" : "string", "column_name" : "column_prefix3", "comment" : "26ce9cc09f3545df80181cbed87d4da2" }, { "column_type" : "string", "column_name" : "column_prefix4", "comment" : "f5b65b8db66349b3a1f8eace0ea33334" }, { "column_type" : "string", "column_name" : "column_prefix5", "comment" : "3f9b100dbc2f45d58d6fbcfa63e0d806" }, { "column_type" : "string", "column_name" : "column_prefix6", "comment" : "22c5f279e9d04cada8bdee6ddbd38af7" }, { "column_type" : "string", "column_name" : "column_prefix7", "comment" : "7ac1468020094057bf2e1e41f3e035b8" }, { "column_type" : "string", "column_name" : "column_prefix8", "comment" : "8c8178e2fe694ace80e78d5c985f7165" }, { "column_type" : "string", "column_name" : "column_prefix9", "comment" : "3f8d23d533fe44b295067de73a8f1b68" } ], "location" : "obs://location/test/database/8c351a1aca6b426a936be4453da30c35", "compressed" : false, "input_format" : "9fb9f9d02b3044febe447a1ad4ca5297", "output_format" : "ba8acae75da24d858ebe99f4ef2fce84", "number_of_buckets" : 0, "bucket_columns" : [ ], "sort_columns" : [ ], "serde_info" : { "name" : "6e4b2479321842d191f1b540b348a4f1", "serialization_library" : "22209422df114f589b4ec28d19d86e52", "parameters" : { "a5c4f39d83d047748dcd1218764c7a1c" : "9e2256acd089474ba469d329d35ace13" } }, "parameters" : { "997ebfa4c6e343789a92d20f7961c865" : "2a1899624e084fb4b26595469cd23f32", "86887611dd7345c88f3de16538cb3587" : "ac4aab973d50429d9803cb418c9d44e1" }, "skewed_info" : { "skewed_column_names" : [ ], "skewed_column_value_location_maps" : { }, "skewed_column_values" : [ ] }, "stored_as_sub_directories" : false } } ] 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI POST /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/batch-get 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
  • 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • URI DELETE /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/functions/{function_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 function_name 是 String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
  • 响应示例 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI DELETE /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 partition_values 是 Array 分区的值列表。 column_name 否 String 列名称。只能包含中文、字母、数字和_-+*(), 特殊字符,且长度为1~767个字符。
  • 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在 IAM 中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在获取项目ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 同样在获取项目ID下,您可以查看项目ID。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出 父主题: 使用前必读
  • 响应示例 状态码: 200 规格列表 { "total" : 1, "spec_codes" : [ { "spec_code" : "hws.resource.type.lakeformation.qps", "resource_type" : "hws.resource.type.lakeformation.metadata", "stride" : 2000, "unit" : "qps", "min_stride_num" : 1, "max_stride_num" : 100, "usage_measure_id" : 6, "usage_factor" : "Duration", "usage_value" : 1, "free_usage_value" : 1, "stride_num_whitelist" : [ 1, 2 ] } ] } 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI GET /v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成,例如lakeformation.unit.basic.qps。 offset 否 Integer 偏移量。取值在0-100之间,默认值为0。 limit 否 Integer 单次查询个数。取值在1-100之间,默认值为10。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total Integer 总数。 spec_codes Array of Spec objects 规格编码列表。 表4 Spec 参数 参数类型 描述 spec_code String 规格编码。lakeformation.unit.basic.qps:每秒查询率(QPS)产品。 resource_type String 资源编码。 stride Integer 步长。 unit String 单位。 min_stride_num Integer 最小步数。 max_stride_num Integer 最大步数。 usage_measure_id Integer 使用量单位标识。 usage_factor String 使用量因子。 usage_value Integer 使用量,包含免费额度和单位额度,例如api调用次数,单位是次,前100万次调用免费,计费标准是5元每100万次,这里返回200万,元数据个数,单位是万个,前100万个免费,计费标准是5元每10万个,这里返回110。 free_usage_value Integer 免费使用额度,例如api调用次数,单位是次,前100万次调用免费,这里返回100万,元数据个数,单位是万个,前100万个免费,这里返回100。 stride_num_whitelist Array of integers 步数白名单,返回时,步数必须是白名单中的值。 状态码: 204 表5 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID,定位辅助信息。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。
  • 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。
  • 响应示例 状态码: 200 OK [ "test" ] 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI GET /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/names 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询返回条数。默认值为1000。最小值为-1,最大值为9999999。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array of strings OK 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 [数组元素] Array of strings OK 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 solution_msg String 解决方案描述。
  • 响应示例 状态码: 200 OK [ "test" ] 状态码: 400 Bad Request { "error_code" : "common.01000001", "error_msg" : "failed to read http request, please check your input, code: 400, reason: Type mismatch., cause: TypeMismatchException" } 状态码: 401 Unauthorized { "error_code": 'APIG.1002', "error_msg": 'Incorrect token or token resolution failed' } 状态码: 403 Forbidden { "error" : { "code" : "403", "message" : "X-Auth-Token is invalid in the request", "error_code" : null, "error_msg" : null, "title" : "Forbidden" }, "error_code" : "403", "error_msg" : "X-Auth-Token is invalid in the request", "title" : "Forbidden" } 状态码: 404 Not Found { "error_code" : "common.01000001", "error_msg" : "response status exception, code: 404" } 状态码: 408 Request Timeout { "error_code" : "common.00000408", "error_msg" : "timeout exception occurred" } 状态码: 500 Internal Server Error { "error_code" : "common.00000500", "error_msg" : "internal error" }
  • URI GET /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/names 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 table_pattern 否 String 表名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1到256个字符。 table_type 否 String 查询的表类型。只能包含MANAGED_TABLE、EXTERNAL_TABLE、VIRTUAL_VIEW、MATERIALIZED_VIEW、DICTIONARY_TABLE。
  • 请求示例 POST https://{endpoint} /v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics/batch-get { "aggregate_statics" : false, "column_names" : [ "column1", "column2" ], "partition_values_list" : [ [ "value1", "value2" ] ] }
共100000条