检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
g、数据库的名称,单击待授权数据表“操作”列的“授权”。 函数:在左侧导航栏选择“元数据 > 函数”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权函数所属的Catalog、数据库的名称,单击待操作函数“操作”列的“授权”。 参考表1配置相关信息后,单击“确定”。
信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。 函数(Function) 在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定SQ
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
能。 √ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。 √ √ 函数管理 LakeFormation提供数据湖中函数的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。
计费项信息 实例规格 计费项 计费说明 独享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 按照万个/小时计费,不足万个按照万个计算。 每秒查询率(QPS) 按照用户购买时选择的QPS上限进行计费。当前支持购买1W至5W五种QPS规格。
数据类型”时配置该参数。 全选:迁移数据库、函数、数据表、分区 Database:数据库 Function:函数 Table:数据表 Partition:分区 说明: 如果为首次迁移,建议选择“全部”,迁移全部元数据。 如果仅勾选函数、数据表、分区的一种或几种时,需确保勾选元数据
LakeFormation架构 LakeFormation服务架构图如图1所示。 图1 LakeFormation服务架构 LakeFormation功能包括元数据管理、数据权限管理、控制台、API。 元数据基于Hive元数据模型,支持Catalog、数据库、表、函数等元数据对象。 数据权限管理提供权限策略的配置和对应的权限访问控制。
ATE_FUNCTION-创建函数、CREATE_PARTITION-添加分区、UPDATE_CATALOG-修改Catalog、UPDATE_DATABASE-修改数据库、UPDATE_TABLE-修改表、UPDATE_FUNCTION-修改函数、UPDATE_PARTITIO
[Table]。 资源类型 包括以下类型: CATALOG:数据目录 DATABASE:数据库 TABLE:数据表 COLUMN:数据列 FUNC:函数 URI:路径 权限 授权的权限名称,关于权限描述可参考表2。 授权权限 所授权的权限。 父主题: 管理数据权限
talog1/database1/table1、lakeformation-test/catalog1/database1/table2 函数存储路径:lakeformation-test/catalog1/database1/udf1 父主题: 管理元数据
> LakeFormation Console API通常对应着一个或多个操作项。表2展示了API与操作项的关系,以及该API需要依赖的操作项。 表2 API与操作项的关系 API 对应的操作项 依赖的操作项 POST /v1/{project_id}/instances lak
200 表3 响应Body参数 参数 参数类型 描述 total_count Long 总数量。 functions_count Long 函数数量。 catalogs_count Long 目录数量。 databases_count Long 数据库数量。 tables_count
table_location_list 否 Array of strings 表路径列表。 function_location_list 否 Array of strings 函数路径列表。 data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为关,若要开启database下ta
table_location_list 否 Array of strings 表路径列表。 function_location_list 否 Array of strings 函数路径列表。 data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为关,若要开启database下ta
是否删除数据库路径下的数据,该参数只针对内表生效,外表不会删除数据。默认为false。 cascade 否 Boolean 是否级联删除数据库下的表、分区以及函数。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of
集群服务端证书即将过期。 请及时更换证书并完成升级。 400 00000039 创建目录失败。 请检查路径。 400 00000040 函数不存在。 请检查函数名。 400 00000041 表过滤条件字段非法。 请修改表过滤字段。 400 00000042 不支持的位置路径。 请检查输入位置路径。
talog1/database1/table1、lakeformation-test/catalog1/database1/table2 函数存储路径:lakeformation-test/catalog1/database1/udf1 创建Catalog 登录管理控制台。 在左上角单击“”,选择“大数据
默认为null。当值为null时,响应Body无该参数。 function_location_list Array of strings 函数路径列表。默认为null,当值为null时,响应Body无该参数。 update_time String 数据库元数据最后一次修改时间。 version_id
Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换