检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" : "03141229-84cd-4b1b-9733-dd124320c125"
mation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“元数据 > 函数”。在右上角“Catalog”和“数据库”后的下拉框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
删除后的数据无法恢复,请谨慎操作! 同时删除存储在OBS的数据:可选配置,删除后数据将会放入回收站目录下,可以在过期删除前恢复。 删除元数据时如果同步删除文件,数据将移入对应OBS桶的回收站(“lake-formation-trash-dir/table_id”OBS路径)目录下。
资源类型列中必需资源在表中用星号(*)标识,表示使用此操作必须指定该资源类型。 关于LakeFormation定义的资源类型的详细信息请参见资源类型(Resource)。 “条件键”列包括了可以在策略语句的Condition元素中支持指定的键值。 如果该操作项资源类型列存在值,则表示条件键仅对列举的资源类型生效。
通过IAM完成对IAM用户或委托的身份认证以及部分访问控制。 云审计服务(Cloud Trace Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS) LakeF
LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限:对于各项操作有更广泛的权限。例如,推荐用户使用“lakeform
00010003 实例不存在。 请使用正确的实例ID。 400 00010004 输入的桶不存在。 请检查输入的桶。 400 00010005 输入的协议版本不存在。 请检查输入的协议版本。 400 00010006 输入的协议版本不能为空。 请检查输入的协议版本。 400 00010007
n-lakecat-client”的target目录下获取“lakeformation-lakecat-client-1.0.0.jar”。 准备并补充替换Hive内核相关的jar包。 如仅使用SparkCatalogPlugin方式对接,不使用MetastoreClient方式对接,本步骤可省略。
Name,总长度不能超过1000字符。 元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
请求。 资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求,在经过身份认证后,首先进行IAM鉴权,检查用户是否具备请求中的元数据操作权限,接着再进行细粒度的鉴权,检查用户是否具备针对请求中的具体元数据的请求操作权限。鉴权失败则拒绝请求。
LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。
MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。 例如参考以下步骤,创建Catal
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn
数据权限管理提供权限策略的配置和对应的权限访问控制。 授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象,也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作,以及OBS路径的读写操作。 Cons
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
列脱敏参数 列脱敏类型对应的选项。可以参考表2进行配置。资源类型为“列”时显示该参数。 路径 “授权类型”选择“路径”时配置该参数。 单击选择授权的OBS文件系统中的路径。可以选择多个路径,但不能超过10个。 操作类型 选择授权的操作类型。不同的授权类型对应的操作类型不同,详见表2。
符。 description 否 String 描述信息。最大长度为4000个字符。 location 否 String 路径地址。例如obs://location/uri/。 database_location_list 否 Array of strings 数据库路径列表。最小条目数为0,最大条目数为1000。
拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权限,您可以创建一条拒绝
对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM