检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IAM完成对IAM用户或委托的身份认证以及部分访问控制。 云审计服务(Cloud Trace Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS)
MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将删除。 EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。 VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。 MATERIALIZED
String 表名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1到256个字符。 table_type 否 String 查询的表类型。只能包含MANAGED_TABLE、EXTERNAL_TABLE、VIRTUAL_VIEW、MATERIALIZED_VIEW、DICTIONARY_TABLE。
Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图9 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 在Maven的pom.xml文件末尾添加准备依赖信息中准备的LakeFormation Java SDK依赖和mav
表类型,MANAGED_TABLE-内表,EXTERNAL_TABLE-外表,VIRTUAL_VIEW-视图,MATERIALIZED_VIEW-物化视图,DICTIONARY_TABLE字典表 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW
、EXTERNAL_TABLE-外表、VIRTUAL_VIEW-视图、MATERIALIZED_VIEW-物化视图、DICTIONARY_TABLE字典表。 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW
、EXTERNAL_TABLE-外表、VIRTUAL_VIEW-视图、MATERIALIZED_VIEW-物化视图、DICTIONARY_TABLE字典表。 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW
表类型,MANAGED_TABLE-内表,EXTERNAL_TABLE-外表,VIRTUAL_VIEW-视图,MATERIALIZED_VIEW-物化视图,DICTIONARY_TABLE字典表 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW
on实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
n实例。 创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
LakeFormation适用哪些场景 LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(H
为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。
计费说明 计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。 表1
Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。
LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限:对于各项操作有更广泛的权限。例如,推荐用户使用
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 您可以从地区和终端节点中查询服务的终端节点。 请您根据业务需要选择对应区域的终端节点。 父主题: 使用前必读
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
catalog所有者。LakeFormation服务分为一期和二期,一期响应Body无该参数。 owner_type String 所有者类型,USER-用户,GROUP-组,ROLE-角色。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: USER ROLE
账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormat
数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS)