正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是LakeFormation LakeFormation是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖
等身份,如某一用户组、某一角色等。 授权主体类型包括“GROUP”、“ROLE”、“USER”等。 用户(USER):华为云IAM用户 用户组(GROUP):华为云IAM用户组 角色(ROLE):LakeFormation角色 授权对象 LakeFormation中管理的元数据对
最新动态 本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态,欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。
问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“
Final/ 7 log4j-api-2.19.0.jar(spark3.3无需补充) https://mirrors.huaweicloud.com/repository/maven/org/apache/logging/log4j/log4j-api/2.19.0/ 8 java-sdk-core-3
开发流程 开发流程如下: 表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.5.0)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8.5.0)》的“下载对象”章节。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。
数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。
可单击日志最下方超链接查看完整日志,具体配置请参考《对象存储服务3.0(OBS) 3.24.3h&s 使用指南(for 华为云Stack 8.5.0)》中《对象存储服务3.0(OBS) 3.24.3h&s 用户指南 (for 华为云Stack 8.5.0)》的“下载对象”章节。 日志中常见报错信息及对应原因如下: 日志报错信息
https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/com/huawei/apigateway/java-sdk-core/ 11 hadoop-huaweicloud-3.1.1-hw-53.8.jar https://github
到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分,LakeFormation的自定义IAM策略操作可参考创建LakeFormation自定义IAM策略。 表1 LakeFormation系统策略
元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据湖探索(DLI) 支持情况请咨询对应服务。
tion.version}</version> </dependency> //新增认证信息获取类,实现IdentityGenerator接口 /* * Copyright (c) Huawei Technologies Co., Ltd. 2023-2023. All rights
<version>${lakeformation.version}</version> </dependency> 新增认证信息获取类,实现IdentityGenerator接口 /* * Copyright (c) Huawei Technologies Co., Ltd. 2023-2023. All rights