检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板
Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DW
Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DW
户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和授权的可视化界面,支持用户便捷操作,快速构建。 联
Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation
数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGe
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGe
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置:
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
权限及授权项说明 如果您需要对您所拥有的LakeFormation进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使
错误码 调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系运维人员,并提供错误码。 错误响应Body体格式说明
IAM权限介绍 IAM概述 如果您需要对华为云上购买的LakeFormation资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提