检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
owner_auth_source_type String 所有者授权来源类型:IAM-云用户、SAML-联邦、LDAP-ld用户、LOCAL-本地用户、AGENTTENANT-委托、OTHER-其它。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP
owner_auth_source_type String 所有者授权来源类型:IAM-云用户、SAML-联邦、LDAP-ld用户、LOCAL-本地用户、AGENTTENANT-委托、OTHER-其它。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP
install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后,执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java -cp lakeformation-lakecat-opensource-1
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID,所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录
owner_auth_source_type String 所有者授权来源类型:IAM-云用户、SAML-联邦、LDAP-ld用户、LOCAL-本地用户、AGENTTENANT-委托、OTHER-其它。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 database_name_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_|*.-特殊字符,且长度为1~128个字符。
owner_auth_source_type String 所有者授权来源类型:IAM-云用户、SAML-联邦、LDAP-ld用户、LOCAL-本地用户、AGENTTENANT-委托、OTHER-其它。LakeFormation服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP
准备工作 注册华为云账号 配置云服务授权 权限管理
凭证管理 获取临时密钥和securityToken 父主题: LakeCat
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
用户组管理 获取租户的用户组 父主题: LakeCat
数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS)
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
欢迎使用LakeFormation。使用LakeFormation实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。
是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name