检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGenerator
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGenerator
修改DNS信息 登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型
创建服务接入客户端 功能介绍 创建服务接入客户端。 其他限制: 同一个实例下默认最多创建20个接入客户端。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /
简介 在进行湖仓构建应用开发时,要准备的环境如表1所示。 同时需要准备运行调测的环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在
获取服务接入客户端详情 功能介绍 根据ID获取服务接入客户端详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances
什么是LakeFormation 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
获取服务接入客户端信息列表 功能介绍 根据LakeFormation实例获取服务实例相关的接入客户端信息列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET
元数据迁移 操作场景 用户可以参考该章节将外部的元数据迁移至LakeFormation并将数据存储在OBS中进行统一管理。 在迁移hive元数据时,为避免迁移元数据时发生路径冲突,建议hive Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的
修改数据库属性 功能介绍 修改数据库属性。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances/{instance_id
创建数据库 功能介绍 创建数据库。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess
获取Catalog信息 功能介绍 获取Catalog信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
列举Catalog信息 功能介绍 根据Catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符的通配符列举Catalog的详细信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面
获取数据库 功能介绍 获取数据库。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instance_id