检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发流程 开发流程如下: 表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
数据保护技术 传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation
应用开发简介 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务
批量更新标签 功能介绍 为指定实例批量更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances/{instance_id
查询当前系统协议 功能介绍 查询当前系统协议。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agreement-rule
查询租户是否注册协议 功能介绍 查询租户当前协议和委托信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agreement
查询租户是否注册协议 功能介绍 查询租户当前协议 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/agreement 请求参数 表1 请求Header参数
查询资源标签集合 功能介绍 查询租户在指定Project中实例类型的所有资源标签集合。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id
创建LakeFormation自定义IAM策略 如果系统预置的LakeFormation权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFormation
表3 请求Body参数 参数 是否必选 参数类型 描述 specs 否 Array of CreateSpec objects 规格列表。 charge_mode 否 String 计费类型:postPaid:按需计费、prePaid:包周期计费。
specs Array of CreateSpec objects 规格信息。 charge_mode String 计费模式,postPaid=按需计费,prePaid=包周期计费。
创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建
specs Array of CreateSpec objects 规格信息。 charge_mode String 计费模式,postPaid=按需计费,prePaid=包周期计费。
创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。
什么是区域和可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,
共享型与独享型LakeFormation对比 LakeFormation提供了不同实例类别,满足不同场景下用户对性能和成本的不同诉求。 独享型特性当前仅针对白名单用户开放。 计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog