账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性
LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 LakeFormation
且长度为1~49个字符。不能包含中划线(-)等其他字符。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 如果需要进行多次迁移,表的列更新需要满足列排序和列类型一致的兼容性要求。 操作步骤 登录管理控制台。
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权限管理员通常分为系统权限管理员与业务权限管理员,需要具备的IAM权限与权限管理范围不同 系统权限管理员 需要拥有以下IAM操作权限:lakeformation:policy:describe、lakeformation
创建函数 功能介绍 创建函数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_i
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 您可以从地区和终端节点中查询服务的终端节点。 请您根据业务需要选择对应区域的终端节点。 父主题: 使用前必读
选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。 选择该方式后,需要在任务创建完成后,单击“操作”列的“运行”运行当前迁移任务。 调度执行:周期性自动执行迁移任务。 选择该方式后,可根据实际需要选择调度执行的周期(“每月”、“每周”、“每日”、“每小时”)并配置对应参数。
本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。
删除分区列的统计信息 PartitionColumnStatistic deletePartitionColumnStatistics 查看审计日志 用户需要在云审计服务CTS的管理控制台查询LakeFormation服务的事件列表。 详情请参考:查看审计日志(审计事件)。
删除任务 功能介绍 删除任务,已提交或者运行中的任务,需要停止后操作删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_i
除默认用户信息获取类外,服务可选择自行实现用户信息获取类。 如使用用户认证信息访问LakeFormation,用户信息和用户身份信息需要保持一致(即用户名、来源需要保持一致)。 代码开发。 实现工程参考如下,在Maven工程pom文件中添加lakeformation-lakecat-client依赖:
除默认用户信息获取类外,服务可选择自行实现用户信息获取类。 如果使用用户认证信息访问LakeFormation,用户信息和用户身份信息需要保持一致(即用户名、来源需要保持一致)。 代码开发。 实现工程参考如下,在Maven工程pom文件中添加lakeformation-lakecat-client依赖:
xml或core-site.xml中亦可生效,添加时需要去除“spark.hadoop”前缀。 对接OBS 在“spark/conf/spark-defaults.conf”中添加以下配置: # 对接OBS固定配置,Endpoint需要根据区域进行配置 spark.hadoop.fs
obs://lakeformation-test/catalog1/database1/table1”,单击“确定”。 其他参数请根据实际需要进行配置。 参考4创建名称为“table_B”的数据表,存储路径为“lakeformation-test/catalog1/database1/table2”。
如果账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,可参考LakeFormation服务权限了解用户组可以添加的LakeFormation权限,并结合实际需求进行选择。 如果您需要对除Lake
操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity":
如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过对应权限管理操作。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。 IAM权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加
您即将访问非华为云网站,请注意账号财产安全