检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark对接LakeFormation有以下两种对接方式，建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接：SparkCatalogPlugin方式对接基于Spark SessionCatalogV2，支持对接多个Catalog，社区仍在持续开发当中，存在部分不支持的SQL语句。
tion/json”，有其他取值时会在具体接口中专门说明。 X-Auth-Token：用户Token，可选，当使用Token方式认证时，必须填充该字段。用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。 当前API同时支持使用AK/SK认证，A
Token认证 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥
欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
用户自定义创建的Catalog对象及其子元数据对象，暂不支持授权和细粒度权限控制。 LakeFormation数据权限单次授权，授权主体不能超过20个，元数据对象不能超过10个。 LakeFormation中，总分区数量不超过1,000,000,000。 LakeFormation不支持跨Region的元数据和权限统一管理。
Project)：自定义策略的授权范围，包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目，表示此授权项对应的自定义策略，可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目，不支持企业项目，表示仅能在IAM中给用户组授权并生效，如果在企业管理中授权，则
粒度的数据访问权限。 权限策略包含授权主体、授权对象、权限、授权权限，支持取消本条权限策略的操作。 已发布区域：以控制台实际上线区域为准。 权限管理介绍 管理数据权限 数据迁移 LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中，对元数据及权限进行统一管理。
功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略，节省空间及成本，提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中，对元数据进行统一管理。
云审计服务是安全解决方案中专业的日志审计服务，记录了LakeFormation的相关操作事件，方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog createCatalog
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
所属数据库 待创建函数的所属数据库。 类型 待创建函数的类型，目前支持“JAVA”类型。 函数类名 填写函数类名。 （可选）单击“函数位置”区域中的“添加函数位置”，按照需求手动添加函数包类型和函数位置，单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了
口，具备良好的生态扩展性。 建议搭配服务 MapReduce服务（MRS） 数据仓库服务 GaussDB（DWS） 数据湖探索（DLI） 支持情况请咨询对应服务。 父主题： 应用场景
当您在中间的填充栏填入对应内容时， 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档
长度为0~4000字节，1个中文字符对应3个字节。 （可选）单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置，单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。
例如设置“列”为“*”。 行过滤条件 为权限策略设置行过滤条件。资源类型为“表”、“列”时显示该参数。 设置格式为：列名 操作符 列值 支持使用=、<=、<、>、>=、like等格式。 例如行过滤条件设置为：department = "financial"，表示选择表中“dep
长度为0~4000字节，1个中文字符对应3个字节。 （可选）单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置，单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数，则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的
程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java SDK依赖 参考Maven SDK地址，在Maven仓库中查看LakeFormation
数据存储位置 发现的数据表存储在OBS并行文件系统中的位置。 单击“”，选择位置后，单击“确定”。 发现文件类型 选择所发现文件的类型。目前支持以下类型： 自动发现（包含Parquet、ORC、Json、Csv、Avro类型） Parquet ORC Json Csv（选择该类型，
keFormation权限，并结合实际需求进行选择。 如果您需要对除LakeFormation之外的其他服务授权，可参考系统权限查看IAM支持服务的所有策略。 操作流程 图1 给用户授权LakeFormation权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予LakeFormation服务对应权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
