检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务账号）、被委托方IAM用户（ECS云服务内置用户）等身份。认证失败则拒绝请求。 资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求，在经过身份认证后，首先进行IAM鉴权，检查用户是否具备请求中的元数据操作权限，接着
配置云服务授权 首次使用LakeFormation服务需要进行服务授权，授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”，进入“服务授权”页面。 IAM ReadOnlyAc
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
自定义认证信息获取类：用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类：用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类（IdentityGenerator）用于获取访问LakeFormation服务的I
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
String 终端节点服务名称。最大长度为64个字符。 domain 否 String 接入域名，通过IP接入访问Lakeformation API时，需在请求头中添加HOST参数并传入该域名。 响应参数 状态码： 202 表5 响应Body参数 参数 参数类型 描述 id String
购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 xxx 计费模式
在“服务列表”中，选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”，进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”，查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行，单击对应“操作”列的“管理解析”。 单击“添加记录集”，填写以下参数后，单击“确定”。
证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 根据提示输入对应信息，单击“确定”，在弹出的提示页面单击“立即下载”。 下载成功后，打开凭证文件，获取AK/SK信息。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可
String 接入IP。 owner String 拥有者。 domain String 接入域名，通过IP接入访问Lakeformation API时，需在请求头中添加HOST参数并传入该域名。 请求示例 GET https://{endpoint}/v1/{project_id}
String 接入IP。 owner String 拥有者。 domain String 接入域名，通过IP接入访问Lakeformation API时，需在请求头中添加HOST参数并传入该域名。 请求示例 GET https://{endpoint}/v1/{project_id}
理、控制台、API。 元数据基于Hive元数据模型，支持Catalog、数据库、表、函数等元数据对象。 数据权限管理提供权限策略的配置和对应的权限访问控制。 授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象，也支持OBS并行文件系统路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
