检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
什么是项目 云的每个区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以区域默认单位为项目进行授权，IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买
查询当前系统协议 功能介绍 查询当前系统协议。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agreement-rule
designate</name> <value>true</value> </property> </configuration> 父主题： 配置开源Spark组件对接LakeFormation
designate</name> <value>true</value> </property> </configuration> 重启Hive服务。 父主题： 配置开源Hive组件对接LakeFormation
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数，关闭OBS文件系统缓存，长任务需要增加该配置，避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true
和securitytoken获取。 重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题： 配置开源Hive组件对接LakeFormation
授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象，也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作，以及OBS路径的读写操作。 Console支持实例管理、元数据管理、数据权限管理、接入管理、任务管理等操作。
的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略，节省空间及成本，提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移
并确保OBS并行文件系统中存在“obs://a/b”路径，则生成元数据时新的元数据存储路径为“obs://a/b”。 可以同时创建多条规则，当规则发生冲突时，以排在界面最上方的规则为准。 网络连接 选择网络连接方案。 推荐选择“EIP”，使用EIP方式连接网络。 同时需要选择“安
修改DNS信息 登录华为云管理控制台。 在“服务列表”中，选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”，进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”，查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
基于策略授权的服务授权项 云服务在IAM预置了常用授权项，称为系统策略。如果IAM系统策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义策略来进行精细的访问控制，IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外，Organizations服务中的服务控制策略（Service
前完成以下准备工作： 已在IAM服务中创建用于授权的IAM业务用户、用户组，用户已关联至用户组。 已在OBS服务中创建一个并行文件系统，并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如，如果执行MRS对接LakeFormatio
火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授
可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区，不同可用区之间物理隔离，但内网互通，既保障了可用区的独立性，又提供了低价、低时延的网络连接。 图1 区域和可用区 目前，华为云已在全球多个地
对象存储服务”，进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。 文件系统名称：根据界面要求设置并行文件系统名称，例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面，单击已创建的文件系统名称，例如“lakeformation-test”。
可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区，不同可用区之间物理隔离，但内网互通，既保障了可用区的独立性，又提供了低价、低时延的网络连接。 图1 区域和可用区 目前，华为云已在全球多个地
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
