检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“spark/conf/spark-defaults.conf”配置文件中补充以下配置，如需对接多个catalog，以下配置需要配置多行： # 指定catalog实现类，必选配置（spark_catalog_name为spark中的catalog名称。根据实际需要替换，下同） spark.sql.catalog
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
enabled</name> <value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
ReadOnlyAccess：实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess：实例的存储功能，需要获取访问对象存储等服务的权限。 OBS AccessLabel：实例的权限控制功能，需要有打标签的能力。 OBS Bucket Lifecycle：实例的生
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
更新管理 SSL证书采用SSL协议进行通信，SSL证书部署到服务器后，服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据，可帮助服务器端和客户端之间建立加密链接，从而保证数据传输的安全。 SSL证书存在有效期限制，证书过期后不被信任，已安装证书的网站业
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--认证信息获取类，此处配置值仅作为参考--> <property> <name>lakecat
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例，相关操作请参考配置MRS 3.3.0-LTS
角色管理接口，包括创建 、获取、修改、删除角色等接口。 凭证管理 凭证管理接口，包括获取临时密钥和securityToken等接口。 配置管理 配置管理接口，包括获取所有用户可见的租户面配置等接口。 User 用户管理接口，包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号，您可以使用所有华为云服务，并且只需为您所使用的服务付费。 如果您已有一个华为云账户，请跳到下一个任务。如果您还没有华为云账户，请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”，根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限，统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理，对于IAM用户/用户组，也可以通过关联LakeFo
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线，长度为1~256个字符。
迁移后元数据的默认Owner。“数据源类型”为“DLF”时配置该参数。 如果配置的默认Owner没有对应的元数据操作权限，迁移后的元数据将无法进行增删改查等操作，此时可以手动给Owner授权或者进行权限迁移。 如果迁移前所有元数据都能正常使用，则不需要配置该参数。 日志存储位置 运行迁移任务时，产生的日志存储位置。可单击进行选择。
拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线，长度为1~256个字符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
