检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
配置云服务授权 首次使用LakeFormation服务需要进行服务授权，授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”，进入“服务授权”页面。 IAM ReadOnlyAc
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
在“服务列表”中，选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”，进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”，查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行，单击对应“操作”列的“管理解析”。 单击“添加记录集”，填写以下参数后，单击“确定”。
委托查询 功能介绍 委托查询，查询委托是否创建及委托中的action与配置的是否完全一致。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/agency
首次创建实例时界面显示“立即购买”，如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内
String 终端节点服务名称。最大长度为64个字符。 domain 否 String 接入域名，通过IP接入访问Lakeformation API时，需在请求头中添加HOST参数并传入该域名。 响应参数 状态码： 202 表5 响应Body参数 参数 参数类型 描述 id String
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--认证信息获取类，此处配置值仅作为参考--> <property> <name>lakecat
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
VPC不存在。 请检查VPC相关配置。 500 00011034 子网不存在。 请检查子网相关配置。 500 00011035 子网网段配置与VPC冲突。 请检查子网网段配置。 500 00011036 DCS不存在或不可用。 请检查DCS相关配置。 500 00011037 数据库不存在或不可用。
IP。 此外还需配置以下参数： 用户名：访问数据源所使用的用户。 密码：访问数据源所使用的用户密码。 如果所使用用户存在密码，则必须填写；如果用户无密码，则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数： Access
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限，统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理，对于IAM用户/用户组，也可以通过关联LakeFo
实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能，帮助您便捷地进行实例管理，加速实现数据湖承载的业务的规划和部署。 已发布区域：以控制台实际上线区域为准。 创建LakeFormation实例 配置LakeFormation实例 元数据管理 数据目录（Catalog）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
