检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
规格编码。lakeformation.unit.basic.qps：每秒查询率（QPS）产品。 resource_type String 资源编码。 stride Integer 步长。 unit String 单位。 min_stride_num Integer 最小步数。 max_stride_num
IP。 此外还需配置以下参数： 用户名：访问数据源所使用的用户。 密码：访问数据源所使用的用户密码。 如果所使用用户存在密码，则必须填写；如果用户无密码，则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数： Access
为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制：
agreement_name String 协议名称。只能包含字母、数字、下划线和中划线，且长度为1到64个字符。 agreement_version String 协议版本号。只能包含字母和数字，且长度为1到32个字符。 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code
agreement_name 否 String 协议名称。只能包含字母、数字、下划线和中划线，且长度为1到64个字符。 agreement_version 否 String 协议版本号。只能包含字母和数字，且长度为1到32个字符。 响应参数 状态码： 200 表4 响应Header参数 参数 参数类型
agreement_name String 协议名称。只能包含字母、数字、下划线和中划线，且长度为1到64个字符。 agreement_version String 协议版本号。只能包含字母和数字，且长度为1到32个字符。 状态码： 400 表6 响应Body参数 参数 参数类型 描述 error_code
agreement_name 否 String 协议名称。只能包含字母、数字、下划线和中划线，且长度为1到64个字符。 agreement_version 否 String 协议版本号。只能包含字母和数字，且长度为1到32个字符。 响应参数 状态码： 200 表5 响应Header参数 参数 参数类型
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线，长度为1~256个字符。
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例，相关操作请参考配置MRS 3.3.0-LTS
表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 客户端名称。只能包含字母、数字、下划线和中划线，且长度为4到32个字符。 响应参数 无 请求示例 PUT https://{endpoint}/v1/{project_id}/instances/{i
特殊字符，且长度为1~49个字符。principal_name支持中划线'-'字符，但是对Principal进行授权时不支持'-'字符，可通过将有中划线的用户绑定到相关角色进行授权。 响应参数 状态码： 200 表5 响应Body参数 参数 参数类型 描述 [数组元素] Array of Principal
拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线，长度为1~256个字符。
是否必选 参数类型 描述 table_pattern 否 String 表名称通配符。只能包含中文、字母、数字和_-|*.特殊字符，且长度为1到256个字符。 table_type 否 String 查询的表类型。只能包含MANAGED_TABLE、EXTERNAL_TABLE、VI
项目编号。获取方法，请参见获取项目ID。 bucket_name 是 String OBS桶名称。只能包含字母、数字和._-特殊字符，且长度为1到64个字符。 表2 Query参数 参数 是否必选 参数类型 描述 marker 否 String 查询起始object名称。最大长度为4096个字符。
调测程序 配置完样例代码后，参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven
特殊字符，且长度为1~49个字符。principal_name支持中划线'-'字符，但是对Principal进行授权时不支持'-'字符，可通过将有中划线的用户绑定到相关角色进行授权。 响应参数 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
