检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取类,通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外,可选择自行实现默认认证信息获取类。 代码开发。 实现工程参考如下,在Maven工程pom文件中添加lakeformation-lakecat-client依赖: <dependency>
Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS) LakeFormation与DWS对接,实现湖、仓元数据统一管理。
如果您需要对除LakeFormation之外的其他服务授权,可参考系统权限查看IAM支持服务的所有策略。 操作流程 图1 给用户授权LakeFormation权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予LakeFormation服务对应权限。 创建用户并加入用户组
授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
public static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
在“spark/conf/spark-defaults.conf”配置文件中补充以下配置,如需对接多个catalog,以下配置需要配置多行: # 指定catalog实现类,必选配置(spark_catalog_name为spark中的catalog名称。根据实际需要替换,下同) spark.sql.catalog
表8 SerDeInfo 参数 参数类型 描述 name String 名称信息。 serialization_library String 实现序列化/反序列化的类。 parameters Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
SerDeInfo 参数 是否必选 参数类型 描述 name 否 String 名称信息。 serialization_library 否 String 实现序列化/反序列化的类。 parameters 否 Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
元数据迁移 操作场景 用户可以参考该章节将外部的元数据迁移至LakeFormation并将数据存储在OBS中进行统一管理。 在迁移hive元数据时,为避免迁移元数据时发生路径冲突,建议hive Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的Catalog。
SerDeInfo 参数 是否必选 参数类型 描述 name 否 String 名称信息。 serialization_library 否 String 实现序列化/反序列化的类。 parameters 否 Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
表9 SerDeInfo 参数 参数类型 描述 name String 名称信息。 serialization_library String 实现序列化/反序列化的类。 parameters Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
SerDeInfo 参数 是否必选 参数类型 描述 name 否 String 名称信息。 serialization_library 否 String 实现序列化/反序列化的类。 parameters 否 Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
表9 SerDeInfo 参数 参数类型 描述 name String 名称信息。 serialization_library String 实现序列化/反序列化的类。 parameters Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
表9 SerDeInfo 参数 参数类型 描述 name String 名称信息。 serialization_library String 实现序列化/反序列化的类。 parameters Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
新增授权 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,针对不同的授权主体进行授权。 在进行授权前,需确认待授权主体已存在,例如IAM用户组已提前创建。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用
SerDeInfo 参数 是否必选 参数类型 描述 name 否 String 名称信息。 serialization_library 否 String 实现序列化/反序列化的类。 parameters 否 Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
计费说明 计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。
表9 SerDeInfo 参数 参数类型 描述 name String 名称信息。 serialization_library String 实现序列化/反序列化的类。 parameters Map<String,String> 参数数组。 key最小值1,最大值255 value最大值4000
批量鉴权 功能介绍 批量鉴权,此接口仅能从租户面调用,无法从管控面调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/